JP2010103669A

JP2010103669A - 撮像装置

Info

Publication number: JP2010103669A
Application number: JP2008271696A
Authority: JP
Inventors: Shuji Moriya; 修史守屋; Yoichi Sugino; 陽一杉野
Original assignee: Panasonic Corp
Current assignee: Panasonic Corp
Priority date: 2008-10-22
Filing date: 2008-10-22
Publication date: 2010-05-06

Abstract

【課題】被写体の大きさが小さすぎる、又は大きすぎる場合に、被写体の認識が失敗したり、誤認識が発生したりする。
【解決手段】撮像部２０１及び画像処理部２０２の少なくとも一方を制御し、被写体を拡大、又は縮小するズーム制御部２０９と、画像処理部２０２の出力を表示する表示部２０３と、被写体を拡大、又は縮小する操作を含む操作指示を受け付ける操作部２０８と、画像処理部２０２の画像中の被写体を認識する被写体認識部２０４と、被写体認識部２０４で検出した被写体のサイズを判定し、被写体のサイズが第１の所定サイズより小さい時は、被写体を拡大する操作を促す拡大操作指示を、被写体サイズが第２の所定サイズより大きい時は、被写体を縮小する操作を促す縮小操作指示を、表示部２０３に表示するよう制御する制御部２０６と、を備える。
【選択図】図２

Description

本発明は、ビデオカメラ及びスチルカメラ等の撮像装置に関するものであり、特に、被写体認識機能を有する撮像装置に関するものである。

従来、デジタルカメラなどの被写体を認識する撮像装置において、撮像装置はＡＥ、ＡＦ等が認識している被写体に対して制御を行うことにより、認識している被写体が最適に撮影されるようにしている。

入力画像を小領域に分割し、各小領域の色特性を判断することにより、予め登録していた被写体の基準の大きさと一致するように、自動でズーミング動作することにより、常時基準の被写体の大きさで画像表示する方法がある。
特開平６−１５３０４７号公報

被写体認識機能を備えた撮像装置では、被写体の大きさが登録時よりも小さくなりすぎた場合、又は大きくなりすぎた場合に、被写体の認識が失敗したり、誤認識が発生したりする。これは、被写体の大きさが極端に変化し、登録時の被写体の特徴が取得できなくなるためである。

上記被写体認識機能を備えた撮像装置では、予め登録された被写体の大きさになるよう自動でズーミングさせるため、被写体の大きさの変化に起因する認識失敗や誤認識の発生を低減させることが可能である。しかしながら、常に登録された被写体の大きさとなるようにズーミングされるために、撮影者の意図する被写体の大きさで自由に撮影できないという課題がある。

本発明の撮像装置は、上記の課題を解決するものであり、被写体を撮像する撮像部と、前記撮像部の出力を画像処理する画像処理部と、前記撮像部及び前記画像処理部の少なくとも一方を制御し、被写体を拡大、又は縮小するズーム制御部と、前記画像処理部の出力を表示する表示部と、被写体を拡大、又は縮小する操作を含む操作指示を受け付ける操作部と、前記画像処理部の画像中の被写体を認識する被写体認識部と、前記被写体認識部で検出した被写体のサイズを判定し、前記被写体のサイズが第１の所定サイズより小さい時は、前記被写体を拡大する操作を促す拡大操作指示を、前記被写体サイズが第２の所定サイズより大きい時は、前記被写体を縮小する操作を促す縮小操作指示を、前記表示部に表示するよう制御する制御部と、を備える。

本発明の撮像装置は、上記の構成により、認識した被写体のサイズを判断し、ＴＥＬＥ方向またはＷＩＤＥ方向へのズーム操作を促すため、撮影者の撮影意図に沿った自由な撮影を可能としつつ、撮影者が表示に従ってズーム倍率を変更することで被写体認識手段の認識精度を保つことができ、被写体を見失う可能性の低減と自由度の高い撮影との両立が可能となる。

以下、本発明の実施の形態について、図面を用いて詳細に説明する。
（実施の形態１）
（１．構成）
図２は、本発明の実施の形態１に係るビデオカメラ２００の構成を示すブロック図である。

図２において、撮像手段２０１は、光学系と撮像素子とで構成される。光学系は、対物レンズ、ズームレンズ、絞り、ＯＩＳ（ＯｐｔｉｃａｌＩｍａｇｅＳｔａｂｉｌｉｚｅｒ：光学式手ブレ補正）ユニット、フォーカスレンズ等を含む。光学系は、被写体からの光を集光し、被写体像を形成する。撮像素子は、光学系で形成された被写体像を撮像して、画像データを生成する。撮像素子は、ＣＭＯＳイメージセンサー、ＣＣＤイメージセンサー等である。

画像処理手段２０２は、ＡＤコンバータ、画像処理部を含む。ＡＤコンバータは、撮像素子で生成された画像データをデジタル信号に変換する。画像処理部は、ＡＤコンバータで変換された画像データに対して、ガンマ補正やホワイトバランス補正などの各種画像処理を行う。

画像出力手段２０３は、画像処理手段２０２からの画像情報、及び表示出力手段２０７からの表示情報を、出力する。画像出力手段２０３は、液晶モニタやＥＶＦ（電子ビューファインダ）で構成される。外部の表示モニタに出力する出力端子により構成しても良い。

被写体認識手段２０４は、画像処理手段２０２からの映像信号中の被写体を認識処理するものであり、パターンマッチングにより顔を検出する方法や色のマッチングにより被写体を認識する方法がある。被写体認識手段２０４は、被写体を認識するとともに、認識した被写体の確からしさを表す信頼度を算出する。

被写体サイズ判定手段２０５は、被写体認識手段２０４で認識した被写体について、そのサイズ情報を判定する。

表示設定手段２０６は、被写体サイズ判定手段２０５で判定された被写体サイズ判定情報をもとに、表示させる種類を判別する表示設定手段であり、表示出力手段２０７は、表示設定手段２０６からの表示種類情報を画面表示させる表示出力手段である。

表示出力手段２０７からの表示情報は画像出力手段２０３により映像信号と混合され、映像出力される。

ズーム制御手段２０９は、撮像手段２０１、または画像処理手段２０２にズーム倍率を変化させる制御信号を通知する。撮像手段２０１にズーム倍率を変化させる制御信号を通知した場合、撮像手段２０１にあるズームレンズを移動させることにより、出力される撮像信号にズーミング制御を行う。画像処理手段２０２にズーム倍率を変化させる制御信号を通知した場合、画像処理手段２０２は入力された映像信号を内部に備えられたメモリ（図示せず）に記憶させ、記憶した映像信号を拡大または縮小することにより、画像出力手段２０３に出力する映像信号にズーミング制御を行う。

ズーム操作手段２０８は撮影者のズーム制御操作を受け、ズーム制御手段２０９にズーム操作信号を通知する。

ズーム端判定手段２１０はズーム制御手段２０９でのズーム制御においてズーム位置がＴＥＬＥ端またはＷＩＤＥ端であるかどうかを判定する。ＴＥＬＥ端またはＷＩＤＥ端かどうかの情報は表示設定手段２０６に通知される。

ズーム速度判定手段２１１は被写体サイズ判定手段２０５で判定された被写体サイズをもとにズーム速度を判定し、ズーム制御手段２０９にズーム速度情報を通知する。

なお、本実施の形態では、構成要素を図２のブロック図において回路図ブロックを用いたハードウェアで示したが、図２の点線２５０で囲まれるブロックは１個のマイクロコンピュータで構成しても良く、の場合、各ブロックの動作はプログラムで表される。
（２．本発明との対応）
撮像手段２０１は、本発明の撮像部の一例である。画像処理手段２０２は、本発明の画像処理部の一例である。ズーム制御手段２０９は、本発明のズーム制御部の一例である。画像出力手段２０３、表示出力手段２０７からなる構成は、本発明の表示部の一例である。ズーム操作手段２０８は、本発明の操作部の一例である。被写体認識手段２０４は、本発明の被写体認識部の一例である。被写体サイズ判定手段２０５、表示設定手段２０６、ズーム端判定手段２１０、ズーム速度判定手段２１１からなる構成は、本発明の制御部の一例である。
（３．動作）
ビデオカメラ２００において、撮影中の被写体の大きさが変化した際の動作について、図３のフローチャートを用いて説明する。

撮影途中に、被写体サイズ判定手段２０５は、被写体認識手段２０４により認識した被写体のサイズを判定し（ステップＳ３０１）、不揮発メモリ上（図示せず）に保持する第１の所定サイズと比較し、第１の所定サイズより大きいと判定した場合（ステップ３０２でＹｅｓ）、表示設定手段２０６は、ＷＩＤＥの操作を促す表示の設定を行う（ステップ３０５）。この際、画像出力手段２０３に表示する表示画面を図１（ａ）に示す。被写体１１のサイズが大きく、被写体の認識精度が低下することを防止するために、ＷＩＤＥ操作を促す表示１０を行う。ＷＩＤＥ操作の表示方法として、図１（ａ）に示すように、画像出力手段２０３の四隅に外向きの矢印を表示する。このような表示方法により、撮影者は容易にＷＩＤＥ操作を行うべきことを認識することができる。

なお、第１の所定サイズは、サイズそのものの値を設定しても良いし、画像出力手段２０３で出力される画面サイズに対する割合を設定しても良い。

ＷＩＤＥの操作を促す表示を行った場合でも、ズームの位置がＷＩＤＥ端であった場合、それ以上ズーミング制御を行うことができない。ズーム端判定手段２１０において、ズームがＷＩＤＥ端でない（ステップ３０３でＮｏ）と判断した場合には、ＷＩＤＥ操作を促す表示を行い（ステップ３０５）、ズームがＷＩＤＥ端である（ステップ３０３でＹｅｓ）と判断した場合には、表示設定手段２０６で、撮影者が被写体から遠ざかる動作を促す表示の設定を行う（ステップ３０４）。遠ざかる動作を促す表示方法として、図１（ａ）に示すＷＩＤＥの操作を促す表示１０における、矢印の色を変えて表示する。遠ざかる動作を促す表示方法としては、図１（ａ）の表示１０を点滅させても良く、また、図１（ａ）と同じ表示方法であっても良い。

次に、被写体サイズ判定手段２０５は、判定した被写体のサイズが、不揮発メモリ上（図示せず）に保持する第２の所定サイズより小さいと判定した場合（ステップ３０６でＹｅｓ）、表示設定手段２０６でＴＥＬＥの操作を促す表示の設定を行う（ステップ３０９）。この際、画像出力手段２０３に表示する表示画面を図１（ｂ）に示す。ＴＥＬＥ操作の表示方法として、図１（ｂ）に示すように、画像出力手段２０３の四隅に内向きの矢印を表示する。このような表示方法により、撮影者は容易にＴＥＬＥ操作を行うべきことを認識することができる。

なお、第２の所定サイズは、サイズそのものの値を設定しても良いし、画像出力手段２０３で出力される画面サイズに対する割合を設定しても良い。

ＴＥＬＥの操作を促す表示を行った場合でも、ズームの位置がＴＥＬＥ端であった場合、それ以上ズーミング制御を行うことができない。ズーム端判定手段２１０において、ズームがＴＥＬＥ端である（ステップ３０７でＹｅｓ）と判断した場合には、表示設定手段２０６で、撮影者が被写体に近づく動作を促す表示の設定を行う（ステップ３０８）。近づく動作を促す表示方法として、図１（ｂ）に示すＴＥＬＥの操作を促す表示１２における、矢印の色を変えて表示する。近づく動作を促す表示方法としては、図１（ｂ）の表示１２を点滅させても良く、また、図１（ｂ）と同じ表示方法であっても良い。

このように、被写体が大きすぎた場合、又は小さすぎた場合は、被写体認識手段２０４でのパターンマッチングにより顔を検出する精度や、色のマッチングにより被写体を認識する精度が低下する。これに対して、被写体のサイズを基に、ＷＩＤＥの操作、又はＴＥＬＥの操作を促す表示を行い、撮影者が表示に沿った操作を行うことによって、被写体を認識する精度の低下を防止することができる。
（実施の形態２）
本実施の形態におけるビデオカメラ２００の構成は、実施の形態１と同じであり、説明を省略する。本実施の形態におけるビデオカメラ２００の動作について、図４のフローチャートを用いて説明する。本実施の形態では、撮影者のズーム操作時のズーム速度では被写体認識手段２０４による認識精度を保つことができない場合、被写体認識手段の認識精度を維持できるようズーム速度を自動的に変更する。

被写体サイズ判定手段２０５が、被写体認識手段２０４からの被写体サイズが大きすぎて認識精度の低下する第１の所定サイズを画面サイズの９０％、小さすぎて認識精度の低下する第２の所定サイズを画面サイズの１０％とする。この時、被写体サイズが９０％や１０％に近い場合、撮影者がズーム操作手段２０８を操作し、ズーミング制御を行ったとしてもズーム動作が間に合わず、被写体サイズが認識精度の低下するサイズとなってしまう確率は高い。

被写体サイズ判定手段２０５は、被写体のサイズを判定し（ステップＳ４０１）、そのサイズが、９０％になる前の第３の所定サイズ（例えば画面サイズの７０％）を超える場合、又は１０％になる前の第４の所定サイズ（例えば画面サイズの３０％）より小さい場合（ステップＳ４０２でＹｅｓ）、ズーム速度判定手段２１１に被写体サイズ情報の通知を行う。ズーム速度判定手段２１１は、ズーム速度を速めることをズーム制御手段２０９に通知を行い、ズーミング制御を行う（ステップＳ４０３）。これにより、高速にズーミング制御を行うことができ、被写体サイズが認識精度の低下するサイズになる確率を低減させることができる。

なお、本実施の形態では、第３の所定サイズ、及び第４の所定サイズを、画面サイズに対する割合で設定したが、サイズそのものの値を設定しても良い。

これ以降の処理は、実施の形態１と同様であり、説明を省略する。

なお、本発明における実施例で示した表示内容は一例に過ぎず、アイコンやメッセージによる表示、あるいはＬＥＤなどの発光体を利用した通知など、本発明の趣旨を逸脱しない範囲において様々の変形が可能であることは言うまでもない。

本発明の撮像装置は、認識した被写体のサイズを判断し、ＴＥＬＥまたはＷＩＤＥ方向へのズーム操作を促す表示、被写体に近づく、又は遠ざかるよう促す表示を行うことにより、撮影者の撮影意図に沿った自由な撮影が可能となり、かつ、撮影者が表示に従ってズーム倍率を変更することで、被写体認識手段の認識精度を保つことができる為、被写体を見失う可能性の低減と自由度の高い撮影との両立が可能となるため、デジタルカメラ、ビデオカメラ等で有用である。

本発明の一実施の形態における撮像装置の表示画面を表す図本発明の一実施の形態における撮像装置の構成を示すブロック図本発明の一実施の形態における制御フローを示すフローチャート本発明の他の実施の形態における制御フローを示すフローチャート

符号の説明

１０ＷＩＤＥの操作を促す表示
１１被写体認識精度の低下する大きすぎるサイズの被写体
１２ＴＥＬＥの操作を促す表示
１３被写体認識精度の低下する小さすぎるサイズの被写体
２００ビデオカメラ
２０１撮像手段
２０２画像処理手段
２０３画像出力手段
２０４被写体認識手段
２０５被写体サイズ判定手段
２０６表示設定手段
２０７表示出力手段
２０８ズーム操作手段
２０９ズーム制御手段
２１０ズーム端判定手段
２１１ズーム速度判定手段
２５０マイクロコンピュータ

Claims

被写体を撮像する撮像部と、
前記撮像部の出力を画像処理する画像処理部と、
前記撮像部及び前記画像処理部の少なくとも一方を制御し、被写体を拡大、又は縮小するズーム制御部と、
前記画像処理部の出力を表示する表示部と、
被写体を拡大、又は縮小する操作を含む操作指示を受け付ける操作部と、
前記画像処理部の画像中の被写体を認識する被写体認識部と、
前記被写体認識部で検出した被写体のサイズを判定し、前記被写体のサイズが第１の所定サイズより小さい時は、前記被写体を拡大する操作を促す拡大操作指示を、前記被写体サイズが第２の所定サイズより大きい時は、前記被写体を縮小する操作を促す縮小操作指示を、前記表示部に表示するよう制御する制御部と、
を備えた撮像装置。
前記拡大操作指示は、前記表示部の四隅に内向きの矢印を表示し、
前記縮小操作指示は、前記表示部の四隅に外向きの矢印を表示する
請求項１に記載の撮像装置。
前記制御部は、前記被写体をもっとも拡大した状態で、前記被写体サイズが前記第１の所定サイズより小さい時は、前記被写体に近づく動作を促す指示を、前記被写体をもっとも縮小した状態で、前記被写体サイズが前記第２の所定サイズより大きい時は、前記被写体から遠ざかる動作を促す指示を、前記表示部に表示するよう制御する
請求項１又は請求項２に記載の撮像装置。
前記制御部は、前記被写体サイズが第３の所定サイズより小さい時、又は第４の所定サイズより大きい時は、前記ズーム制御部において高速に拡大、又は縮小する
請求項１から請求項３の何れかに記載の撮像装置。
前記被写体認識部は、前記被写体として人の顔を認識する
請求項１から請求項４の何れかに記載の撮像装置。
前記第１の所定サイズ、及び前記第２の所定サイズを、表示部の表示サイズに対する割合により規定する
請求項１から請求項５の何れかに記載の撮像装置。