JP2010183253A - 情報表示装置および情報表示プログラム - Google Patents
情報表示装置および情報表示プログラム Download PDFInfo
- Publication number
- JP2010183253A JP2010183253A JP2009023763A JP2009023763A JP2010183253A JP 2010183253 A JP2010183253 A JP 2010183253A JP 2009023763 A JP2009023763 A JP 2009023763A JP 2009023763 A JP2009023763 A JP 2009023763A JP 2010183253 A JP2010183253 A JP 2010183253A
- Authority
- JP
- Japan
- Prior art keywords
- information
- image
- image processing
- specific object
- superimposing
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Withdrawn
Links
Images
Landscapes
- Studio Devices (AREA)
Abstract
【課題】 本発明の目的は、装置が行う各種動作の状況を確実に把握することができる情報表示装置および情報表示プログラムを提供することである。
【解決手段】 本発明の情報表示装置(16〜25)は、連続する画像から特定のオブジェクトを認識する認識手段(20)と、認識手段によって認識された特定のオブジェクトに対して、その特定のオブジェクトが認識されたことをユーザーに把握させるための情報を重畳する重畳手段(20)と、重畳手段によって前記情報が重畳された特定のオブジェクトを含む前記画像を表示する表示手段(19,18,20)とを備えた情報表示装置であって、重畳手段は、特定のオブジェクトに対して、検出枠とオブジェクト情報とを重畳する。なお、重畳手段が重畳するオブジェクト情報の少なくとも1つは、特定のオブジェクトの名前または名称である。
【選択図】 図1
【解決手段】 本発明の情報表示装置(16〜25)は、連続する画像から特定のオブジェクトを認識する認識手段(20)と、認識手段によって認識された特定のオブジェクトに対して、その特定のオブジェクトが認識されたことをユーザーに把握させるための情報を重畳する重畳手段(20)と、重畳手段によって前記情報が重畳された特定のオブジェクトを含む前記画像を表示する表示手段(19,18,20)とを備えた情報表示装置であって、重畳手段は、特定のオブジェクトに対して、検出枠とオブジェクト情報とを重畳する。なお、重畳手段が重畳するオブジェクト情報の少なくとも1つは、特定のオブジェクトの名前または名称である。
【選択図】 図1
Description
本発明は、情報表示装置および情報表示プログラムに関し、特に、装置が行う各種動作の状況を確実に把握することができるようにした情報表示装置および情報表示プログラムに関する。
近年、デジタルカメラやビデオカメラが広く普及している。これら従来の装置では、装置が行う各種動作について、その状況を撮影者等のユーザーに把握させるために、動作の状況を示す情報をLCDモニタの画面などに表示するものが一般的となっている。
例えば、特許文献1で開示される撮像装置では、その被写体認識動作により、撮影された画像から特定の被写体が認識された場合に、その認識されたことを示す四角形などの形状をした枠を、画像中の被写体に対して重畳させて画面に表示している。
つまり、従来のこの装置では、被写体にその枠が重畳された画像を表示することで、画像から特定の被写体が認識されたという被写体認識動作の状況をユーザーに把握させるようにしている。
しかしながら、従来の装置では、例えば、画像から特定の被写体が複数認識される場合には、いずれの被写体にも同じように枠が重畳されて表示される。そのため、予め定められた特定の被写体のうちのどの被写体が認識されたのか、つまり、装置が何を認識したのかという被写体認識動作の状況を、画面の表示内容から把握することは難しかった。
また、従来の装置では、例えば、画像中の被写体に対して逆光補正などの画像処理が自動的に実行された場合にも、その画像処理の内容については表示が行われないので、逆光補正などのため行われる画像処理動作の状況を画面の表示内容から把握することは難しかった。
本発明は、上記従来技術の課題を解決するためのものである。本発明の目的は、装置が行う各種動作の状況を確実に把握することができる情報表示装置および情報表示プログラムを提供することである。
第1の発明の情報表示装置は、連続する画像から特定のオブジェクトを認識する認識手段と、認識手段によって認識された特定のオブジェクトに対して、その特定のオブジェクトが認識されたことをユーザーに把握させるための情報を重畳する重畳手段と、重畳手段によって前記情報が重畳された特定のオブジェクトを含む前記画像を表示する表示手段とを備えた情報表示装置であって、重畳手段は、特定のオブジェクトに対して、検出枠とオブジェクト情報とを重畳する。なお、重畳手段が重畳するオブジェクト情報の少なくとも1つは、特定のオブジェクトの名前または名称である。
第2の発明の情報表示装置は、連続する画像から特定のオブジェクトを認識する認識手段と、認識手段によって認識された特定のオブジェクトに対して、その特定のオブジェクトが認識されたことをユーザーに把握させるための情報を重畳する重畳手段と、重畳手段によって前記情報が重畳された特定のオブジェクトを含む前記画像を表示する表示手段とを備えた情報表示装置であって、重畳手段は、特定のオブジェクトに対して、追尾情報を重畳する。なお、重畳手段が重畳する追尾情報は、追尾枠と追尾ラベルである。
第3の発明は、第2の発明において、前記画像から追尾対象とすべきオブジェクトをユーザーに指定させる指定手段を更に備え、認識手段は、その指定手段を介してユーザーが指定した追尾対象とすべきオブジェクトを特定のオブジェクトとして認識する。
第4の発明は、第1ないし第3の発明の何れか一の発明において、重畳手段は、認識手段によって特定のオブジェクトが複数認識された場合には、認識された複数の特定のオブジェクトに対して、形状が異なる検出枠または追尾枠をそれぞれ個別に重畳する。
第5の発明は、第1ないし第4の発明の何れか一の発明において、重畳手段は、認識手段によって特定のオブジェクトが複数認識された場合には、認識された複数の特定のオブジェクトに対して、オブジェクト情報または追尾情報をそれぞれ個別に重畳する。
第6の発明は、第1ないし第5の発明の何れか一の発明において、特定のオブジェクトが前記画像の画枠内で移動した場合には、その移動に追従して特定のオブジェクトに重畳された情報も移動する。
第7の発明は、第1ないし第6の発明の何れか一の発明において、表示手段は、特定のオブジェクトが前記画像の画枠から外れた場合には、前記画枠から外れたことを示す情報を前記画像と共に表示する。
第8の発明の情報表示装置は、連続する画像を解析すると共に、その解析結果に基づき前記画像に対して行うべき画像処理の内容を決定する制御手段と、制御手段によって決定された内容の画像処理を前記画像に対して施す画像処理手段と、画像処理手段による画像処理後の前記画像と共に、その画像処理の内容をユーザーに把握させるための画像処理情報を表示する表示手段とを備えた情報表示装置であって、表示手段は、画像処理情報として、画像処理の内容を示す文字列、ロゴマーク、イラスト、アイコンのうちの少なくとも1つを、画像処理後の前記画像と共に表示する。
第9の発明の情報表示プログラムは、連続する画像から特定のオブジェクトを認識する認識ステップと、認識ステップによって認識された特定のオブジェクトに対して、その特定のオブジェクトが認識されたことをユーザーに把握させるための情報を重畳する重畳ステップと、重畳ステップによって前記情報が重畳された特定のオブジェクトを含む前記画像を表示する表示ステップとをコンピュータに実行させる情報表示プログラムであって、重畳ステップでは、特定のオブジェクトに対して、検出枠とオブジェクト情報とを重畳する。なお、重畳ステップによって重畳されるオブジェクト情報の少なくとも1つは、特定のオブジェクトの名前または名称である。
第10の発明の情報表示プログラムは、連続する画像から特定のオブジェクトを認識する認識ステップと、認識ステップによって認識された特定のオブジェクトに対して、その特定のオブジェクトが認識されたことをユーザーに把握させるための情報を重畳する重畳ステップと、重畳ステップによって前記情報が重畳された特定のオブジェクトを含む前記画像を表示する表示ステップとをコンピュータに実行させる情報表示プログラムであって、重畳ステップでは、特定のオブジェクトに対して、追尾情報を重畳する。なお、重畳ステップによって重畳される追尾情報は、追尾枠と追尾ラベルである。
第11の発明は、第10の発明において、前記画像から追尾対象とすべきオブジェクトをユーザーに指定させる指定ステップを更にコンピュータに実行させ、認識ステップでは、その指定ステップでユーザーが指定した追尾対象とすべきオブジェクトを特定のオブジェクトとして認識する。
第12の発明は、第9ないし第11の発明の何れか一の発明において、重畳ステップでは、認識ステップによって特定のオブジェクトが複数認識された場合には、認識された複数の特定のオブジェクトに対して、形状が異なる検出枠または追尾枠をそれぞれ個別に重畳する。
第13の発明は、第9ないし第12の発明の何れか一の発明において、重畳ステップでは、認識ステップによって特定のオブジェクトが複数認識された場合には、認識された複数の特定のオブジェクトに対して、オブジェクト情報または追尾情報をそれぞれ個別に重畳する。
第14の発明は、第9ないし第13の発明の何れか一の発明において、特定のオブジェクトが前記画像の画枠内で移動した場合には、その移動に追従して特定のオブジェクトに重畳された情報も移動する。
第15の発明は、第9ないし第14の発明の何れか一の発明において、表示ステップでは、特定のオブジェクトが前記画像の画枠から外れた場合には、前記画枠から外れたことを示す情報を前記画像と共に表示する。
第16の発明の情報表示プログラムは、連続する画像を解析すると共に、その解析結果に基づき前記画像に対して行うべき画像処理の内容を決定する制御ステップと、制御ステップによって決定された内容の画像処理を前記画像に対して施す画像処理ステップと、画像処理ステップによる画像処理後の前記画像と共に、その画像処理の内容をユーザーに把握させるための画像処理情報を表示する表示ステップとをコンピュータに実行させる情報表示プログラムであって、表示ステップでは、画像処理情報として、画像処理の内容を示す文字列、ロゴマーク、イラスト、アイコンのうちの少なくとも1つを、画像処理後の前記画像と共に表示する。
本発明では、連続する画像から特定のオブジェクトを認識し、認識した特定のオブジェクトに対して、ユーザーに特定のオブジェクトが認識されたことを把握させるための情報、即ち、オブジェクト情報や追尾情報を重畳し、そして、その重畳後の画像を表示する。なお、オブジェクト情報の少なくとも1つは、検出枠と一緒に画面に表示される、特定のオブジェクトの名前または名称である。また、記追尾情報は、追尾枠と追尾ラベルである。
また、本発明では、連続する画像を解析し、その解析結果に基づき画像に対して行うべき画像処理の内容を決定すると共に、決定された内容の画像処理を当該画像に対して実行する。そして、その画像処理が行われたことをユーザーに把握させるため情報、即ち、画像処理情報を、画像処理後の画像と共に表示する。なお、画像処理情報は、画像処理の内容を示す文字列、ロゴマーク、イラスト、アイコンのうちの少なくとも1つである。
このように、本発明では、装置が行う各種動作の中で、その動作の状況を示す情報、即ち、オブジェクト情報や追尾情報、また画像処理情報が画面に表示される。
従って、本発明を利用すれば、装置が行う各種動作の状況を確実に把握することができる。
(第1実施形態)
以下、本発明の第1実施形態を説明する。第1実施形態は、デジタルカメラの実施形態である。
以下、本発明の第1実施形態を説明する。第1実施形態は、デジタルカメラの実施形態である。
図1は、第1実施形態のデジタルカメラの構成を示すブロック図である。
デジタルカメラは、撮像レンズ11およびレンズ駆動部12と、撮像素子13と、アナログ信号処理部14と、タイミングジェネレータ(TG)15と、バッファメモリ16と、画像処理部17と、表示制御部18と、表示部19と、制御部20と、圧縮/復号部21と、記録インターフェース(記録I/F)22と、記録媒体23と、操作部24と、バス25とを有している。ここで、バッファメモリ16、画像処理部17、表示制御部18、制御部20、圧縮/復号部21、記録I/F22は、バス25を介して接続されている。また、レンズ駆動部12、アナログ信号処理部14、TG15、操作部24は、それぞれ制御部20に接続されている。
撮像レンズ11は、フォーカスレンズやズームレンズを含む複数のレンズ群で構成されている。なお、簡単のため、図1では撮像レンズ11を1枚のレンズとして図示している。
レンズ駆動部12は、制御部20の指示に応じてレンズ駆動信号を発生し、撮像レンズ11を光軸方向に移動させてフォーカス調整やズーム調整を行うと共に、撮像レンズ11を通過した光束による被写体像を撮像素子13の受光面に形成する。
撮像素子13は、動画像や連写画像の撮影が可能な撮像素子であり、例えば、CCD型撮像素子、あるいはCMOS型撮像素子などによって構成される。なお、撮像素子13は、勿論、1フレーム毎の静止画像の撮影も可能である。
撮像素子13は、撮像レンズ11の像空間側に配置され、その受光面に形成された被写体像を光電変換してアナログ画像信号を生成する。この撮像素子13の出力はアナログ信号処理部14に接続されている。
アナログ信号処理部14は、制御部20の指示に応じて、撮像素子13から出力されたアナログ画像信号に対し、CDS(相関二重サンプリング)、ゲイン調整、A/D変換などのアナログ信号処理を施すと共に、その処理後の画像信号を出力する。なお、アナログ信号処理部14の出力はバッファメモリ16に接続されている。
また、アナログ信号処理部14は、制御部20の指示に基づいてゲイン調整の調整量を設定し、それによってISO感度に相当する撮影感度の調整を行う。
TG15は、制御部20の指示に基づき撮像素子13およびアナログ信号処理部14に対してタイミングパルスを供給する。撮像素子13およびアナログ信号処理部14の駆動タイミングはそのタイミングパルスによって制御される。
バッファメモリ16は、アナログ信号処理部14から出力される画像信号を画像データとして一時的に記憶する。また、バッファメモリ16は、制御部20により記録媒体23から読み出された画像データや、制御部20による処理の過程で作成された画像データを一時的に記憶する。
画像処理部17は、制御部20の指示に応じて、バッファメモリ16の画像データに対し、ホワイトバランス調整、補間、輪郭強調、ガンマ補正、解像度変換(画素数変換)などの画像処理を施す。なお、解像度変換(画素数変換)は、表示部19に画像データを表示させる場合などに必要な処理である。画像処理部17は、ASICなどとして構成される。
表示制御部18は、制御部20の指示に応じて、画像処理後の画像データに所定の信号処理(例えば、NTSC方式の複合映像信号に変換するための信号処理)を施して表示部19へ出力する。この出力により、画像データが表示部19に表示される。なお、表示部19は、デジタルカメラ筐体の背面などに設けられたLCDモニタや、接眼部を備えた電子ファインダなどである。
圧縮/復号部21は、制御部20の指示に応じて、バッファメモリ16の画像データに圧縮処理又は復号処理を施す。なお、圧縮処理及び復号処理は、静止画撮影時にはJPEG(Joint Photographic Experts Group)形式などによって行われ、動画撮影時にはMPEG(Moving Picture Experts Group)形式などによって行われる。
また、圧縮/復号部21は、可逆圧縮(いわゆるロスレス符号化)を行うことも可能な構成となっている。
記録I/F22には、記録媒体23を接続するためのコネクタが形成されている。記録I/F22は、そのコネクタに接続された記録媒体23にアクセスして、各種データの書き込みや読み出しを行う。制御部20は、撮影時には、この記録I/F22を介して、バッファメモリ16の圧縮処理後の画像データを記録媒体23へ記録する。但し、デジタルカメラが非圧縮記録モードに設定された場合には、制御部20は、バッファメモリ16の画像処理後の画像データを、圧縮処理を施さずに非圧縮のまま記録媒体23へ記録する。また、制御部20は、画像再生時には、記録I/F22を介して、その記録された画像データを記録媒体23から読み出してバッファメモリ16へ記録する。なお、記録媒体23は、半導体メモリを内蔵したメモリカードや、小型のハードディスクなどである。
操作部24は、レリーズボタン(シャッターボタン)、モード設定ボタン、メニューボタン、画像再生ボタン等の各種の操作部材を含み、撮影者などのユーザーによる部材操作の内容に応じた操作信号を制御部20に送る。
制御部20は、ユーザーによる操作部材の操作内容に応じてデジタルカメラの各部を統括制御する。
例えば、モード設定ボタン等の操作によりデジタルカメラが静止画撮影モードに設定されると、制御部20は、レンズ駆動部12、アナログ信号処理部14およびTG15を駆動してスルー画像の撮影を開始する。このとき、撮像素子13はドラフトモード(間引き読み出しモード)で駆動され、スルー画像の画像データがアナログ信号処理部14を介してバッファメモリ16へ順次記録される。制御部20は、そのスルー画像の画像データを基に、レンズ駆動部12と協働して撮像レンズ11の焦点調節制御(AF)を行う。また、制御部20は、不図示の測光部を駆動して、バッファメモリ16のスルー画像の画像データを基に撮影シーンの評価値を算出させると、その評価値に基づきアナログ信号処理部14などの設定内容を調整する。また、制御部20は、画像処理部17を駆動してバッファメモリ16のスルー画像の画像データに画像処理を施した後、表示制御部18を駆動して画像処理後のスルー画像の画像データを表示部19に順次表示させる(ライブビュー表示)。
次に、静止画撮影モードで動作中にレリーズボタンが半押しされると、制御部20は、本撮影に先立ち、レンズ駆動部12と協働して撮像レンズ11の焦点調節制御(AF)を行う。
また、静止画撮影モードで動作中にレリーズボタンが全押しされると、制御部20は、不図示の測光部が算出した評価値に基づき撮影条件(絞り値、シャッター速度、ストロボ発光の有無など)を決定する。そして、制御部20は、決定した撮影条件の下でレンズ駆動部12、アナログ信号処理部14およびTG15を駆動して本撮影を実施する。このとき、撮像素子13はフレームモード(全画素読み出しモード)で駆動され、撮影された静止画像(本撮影画像)の画像データがアナログ信号処理部14を介してバッファメモリ16へ記録される。この後、制御部20は、画像処理部17を駆動して、バッファメモリ16に記録された本撮影画像の画像データに対し画像処理を施す。また、制御部20は、表示制御部18を駆動して、画像処理後の本撮影画像を表示部19に表示させる。そして、制御部20は、圧縮/復号部21を駆動して、画像処理後の本撮影画像の画像データに対し圧縮処理を施すと共に、圧縮処理後の本撮影画像の画像データを記録I/F22を介して記録媒体23へ記録する。なお、制御部20は、デジタルカメラが非圧縮記録モードに設定された場合には、圧縮/復号部21を駆動することなく、画像処理後の本撮影画像の画像データを非圧縮のまま記録I/F22を介して記録媒体23へ記録する。
また、画像再生ボタンが押下されると、制御部20は、記録I/F22を介して、記録媒体23に記録された静止画像や動画像の画像データを再生画像の画像データとしてバッファメモリ16へ読み出す。その後、制御部20は、必要に応じて圧縮/復号部21を駆動して、そのバッファメモリ16の画像データに復号処理を施す。また、制御部20は、必要に応じて画像処理部17を駆動し、バッファメモリ16の画像データに対して必要な画像処理を施す。そして、制御部20は、表示制御部18を駆動して、バッファメモリ16の画像データを表示部19に表示させる。
以下、デジタルカメラが行う情報表示の動作を、図2の流れ図を参照して説明する。図2は、例えば、デジタルカメラが静止画撮影モードに設定された場合などに実行されるフローチャートであり、当該モードで撮影されるスルー画像に写るオブジェクト(ここでは、被写体)の情報を表示する動作を示すものである。
ステップ101(S101):制御部20は、レンズ駆動部12、アナログ信号処理部14およびTG15を駆動してスルー画像の撮影を開始する。このとき、撮像素子13はドラフトモード(間引き読み出しモード)で駆動される。
ステップ102:制御部20は、被写体情報表示モードが有効(ON)に設定されているか否かを判定する。なお、被写体情報表示モードの有効(ON)/無効(OFF)の設定は、例えば、メニューボタンの押下により表示部19(LCDモニタなど)に表示されるメニュー画面などを介して行うことができる。
制御部20は、当該モードが有効(ON)に設定されている場合は、被写体情報の表示の処理を行うためにステップ103へ移行する(Yes側)。一方、制御部20は、そうでない場合、即ち、当該モードが無効(OFF)に設定されている場合は、その表示の処理を行わずにステップ111へ移行する(No側)。
ステップ103:制御部20は、バッファメモリ16に記録されたスルー画像(1フレーム分)から被写体(特に、顔の領域)を検出する。なお、被写体(特に、顔の領域)の検出は、例えば、特開2001−309225号公報や特開2006−155096号公報などで開示されるパターンマッチング手法等の従来技術を利用して行える。
ステップ104:制御部20は、スルー画像から被写体の顔領域を検出できたか否かによって処理を分岐する。即ち、制御部20は、被写体の顔領域を検出できた場合にはステップ105へ移行し(Yes側)、検出できなかった場合にはステップ111へ移行する(No側)。
ステップ105:制御部20は、検出した顔により被写体を認証する。具体的には、例えば、検出した顔領域のデータとデジタルカメラに予め登録されている顔のデータとが一致するか、或いは、一致すると見做せるかを調べることなどによって被写体の認証を行う。なお、認証には、例えば、上記の特開2006−155096号公報などで開示される従来技術を利用することができる。
ステップ106:制御部20は、スルー画像から検出した顔がデジタルカメラに登録されているものであるか、即ち、被写体の認証結果がOKであるか否かを判定する。
制御部20は、認証結果がOKである場合にはステップ107へ移行し(Yes側)、一方、そうでない場合はステップ109へ移行する(No側)。
ステップ107:制御部20は、認証された被写体、即ち、デジタルカメラで特定の被写体であると認識された被写体について、デジタルカメラに予め登録されている、例えば、被写体の名前や名称(文字列)などの被写体情報を取得する。なお、被写体情報は、ユーザーがスルー画像中での被写体の識別や特定を容易に行えるようにするために使用される情報である。
ステップ108:制御部20は、画像処理部17を駆動して、バッファメモリ16のスルー画像に対し、ホワイトバランス調整やガンマ補正、解像度変換(画素数変換)などの必要な画像処理を施す。
そして、制御部20は、被写体の検出を示す検出枠と上記で取得した被写体情報とを、バッファメモリ16のスルー画像中の認証された被写体の顔部分に重畳させる。この重畳後のスルー画像のイメージを図3に示す。なお、図3の例では、被写体情報として、「花子」という被写体の名前(文字列)が重畳されている。
その後、制御部20は、ステップ110へ移行する。
ステップ109:制御部20は、画像処理部17を駆動して、バッファメモリ16のスルー画像に対し、ホワイトバランス調整やガンマ補正、解像度変換(画素数変換)などの必要な画像処理を施す。
そして、制御部20は、検出枠を、バッファメモリ16のスルー画像中の認証された被写体の顔部分に重畳させる。
ステップ110:制御部20は、スルー画像から検出された全ての被写体について、顔による認証(顔認証)が済んだか否かを判定する。
制御部20は、全ての被写体について顔認証が済んだ場合にはステップ111へ移行し(Yes側)、一方、済んでいない場合にはステップ105へ移行して顔認証の処理を繰り返す(No側)。
ステップ111:制御部20は、表示制御部18を駆動して、バッファメモリ16のスルー画像(1フレーム分)を表示部19に表示させる。但し、ステップ102又は104での判定処理によって本ステップに移行した場合には、制御部20は、その表示の前処理として、表示制御部18を駆動する前に、画像処理部17を駆動して、バッファメモリ16のスルー画像に対し、ホワイトバランス調整やガンマ補正、解像度変換(画素数変換)などの必要な画像処理を施すものとする。
ステップ112:制御部20は、静止画撮影モードの終了が指示されたか否かを判定する。なお、その終了の指示は、デジタルカメラが静止画撮影モード以外のモードに設定されることなどによって行われる。
制御部20は、静止画撮影モードの終了が指示された場合には、ステップ113へ移行する(Yes側)。一方、制御部20は、終了が指示されていない場合には、ステップ102へ移行して上記の処理を繰り返す(No側)。
ステップ113:制御部20は、レンズ駆動部12、アナログ信号処理部14およびTG15の駆動を停止して、スルー画像の撮影を終了する。
なお、スルー画像から2つの被写体が認識される場合のライブビュー表示のイメージを図4に示す。図4の例では、「太郎」という名前の被写体と「花子」という名前の被写体とが認識され、それらの被写体が被写界画面内で移動する様子を、(a)、(b)、(c)の画面表示イメージによって時系列順に示している。図4から分かるように、被写体が移動すると、それに追従して、検出枠及び被写体情報もそのまま被写体と一緒に移動する。このため、被写体が移動する場合にも、その被写界画面内での存在位置を容易に把握することができる。
(第1実施形態の補足事項)
なお、上記のステップ105での顔認証は、スルー画像から検出された全ての顔に対して行うように説明した。しかし、前周期の処理で既に顔認証が済んでいる被写体、つまり、デジタルカメラで既に認識されている被写体については、その顔認証の処理を行わないようにしてもよい。その場合、ステップ105では、前周期の顔認証の際に不図示のメモリ等に記録しておいた認証結果を今周期の処理において取得するようにし、そして、その取得した前周期の認証結果を、ステップ106での認証結果の判定に用いるようにする。そうすれば、顔認証に要する処理負荷を軽減することができる。
なお、上記のステップ105での顔認証は、スルー画像から検出された全ての顔に対して行うように説明した。しかし、前周期の処理で既に顔認証が済んでいる被写体、つまり、デジタルカメラで既に認識されている被写体については、その顔認証の処理を行わないようにしてもよい。その場合、ステップ105では、前周期の顔認証の際に不図示のメモリ等に記録しておいた認証結果を今周期の処理において取得するようにし、そして、その取得した前周期の認証結果を、ステップ106での認証結果の判定に用いるようにする。そうすれば、顔認証に要する処理負荷を軽減することができる。
また、上記では、顔認証での認証結果がOKでない場合、つまり、デジタルカメラが被写体を認識できない場合は、被写体の顔部分には検出枠のみが重畳表示されるように説明した。しかし、認識できない被写体については、被写体情報をユーザーに入力させるようにしてもよい。
例えば、デジタルカメラの表示部19がタッチパネルの機能を備えたタッチスクリーンLCDであるとすれば、その画面上で、被写体の顔部分に表示された検出枠の部分にユーザーが触れた場合に、図5に示すように、被写体情報として「???」との記号を表示するようにする。また、それと同時に、入力可能な被写体情報の候補をプルダウンメニュー形式で表示するようにする。なお、図5の例では、ユーザーに選択させるプルダウンメニューの項目、即ち、入力可能な被写体情報の候補として、「男の子1」、「犬」、「車」など、7種類の情報が表示されている。
そして、被写体情報として「男の子1」を入力したい場合、ユーザーは、画面上で、表示されたプルダウンメニュー項目の「男の子1」の部分に触れるようにする。このようにしてユーザーに入力させた「男の子1」という被写体情報を、検出枠と共に、被写体の顔部分に表示するようにすればよい。そうすれば、デジタルカメラが認識できない被写体についても、ユーザーは、画面上で、他の被写体との識別や特定を行えるようになる。
また、上記では、被写体情報(オブジェクト情報)として、被写体(オブジェクト)の名前や名称のみが表示されると説明した。しかし、被写体(オブジェクト)の名前や名称と一緒に、例えば、スルー画像中での被写体(オブジェクト)の存在位置(X−Y座標値など)や被写体(オブジェクト)の大きさ(被写体領域のピクセル数など)の情報を被写体情報(オブジェクト情報)として表示するようにしてもよい。
(第1実施形態の作用効果)
以上、第1実施形態のデジタルカメラでは、撮影されたスルー画像から被写体(特に、顔の領域)が検出され、その被写体について顔認証が行われる。そして、顔認証の結果がOKである場合、つまり、検出された被写体の顔がデジタルカメラに予め登録されたものである場合には、当該被写体が特定の被写体であるとデジタルカメラで認識されて、被写体に関する情報(被写体情報)が取得される。なお、被写体情報は、被写体の顔データに対応させて、デジタルカメラに予め登録された被写体の名前や名称などの情報である。
以上、第1実施形態のデジタルカメラでは、撮影されたスルー画像から被写体(特に、顔の領域)が検出され、その被写体について顔認証が行われる。そして、顔認証の結果がOKである場合、つまり、検出された被写体の顔がデジタルカメラに予め登録されたものである場合には、当該被写体が特定の被写体であるとデジタルカメラで認識されて、被写体に関する情報(被写体情報)が取得される。なお、被写体情報は、被写体の顔データに対応させて、デジタルカメラに予め登録された被写体の名前や名称などの情報である。
その後、被写体の検出を示す検出枠と、取得された被写体情報とが、スルー画像中の認証された(認証結果がOKであった)被写体、即ち、特定の被写体であるとデジタルカメラで認識された被写体の顔部分に重畳されて、その重畳されたスルー画像がLCDモニタなどの画面に表示される。
また、スルー画像から複数の被写体が認証された場合には、認証された複数の被写体がそれぞれ特定の被写体であるとデジタルカメラで認識されて、それら認識された複数の被写体(特に、顔部分)のそれぞれに対し検出枠と被写体情報とが重畳されて、その重畳されたスルー画像が画面に表示される。
このように、認証された被写体には、検出枠と一緒に被写体の名前や名称などの被写体情報が重畳される。
従って、第1実施形態のデジタルカメラでは、予め定められた特定の被写体のうちのどの被写体が認識されたのか、つまり、デジタルカメラが何を認識したのかという被写体認識動作の状況を、画面の表示内容から確実に把握することができる。
(第2実施形態)
以下、本発明の第2実施形態を説明する。第2実施形態も、デジタルカメラの実施形態である。なお、以下の説明では、第1実施形態と共通するデジタルカメラの構成要素については同一符号を付して重複説明を省略する。
以下、本発明の第2実施形態を説明する。第2実施形態も、デジタルカメラの実施形態である。なお、以下の説明では、第1実施形態と共通するデジタルカメラの構成要素については同一符号を付して重複説明を省略する。
以下、デジタルカメラが行う情報表示の動作を、図6の流れ図を参照して説明する。図6は、例えば、デジタルカメラが静止画撮影モードに設定された場合などに実行されるフローチャートであり、当該モードで撮影されるスルー画像に対して行われる画像処理(例えば、逆光補正や赤目補正など)の情報を表示する動作を示すものである。
ステップ201(S201):制御部20は、レンズ駆動部12、アナログ信号処理部14およびTG15を駆動してスルー画像の撮影を開始する。このとき、撮像素子13はドラフトモード(間引き読み出しモード)で駆動される。
ステップ202:制御部20は、画像処理情報表示モードが有効(ON)に設定されているか否かを判定する。なお、画像処理情報表示モードの有効(ON)/無効(OFF)の設定は、例えば、メニューボタンの押下により表示部19(LCDモニタなど)に表示されるメニュー画面などを介して行うことができる。
制御部20は、当該モードが有効(ON)に設定されている場合は、画像処理情報の表示に係る処理を行うためにステップ203へ移行する(Yes側)。一方、制御部20は、そうでない場合、即ち、当該モードが無効(OFF)に設定されている場合は、その表示に係る処理を行わずにステップ208へ移行する(No側)。
ステップ203:制御部20は、画像自動補正モードが有効(ON)に設定されているか否かを判定する。なお、画像自動補正モードの有効(ON)/無効(OFF)の設定は、メニューボタンの押下により表示部19(LCDモニタなど)に表示されるメニュー画面などを介して行うことができる。
制御部20は、当該モードが有効(ON)に設定されている場合は、スルー画像の自動補正に係る処理を行うためにステップ204へ移行する(Yes側)。一方、制御部20は、そうでない場合、即ち、当該モードが無効(OFF)に設定されている場合は、その自動補正に係る処理を行わずにステップ208へ移行する(No側)。
ステップ204:制御部20は、バッファメモリ16のスルー画像(1フレーム分)を解析して、当該スルー画像に対し自動補正として実行すべき画像処理の内容(例えば、逆光補正や赤目補正など)を決定する。
ステップ205:制御部20は、ステップ204での処理の結果を基に、自動補正として行うべき画像処理が有るか否かを判定する。
制御部20は、行うべき画像処理が有る場合にはステップ206へ移行し(Yes側)、一方、行うべき画像処理が無い場合はステップ208へ移行する(No側)。
ステップ206:制御部20は、画像処理部17を駆動して、バッファメモリ16のスルー画像に対し上記で決定した内容の画像処理を実行する。このとき、バッファメモリ16のスルー画像には、ホワイトバランス調整やガンマ補正、解像度変換(画素数変換)など、その他の必要な画像処理が併せて施される。
ステップ207:制御部20は、表示制御部18を駆動して、画像処理情報、つまり、上記で自動補正として実行した画像処理の内容を示す情報を、画像処理後のバッファメモリ16のスルー画像(1フレーム分)と共に表示部19に表示させる。なお、画像処理情報は、所定の時間(数秒)が過ぎるまで表示部19の画面に表示され続ける。
ここで、スルー画像に対し逆光補正が実行される場合のライブビュー表示のイメージを図7に示す。例えば、図7の(a)に示すように、撮影されたスルー画像に写った被写体の顔部分が逆光のために暗くなっている場合、画像自動補正モードが「ON」に設定されていれば、デジタルカメラではスルー画像に対して逆光補正が自動的に実行される。そして、図7の(b)、(c)、(d)の画面表示イメージによって時系列順に示すように、画像処理情報、即ち、自動補正として実行された画像処理の内容を示す情報が画面に表示される。図7の例では、画像処理情報として「逆光の補正をしました」というメッセージ(文字列)が、画面上に、その右側から左側の方向へ流れるように表示される。
このため、ユーザーは、撮影するときに、デジタルカメラがどのようなモードに設定されているのかがよく分からない場合であっても、その表示により、デジタルカメラでどのような画像処理が画像に対して自動的に行われたかということを容易に理解することができる。特に、ユーザーがカメラに詳しくない場合には、このような表示が有効である。
制御部20は、スルー画像(1フレーム分)及び画像処理情報が表示部19に表示されると、ステップ209へ移行する。
ステップ208:制御部20は、画像処理部17を駆動して、バッファメモリ16のスルー画像に対し、ホワイトバランス調整やガンマ補正、解像度変換(画素数変換)などの必要な画像処理を施す。
そして、制御部20は、表示制御部18を駆動して、バッファメモリ16のスルー画像(1フレーム分)を表示部19に表示させる。
ステップ209:制御部20は、静止画撮影モードの終了が指示されたか否かを判定する。なお、その終了の指示は、デジタルカメラが静止画撮影モード以外のモードに設定されることなどによって行われる。
制御部20は、静止画撮影モードの終了が指示された場合には、ステップ210へ移行する(Yes側)。一方、制御部20は、終了が指示されていない場合には、ステップ202へ移行して上記の処理を繰り返す(No側)。
ステップ210:制御部20は、レンズ駆動部12、アナログ信号処理部14およびTG15の駆動を停止して、スルー画像の撮影を終了する。
(第2実施形態の補足事項)
なお、上記では、自動補正として逆光補正などの画像処理が行われた場合には、その行われた画像処理の内容を示す情報、即ち、画像処理情報が、その画像処理後のスルー画像と共に画面に表示されることを説明した。しかし、その表示の際には、例えば図8に示すように、さらに、逆光補正などの画像処理を実行する前のスルー画像と、それを実行した後のスルー画像とを、画面に一緒に表示するようにしてもよい。そうすれば、ユーザーは、画像処理実行後のスルー画像のみを表示する場合と比べて、逆光補正などの画像処理の効果をはっきりと理解することができるようになる。
なお、上記では、自動補正として逆光補正などの画像処理が行われた場合には、その行われた画像処理の内容を示す情報、即ち、画像処理情報が、その画像処理後のスルー画像と共に画面に表示されることを説明した。しかし、その表示の際には、例えば図8に示すように、さらに、逆光補正などの画像処理を実行する前のスルー画像と、それを実行した後のスルー画像とを、画面に一緒に表示するようにしてもよい。そうすれば、ユーザーは、画像処理実行後のスルー画像のみを表示する場合と比べて、逆光補正などの画像処理の効果をはっきりと理解することができるようになる。
また、上記では、画像処理情報の一例として、「逆光の補正をしました」というメッセージ(文字列)が表示されることを説明した。しかし、その「メッセージ」(文字列)以外に、例えば、行われた画像処理の内容を示した「ロゴマーク」や「イラスト」、「アイコン」などの画像を画像処理情報として表示するようにしてもよい。なお、メッセージ及びそれらの画像は、それぞれを単独で表示してもよいが、それらの2つ以上を組み合わせて表示するようにしてもよい。さらに、それらの表示と共に、行われた画像処理の内容を、デジタルカメラのスピーカー(不図示)などを介して「音声」で通知するようにしてもよい。そうすれば、デジタルカメラが行う画像処理動作の状況をユーザーが把握し易くなる。
(第2実施形態の作用効果)
以上、第2実施形態のデジタルカメラでは、スルー画像を解析して、スルー画像に対し自動補正として実行すべき画像処理の内容(例えば、逆光補正や赤目補正など)が決定される。
以上、第2実施形態のデジタルカメラでは、スルー画像を解析して、スルー画像に対し自動補正として実行すべき画像処理の内容(例えば、逆光補正や赤目補正など)が決定される。
そして、決定された結果から自動補正として行うべき画像処理が有ると判定された場合には、決定された内容の画像処理がスルー画像に対して実行される。
その後、実行された画像処理の内容を示す情報、即ち、画像処理情報が、画像処理後のスルー画像(1フレーム分)と共にLCDモニタなどの画面に表示される。
従って、第2実施形態のデジタルカメラでは、「逆光補正などの画像処理が自動的に実行された」というような画像処理動作の状況を、画面の表示内容から確実に把握することができる。
(第3実施形態)
以下、本発明の第3実施形態を説明する。この第3実施形態も、デジタルカメラの実施形態である。なお、以下の説明では、第1実施形態と共通するデジタルカメラの構成要素については同一符号を付して重複説明を省略する。
以下、本発明の第3実施形態を説明する。この第3実施形態も、デジタルカメラの実施形態である。なお、以下の説明では、第1実施形態と共通するデジタルカメラの構成要素については同一符号を付して重複説明を省略する。
以下、デジタルカメラが行う情報表示の動作を、図9の流れ図を参照して説明する。図9は、例えば、デジタルカメラが静止画撮影モードに設定された場合などに実行されるフローチャートであり、当該モードで撮影されるスルー画像に写るオブジェクト(ここでは、被写体)の追尾情報を表示する動作を示すものである。
ステップ301(301):制御部20は、レンズ駆動部12、アナログ信号処理部14およびTG15を駆動してスルー画像の撮影を開始する。このとき、撮像素子13はドラフトモード(間引き読み出しモード)で駆動される。
ステップ302:制御部20は、追尾情報表示モードが有効(ON)に設定されているか否かを判定する。なお、追尾情報表示モードの有効(ON)/無効(OFF)の設定は、例えば、メニューボタンの押下により表示部19(LCDモニタなど)に表示されるメニュー画面などを介して行うことができる。
制御部20は、当該モードが有効(ON)に設定されている場合は、追尾情報の表示の処理を行うためにステップ304へ移行する(Yes側)。一方、制御部20は、そうでない場合、即ち、当該モードが無効(OFF)に設定されている場合は、その表示の処理を行わずにステップ303へ移行する(No側)。
ステップ303:制御部20は、画像処理部17を駆動して、バッファメモリ16に記録されたスルー画像に対し、ホワイトバランス調整やガンマ補正、解像度変換(画素数変換)などの必要な画像処理を施す。
そして、制御部20は、表示制御部18を駆動して、バッファメモリ16のスルー画像(1フレーム分)を表示部19に表示させる。
この後、スルー画像が表示部19に表示されると、制御部20は、ステップ312へ移行する。
ステップ304:制御部20は、撮影されたスルー画像中において、追尾を行う被写体、即ち、追尾対象がユーザーによって指定されているか否かを判定する。
制御部20は、追尾対象が既に指定されている場合はステップ306へ移行し(Yes側)、一方、指定されていない場合はステップ305へ移行する(No側)。
ステップ305:制御部20は、追尾対象(被写体)をユーザーに指定させる。なお、その指定は、次に示すような方法によってユーザーに行わせるとよい。
例えば、撮影されたスルー画像から被写体を検出して、検出した全ての被写体(特に、顔の部分)にそれぞれ追尾枠を重畳させて画面に表示する。そして、デジタルカメラの表示部19がタッチパネルの機能を備えたタッチスクリーンLCDであるとすれば、その画面上で、表示された追尾枠の部分にユーザーが触れた場合に、当該追尾枠に対応する被写体を追尾対象として認識するようにする。なお、指定の完了時には、追尾対象として認識した被写体の追尾枠はそのまま表示され続けるが、それ以外の被写体の追尾枠については消去されて表示されなくなる。
また、別の方法としては、例えば、デジタルカメラの表示部19がタッチスクリーンLCDであるとすれば、その画面上で、表示された被写体の部分にユーザーが触れた場合に、その触れた部分に対応したスルー画像の領域から被写体を検出する。そして、検出した被写体を追尾対象として認識すると共に、その被写体(特に、顔の部分)に追尾枠を重畳させて画面に表示するようにする。
このような方法により、ユーザーに追尾対象(被写体)を指定させるようにするとよい。なお、追尾対象(被写体)は、複数指定できるものとする。
ここで、追尾対象(被写体)が指定されたときに表示される画面のイメージを図10に示す。図10の例は、ユーザーが、2つの被写体の片方を追尾対象として指定した場合のイメージである。この例では、追尾対象として指定された被写体(特に、顔の部分)に追尾枠が重畳表示されている。また、その追尾枠の上側部分に追尾ラベルとして「追尾#A」との情報(文字列)が表示されている。つまり、本実施形態では、追尾枠と追尾ラベルが追尾情報として表示される。なお、追尾ラベルは、画面において、ユーザーが追尾対象の識別や特定を容易に行えるようにするための情報として表示されるものである。この追尾ラベルは、デジタルカメラが自動的に付与した情報(例えば、シリアルナンバーなど)でもよく、ユーザーに入力させた情報(例えば、被写体の名前や名称など)であってもよい。
制御部20は、追尾対象(被写体)をユーザーに指定させ終えるとステップ308へ移行する。
ステップ306:制御部20は、バッファメモリ16に記録されたスルー画像(1フレーム分)から被写体(特に、顔の領域)を検出する。なお、被写体(特に、顔の領域)の検出は、例えば、特開2001−309225号公報や特開2006−155096号公報などで開示されるパターンマッチング手法等の従来技術を利用して行える。そして、制御部20は、検出した被写体から、ユーザーによって既に指定されている追尾対象(被写体)を特定する。このようにして、制御部20は、スルー画像から追尾対象(被写体)を検出する。
ステップ307:制御部20は、スルー画像から検出できない追尾対象(被写体)が有るか、即ち、被写界画面から外れた追尾対象(被写体)が有るか否かを判定する。
制御部20は、被写界画面から外れた追尾対象が有る場合はステップ309へ移行し(Yes側)、一方、そうでない場合はステップ308へ移行する(No側)。
ステップ308:制御部20は、画像処理部17を駆動して、バッファメモリ16に記録されたスルー画像に対し、ホワイトバランス調整やガンマ補正、解像度変換(画素数変換)などの必要な画像処理を施す。
また、この画像処理の後、制御部20は、バッファメモリ16のスルー画像中の追尾対象(被写体)に、追尾枠と追尾対象の識別のための情報(追尾ラベル)とを重畳させる。ここでは、特に、追尾対象(被写体)の顔部分に追尾枠と追尾ラベルとを重畳させる。
そして、制御部20は、表示制御部18を駆動して、バッファメモリ16のスルー画像(1フレーム分)を表示部19に表示させる。
スルー画像が表示部19に表示されると、制御部20は、ステップ312へ移行する。
ステップ309:制御部20は、被写界画面内に、そこから外れたもの以外の別の追尾対象(被写体)が存在するか否かを判定する。
そして、制御部20は、被写界画面内に別の追尾対象(被写体)が存在する場合はステップ311へ移行し(Yes側)、一方、存在しない場合はステップ310へ移行する(No側)。
ステップ310:制御部20は、画像処理部17を駆動して、バッファメモリ16に記録されたスルー画像に対し、ホワイトバランス調整やガンマ補正、解像度変換(画素数変換)などの必要な画像処理を施す。
そして、この画像処理の後、制御部20は、表示制御部18を駆動して、バッファメモリ16のスルー画像(1フレーム分)と共に、追尾対象(被写体)が被写界画面から外れたことを示す情報(メッセージ)を表示部19に表示させる。
なお、追尾対象(被写体)が被写界画面から外れたことを示す情報(メッセージ)は、所定の時間(数秒)が過ぎるまで表示部19の画面に表示され続ける。
制御部20は、スルー画像及びメッセージが表示部19に表示されると、ステップ312へ移行する。
ステップ311:制御部20は、画像処理部17を駆動して、バッファメモリ16に記録されたスルー画像に対し、ホワイトバランス調整やガンマ補正、解像度変換(画素数変換)などの必要な画像処理を施す。
また、この画像処理の後、制御部20は、バッファメモリ16のスルー画像中の追尾対象(被写体)に、追尾枠と追尾対象の識別のための情報(追尾ラベル)とを重畳させる。ここでは、特に、追尾対象(被写体)の顔部分に追尾枠と追尾ラベルとを重畳させる。
そして、制御部20は、表示制御部18を駆動して、バッファメモリ16のスルー画像(1フレーム分)と共に、追尾対象(被写体)が被写界画面から外れたことを示す情報(メッセージ)を表示部19に表示させる。
なお、追尾対象(被写体)が被写界画面から外れたことを示す情報(メッセージ)は、所定の時間(数秒)が過ぎるまで表示部19の画面に表示され続ける。
制御部20は、スルー画像及びメッセージが表示部19に表示されると、ステップ312へ移行する。
ステップ312:制御部20は、静止画撮影モードの終了が指示されたか否かを判定する。なお、その終了の指示は、デジタルカメラが静止画撮影モード以外のモードに設定されることなどによって行われる。
制御部20は、静止画撮影モードの終了が指示された場合には、ステップ313へ移行する(Yes側)。一方、制御部20は、終了が指示されていない場合には、ステップ302へ移行して上記の処理を繰り返す(No側)。
ステップ313:制御部20は、レンズ駆動部12、アナログ信号処理部14およびTG15の駆動を停止して、スルー画像の撮影を終了する。
なお、被写界画面内の2つの被写体が追尾対象として指定された場合のライブビュー表示のイメージを図11に示す。図11の例では、片方の追尾対象(被写体)には「追尾#1」という情報(文字列)が追尾ラベルとして表示され、もう片方の追尾対象(被写体)には「追尾#2」という情報(文字列)が追尾ラベルとして表示されている。また、図11の例では、それらの被写体が被写界画面において移動する様子を、(a)、(b)、(c)、(d)の画面表示イメージによって時系列順に示している。
図11から分かるように、追尾対象(被写体)が移動すると、それに追従して、追尾枠及び追尾ラベルもそのまま追尾対象(被写体)と一緒に移動する。このため、追尾対象(被写体)がどのように移動しても、ユーザーは、被写界画面での追尾対象(被写体)の存在位置を容易に把握することができる。
また、図11の(c)、(d)から分かるように、追尾対象(被写体)が被写界画面から外れた場合には、その外れたことを示す情報がユーザーへのメッセージとして画面に表示される。なお、図11の(c)、(d)の例では、「追尾対象1が画面から外れました」という情報(文字列)がメッセージとして表示されている。このため、追尾対象(被写体)が被写界画面から外れてしまった場合にも、ユーザーは、その外れてしまったこと、及び、外れたのはどの追尾対象(被写体)なのかということを容易に把握することができる。
(第3実施形態の作用効果)
以上、第3実施形態のデジタルカメラでは、スルー画像に写ったオブジェクト(被写体)のうちユーザーによって指定されたものが追尾対象(被写体)として認識される。そして、そのユーザーによって指定された追尾対象(被写体)に対し、追尾枠と追尾ラベルとが重畳されて、その重畳されたスルー画像がLCDモニタなどの画面に表示される。
以上、第3実施形態のデジタルカメラでは、スルー画像に写ったオブジェクト(被写体)のうちユーザーによって指定されたものが追尾対象(被写体)として認識される。そして、そのユーザーによって指定された追尾対象(被写体)に対し、追尾枠と追尾ラベルとが重畳されて、その重畳されたスルー画像がLCDモニタなどの画面に表示される。
なお、追尾ラベルは、ユーザーによって与えられる被写体の名前や名称などの情報、或いはデジタルカメラによって与えられるシリアルナンバーなどの情報である。
また、ユーザーによって、スルー画像から複数のオブジェクト(被写体)が追尾対象(被写体)として指定された場合には、その指定により認識された複数の追尾対象(被写体)のそれぞれに対し追尾枠と追尾ラベルとが重畳されて、その重畳されたスルー画像が画面に表示される。
このように、ユーザーの指定によってデジタルカメラで認識された追尾対象(被写体)には、追尾枠と追尾ラベルとの追尾情報が重畳される。
従って、第3実施形態のデジタルカメラでは、被写界画面内に被写体が複数存在する場合にも、ユーザーが指定した追尾対象について、デジタルカメラが行う追尾動作の状況を、画面の表示内容から確実に把握することができる。
(その他)
なお、上記では、オブジェクト(被写体)が「人」であるものとしてデジタルカメラの動作を説明した。しかし、オブジェクト(被写体)は、それ以外の、例えば、動物(犬、猫など)や乗り物(車、飛行機など)などであってもよい。
なお、上記では、オブジェクト(被写体)が「人」であるものとしてデジタルカメラの動作を説明した。しかし、オブジェクト(被写体)は、それ以外の、例えば、動物(犬、猫など)や乗り物(車、飛行機など)などであってもよい。
また、上記では、検出枠および追尾枠の形状が四角形であるものとして説明したが、丸形や三角形、楕円形、或いは星形など、オブジェクトがデジタルカメラで認識されたことをユーザーが把握し易い形状であれば、どのような形状であってもよい。
また、上述した検出枠および追尾枠は、それが重畳されるべきオブジェクト(被写体)が複数存在する場合には、オブジェクト(被写体)毎に、形状が異なるもの(枠)を重畳させて表示するようにしてもよい。例えば、オブジェクト(被写体)#Aには三角形の枠、オブジェクト(被写体)#Bには、楕円形の枠を重畳させて表示するようにする。そうすれば、各オブジェクトを識別し易くなるので、全てのオブジェクトに同じ形状の枠を重畳させて表示する場合と比べて、ユーザーはデジタルカメラが行う動作の状況を確実に把握できるようになる。
また、第2実施形態の画像処理情報の表示処理は、第1実施形態および第3実施形態にも適用することができる。
また、第3実施形態において、追尾対象(被写体)が被写界画面から外れたときに、カメラが画面に表示する情報(メッセージ)は、第1実施形態において、被写体が連続して撮影されるスルー画像の画枠から外れた場合にも、同様に表示するようにしてよい。
また、上記では、スルー画像によるライブビュー表示において、被写体情報、画像処理情報、追尾情報を表示するように説明した。しかし、それらの情報は、動画撮影時や動画再生時にも表示することができる。即ち、第1〜第3実施形態で説明した処理は、動画撮影や動画再生に係る処理にも適用することができる。
なお、動画撮影においては、動画ファイルの付加情報領域などに、以下の情報をメタデータとして記録するようにしてもよい。
●オブジェクト認識動作において、動画像の各フレームから認識されたオブジェクト(被写体)に関するオブジェクト情報、つまり、オブジェクトの名前や名称,フレーム中のオブジェクトの存在位置(例えば、X−Y座標値),オブジェクトの大きさ(例えば、被写体領域のピクセル数)などの情報。また、認識されなかったオブジェクトについても、フレーム中のオブジェクトの存在位置(例えば、X−Y座標値),オブジェクトの大きさ(例えば、被写体領域のピクセル数),ユーザーが入力したオブジェクトの名前や名称などの情報を記録するようにしてもよい。
●画像処理動作での画像処理情報、つまり、動画像に対して自動的に実行された画像処理の内容。
●オブジェクトの追尾動作において、動画像の各フレームから追尾対象として認識されたオブジェクト(被写体)に関する追尾情報、つまり、追尾対象のオブジェクトに対して与えられた追尾ラベル,フレーム中のオブジェクトの存在位置(例えば、X−Y座標値)などの情報。
●オブジェクト認識動作において、動画像の各フレームから認識されたオブジェクト(被写体)に関するオブジェクト情報、つまり、オブジェクトの名前や名称,フレーム中のオブジェクトの存在位置(例えば、X−Y座標値),オブジェクトの大きさ(例えば、被写体領域のピクセル数)などの情報。また、認識されなかったオブジェクトについても、フレーム中のオブジェクトの存在位置(例えば、X−Y座標値),オブジェクトの大きさ(例えば、被写体領域のピクセル数),ユーザーが入力したオブジェクトの名前や名称などの情報を記録するようにしてもよい。
●画像処理動作での画像処理情報、つまり、動画像に対して自動的に実行された画像処理の内容。
●オブジェクトの追尾動作において、動画像の各フレームから追尾対象として認識されたオブジェクト(被写体)に関する追尾情報、つまり、追尾対象のオブジェクトに対して与えられた追尾ラベル,フレーム中のオブジェクトの存在位置(例えば、X−Y座標値)などの情報。
そうすれば、他の装置においても、動画再生時などに、動画ファイルに記録されたそのメタデータを使用することで、本発明と同様に装置の動作の状況を表示することができるようになる。
また、上述したデジタルカメラの動作に係るプログラムは、その一部または全部をコンピュータなどの外部処理装置に実行させてもよい。その場合、必要なプログラムがCD−ROM等のコンピュータ読み取り可能な記憶媒体やインターネット等の通信網などを介して外部処理装置へインストールされる。
また、上記ではデジタルカメラの実施例を説明したが、本発明の画像再生装置は、画像を再生して表示することが可能な他の機器、例えば、携帯電話機やデジタルビデオカメラなどにも適用することが可能である。
11…撮像レンズ,12…レンズ駆動部,13…撮像素子,14…アナログ信号処理部,15…タイミングジェネレータ(TG),16…バッファメモリ,17…画像処理部,18…表示制御部,19…表示部,20…制御部,21…圧縮/復号部,22…記録インターフェース(記録I/F),23…記録媒体,24…操作部,25…バス
Claims (16)
- 連続する画像から特定のオブジェクトを認識する認識手段と、
前記認識手段によって認識された特定のオブジェクトに対して、その特定のオブジェクトが認識されたことをユーザーに把握させるための情報を重畳する重畳手段と、
前記重畳手段によって前記情報が重畳された前記特定のオブジェクトを含む前記画像を表示する表示手段と
を備えた情報表示装置であって、
前記重畳手段は、前記特定のオブジェクトに対して、検出枠とオブジェクト情報とを重畳し、
前記重畳手段が重畳する前記オブジェクト情報の少なくとも1つは、前記特定のオブジェクトの名前または名称である
ことを特徴とする情報表示装置。 - 連続する画像から特定のオブジェクトを認識する認識手段と、
前記認識手段によって認識された特定のオブジェクトに対して、その特定のオブジェクトが認識されたことをユーザーに把握させるための情報を重畳する重畳手段と、
前記重畳手段によって前記情報が重畳された前記特定のオブジェクトを含む前記画像を表示する表示手段と
を備えた情報表示装置であって、
前記重畳手段は、前記特定のオブジェクトに対して、追尾情報を重畳し、
前記重畳手段が重畳する前記追尾情報は、追尾枠と追尾ラベルである
ことを特徴とする情報表示装置。 - 請求項2に記載の情報表示装置において、
前記画像から追尾対象とすべきオブジェクトをユーザーに指定させる指定手段を更に備え、
前記認識手段は、前記指定手段を介してユーザーが指定した前記追尾対象とすべきオブジェクトを前記特定のオブジェクトとして認識する
ことを特徴とする情報表示装置。 - 請求項1ないし請求項3の何れか一項に記載の情報表示装置において、
前記重畳手段は、前記認識手段によって前記特定のオブジェクトが複数認識された場合には、認識された複数の前記特定のオブジェクトに対して、形状が異なる前記検出枠または前記追尾枠をそれぞれ個別に重畳する
ことを特徴とする情報表示装置。 - 請求項1ないし請求項4の何れか一項に記載の情報表示装置において、
前記重畳手段は、前記認識手段によって前記特定のオブジェクトが複数認識された場合には、認識された複数の前記特定のオブジェクトに対して、前記オブジェクト情報または前記追尾情報をそれぞれ個別に重畳する
ことを特徴とする情報表示装置。 - 請求項1ないし請求項5の何れか一項に記載の情報表示装置において、
前記特定のオブジェクトが前記画像の画枠内で移動した場合には、その移動に追従して前記特定のオブジェクトに重畳された情報も移動する
ことを特徴とする情報表示装置。 - 請求項1ないし請求項6の何れか一項に記載の情報表示装置において、
前記表示手段は、前記特定のオブジェクトが前記画像の画枠から外れた場合には、前記画枠から外れたことを示す情報を前記画像と共に表示する
ことを特徴とする情報表示装置。 - 連続する画像を解析すると共に、その解析結果に基づき前記画像に対して行うべき画像処理の内容を決定する制御手段と、
前記制御手段によって決定された内容の画像処理を前記画像に対して施す画像処理手段と、
前記画像処理手段による前記画像処理後の前記画像と共に、前記画像処理の内容をユーザーに把握させるための画像処理情報を表示する表示手段と
を備えた情報表示装置であって、
前記表示手段は、前記画像処理情報として、前記画像処理の内容を示す文字列、ロゴマーク、イラスト、アイコンのうちの少なくとも1つを、前記画像処理後の前記画像と共に表示する
ことを特徴とする情報表示装置。 - 連続する画像から特定のオブジェクトを認識する認識ステップと、
前記認識ステップによって認識された特定のオブジェクトに対して、その特定のオブジェクトが認識されたことをユーザーに把握させるための情報を重畳する重畳ステップと、
前記重畳ステップによって前記情報が重畳された前記特定のオブジェクトを含む前記画像を表示する表示ステップと
をコンピュータに実行させることを特徴とする情報表示プログラムであって、
前記重畳ステップでは、前記特定のオブジェクトに対して、検出枠とオブジェクト情報とを重畳し、
前記重畳ステップによって重畳される前記オブジェクト情報の少なくとも1つは、前記特定のオブジェクトの名前または名称である
ことを特徴とする情報表示プログラム。 - 連続する画像から特定のオブジェクトを認識する認識ステップと、
前記認識ステップによって認識された特定のオブジェクトに対して、その特定のオブジェクトが認識されたことをユーザーに把握させるための情報を重畳する重畳ステップと、
前記重畳ステップによって前記情報が重畳された前記特定のオブジェクトを含む前記画像を表示する表示ステップと
をコンピュータに実行させることを特徴とする情報表示プログラムであって、
前記重畳ステップでは、前記特定のオブジェクトに対して、追尾情報を重畳し、
前記重畳ステップによって重畳される前記追尾情報は、追尾枠と追尾ラベルである
ことを特徴とする情報表示プログラム。 - 請求項10に記載の情報表示プログラムにおいて、
前記画像から追尾対象とすべきオブジェクトをユーザーに指定させる指定ステップを更にコンピュータに実行させ、
前記認識ステップでは、前記指定ステップでユーザーが指定した前記追尾対象とすべきオブジェクトを前記特定のオブジェクトとして認識する
ことを特徴とする情報表示プログラム。 - 請求項9ないし請求項11の何れか一項に記載の情報表示プログラムにおいて、
前記重畳ステップでは、前記認識ステップによって前記特定のオブジェクトが複数認識された場合には、認識された複数の前記特定のオブジェクトに対して、形状が異なる前記検出枠または前記追尾枠をそれぞれ個別に重畳する
ことを特徴とする情報表示プログラム。 - 請求項9ないし請求項12の何れか一項に記載の情報表示プログラムにおいて、
前記重畳ステップでは、前記認識ステップによって前記特定のオブジェクトが複数認識された場合には、認識された複数の前記特定のオブジェクトに対して、前記オブジェクト情報または前記追尾情報をそれぞれ個別に重畳する
ことを特徴とする情報表示プログラム。 - 請求項9ないし請求項13の何れか一項に記載の情報表示プログラムにおいて、
前記特定のオブジェクトが前記画像の画枠内で移動した場合には、その移動に追従して前記特定のオブジェクトに重畳された情報も移動する
ことを特徴とする情報表示プログラム。 - 請求項9ないし請求項14の何れか一項に記載の情報表示プログラムにおいて、
前記表示ステップでは、前記特定のオブジェクトが前記画像の画枠から外れた場合には、前記画枠から外れたことを示す情報を前記画像と共に表示する
ことを特徴とする情報表示プログラム。 - 連続する画像を解析すると共に、その解析結果に基づき前記画像に対して行うべき画像処理の内容を決定する制御ステップと、
前記制御ステップによって決定された内容の画像処理を前記画像に対して施す画像処理ステップと、
前記画像処理ステップによる前記画像処理後の前記画像と共に、前記画像処理の内容をユーザーに把握させるための画像処理情報を表示する表示ステップと
をコンピュータに実行させることを特徴とする情報表示プログラムであって、
前記表示ステップでは、前記画像処理情報として、前記画像処理の内容を示す文字列、ロゴマーク、イラスト、アイコンのうちの少なくとも1つを、前記画像処理後の前記画像と共に表示する
ことを特徴とする情報表示プログラム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2009023763A JP2010183253A (ja) | 2009-02-04 | 2009-02-04 | 情報表示装置および情報表示プログラム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2009023763A JP2010183253A (ja) | 2009-02-04 | 2009-02-04 | 情報表示装置および情報表示プログラム |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2010183253A true JP2010183253A (ja) | 2010-08-19 |
Family
ID=42764458
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2009023763A Withdrawn JP2010183253A (ja) | 2009-02-04 | 2009-02-04 | 情報表示装置および情報表示プログラム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2010183253A (ja) |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2013536969A (ja) * | 2010-09-03 | 2013-09-26 | フル・エルエルシー | コミュニティベースのメタデータを提供するための方法および装置 |
JP2014086988A (ja) * | 2012-10-26 | 2014-05-12 | Casio Comput Co Ltd | 画像表示装置及びプログラム |
JP2014123817A (ja) * | 2012-12-20 | 2014-07-03 | Nippon Telegr & Teleph Corp <Ntt> | 体験記録システム、体験記録方法および体験記録プログラム |
JP2017139701A (ja) * | 2016-02-05 | 2017-08-10 | パナソニックIpマネジメント株式会社 | 追跡支援装置、追跡支援システムおよび追跡支援方法 |
-
2009
- 2009-02-04 JP JP2009023763A patent/JP2010183253A/ja not_active Withdrawn
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2013536969A (ja) * | 2010-09-03 | 2013-09-26 | フル・エルエルシー | コミュニティベースのメタデータを提供するための方法および装置 |
JP2014086988A (ja) * | 2012-10-26 | 2014-05-12 | Casio Comput Co Ltd | 画像表示装置及びプログラム |
JP2014123817A (ja) * | 2012-12-20 | 2014-07-03 | Nippon Telegr & Teleph Corp <Ntt> | 体験記録システム、体験記録方法および体験記録プログラム |
JP2017139701A (ja) * | 2016-02-05 | 2017-08-10 | パナソニックIpマネジメント株式会社 | 追跡支援装置、追跡支援システムおよび追跡支援方法 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
KR101797041B1 (ko) | 디지털 영상 처리장치 및 그 제어방법 | |
US8823861B2 (en) | Imaging apparatus, image display apparatus, imaging method, method of displaying image and method of correcting position of focusing-area frame | |
JP5293206B2 (ja) | 画像検索装置、画像検索方法及びプログラム | |
TW200808044A (en) | Imaging apparatus and computer readable recording medium | |
KR20110015309A (ko) | 디지털 촬영장치, 그 제어방법 및 이를 실행시키기 위한 프로그램을 저장한 기록매체 | |
KR101594297B1 (ko) | 오토 포커싱을 이용한 흔들린 영상 판단 방법 및 장치 | |
KR101690261B1 (ko) | 디지털 영상 처리장치 및 그 제어방법 | |
WO2010035752A1 (ja) | 画像生成装置、撮像装置、画像再生装置、画像再生プログラム | |
JP5261765B2 (ja) | 撮像装置及び撮像方法 | |
JP2009089220A (ja) | 撮像装置 | |
US8243154B2 (en) | Image processing apparatus, digital camera, and recording medium | |
JP2010183253A (ja) | 情報表示装置および情報表示プログラム | |
JP5332369B2 (ja) | 画像処理装置及び画像処理方法、並びにコンピュータ・プログラム | |
JP2007133810A (ja) | 画像処理装置 | |
US20080151077A1 (en) | Image processor and imaging device | |
JP4877186B2 (ja) | 画像処理装置、画像処理方法及びプログラム | |
JP4888829B2 (ja) | 動画処理装置、動画撮影装置および動画撮影プログラム | |
JP4636024B2 (ja) | 撮像装置 | |
JP5332668B2 (ja) | 撮像装置および被写体検出プログラム | |
JP5479883B2 (ja) | 撮像装置及び撮像方法 | |
JP2009094741A (ja) | 撮像装置、撮像方法及びプログラム | |
JP2006054636A (ja) | 撮像装置 | |
JP6128929B2 (ja) | 撮像装置及びその制御方法並びにプログラム | |
JP5067323B2 (ja) | 撮影装置、及びプログラム | |
JP4962597B2 (ja) | 電子カメラ及びプログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A300 | Application deemed to be withdrawn because no request for examination was validly filed |
Free format text: JAPANESE INTERMEDIATE CODE: A300 Effective date: 20120501 |