JP2008098755A - Imaging apparatus and method - Google Patents
Imaging apparatus and method Download PDFInfo
- Publication number
- JP2008098755A JP2008098755A JP2006275234A JP2006275234A JP2008098755A JP 2008098755 A JP2008098755 A JP 2008098755A JP 2006275234 A JP2006275234 A JP 2006275234A JP 2006275234 A JP2006275234 A JP 2006275234A JP 2008098755 A JP2008098755 A JP 2008098755A
- Authority
- JP
- Japan
- Prior art keywords
- image
- face
- imaging
- imaged
- unit
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Landscapes
- Image Processing (AREA)
- Studio Devices (AREA)
- Image Analysis (AREA)
Abstract
Description
本発明は、撮像装置および方法に関し、特に、確実に、対象の被写体を把握することができるようにした撮像装置および方法に関する。 The present invention relates to an imaging apparatus and method, and more particularly, to an imaging apparatus and method that can surely grasp a subject.
近年、ビデオカメラが普及している。従来のビデオカメラ撮影においては、撮像対象として人物が撮像されることが多く、その中でも特に子供の撮像が行われるケースが大半を占めている。その場合における撮像時のシチュエーションとしては、例えば運動会や音楽会等の他の子供達と一緒にいるシーンが全体の中でかなりの割合を占めている。このような場合、ビデオカメラ撮影を行っている親は、たくさんいる子供の中から我が子を見つけるのは大変である。特に運動会のような子供達の服装が同じために、服装での判断がつきにくい場合には、観客席にいる親達は、遠くにいる我が子を識別することが困難である。 In recent years, video cameras have become widespread. In conventional video camera photography, a person is often imaged as an object to be imaged, and in particular, the majority of cases are where children are imaged. As a situation at the time of imaging in that case, for example, a scene with other children such as an athletic meet or a music concert occupies a considerable proportion of the whole. In such cases, it is difficult for parents taking video camera shots to find my child from among many children. In particular, when the clothes of children are the same, such as athletic meet, it is difficult for parents in the spectator seat to identify my child who is far away when the clothes are difficult to judge.
このような場合に有効となる技術として、動画像から人物の特徴を示す指標となる肌色抽出や顔テンプレートマッチングを行うことで、顔部分の横幅、縦の長さ、または面積のうちの少なくとも1つに基づいて、人物のジェスチャを認識するジェスチャ認識方法が提案されている(例えば、特許文献1参照)。 As a technique effective in such a case, at least one of the horizontal width, vertical length, or area of the face portion is performed by performing skin color extraction or face template matching as an index indicating the characteristics of a person from a moving image. Based on the above, a gesture recognition method for recognizing a person's gesture has been proposed (see, for example, Patent Document 1).
しかしながら、上記特許文献1では、人物のジェスチャを認識する技術が開示されているだけであって、一般的なビデオカメラで撮影する場面において、撮像者はジェスチャだけがわかっても被写体を把握することは困難であった。
However, the above-mentioned
つまり、一般的なビデオカメラの場合、多くの撮像シーンにおいて有効な画像認識としては、撮像対象者の特定や、対象人物の動きを把握することであり、ジェスチャだけでは有効な画像認識であるとは言えない。言い換えれば、特に不特定多数の人々のなかから、撮像者の撮像したい対象人物が一目で判断できることは有効であり、撮像中に特定の人物にフォーカスを当ててとり続けられることは有効である。 In other words, in the case of a general video camera, image recognition that is effective in many imaging scenes is to identify the person to be imaged and to grasp the movement of the target person, and it is effective image recognition only with gestures. I can't say that. In other words, it is effective to be able to determine at a glance the target person that the photographer wants to capture from among an unspecified number of people, and it is effective to keep focusing on a specific person during imaging.
本発明はこのような状況に鑑みてなされたものであり、撮像者にとって有意義な撮像対象者の特定や、撮像対象者の動きを把握できる環境を提供することで、確実に、対象の被写体を把握することができるようにするものである。 The present invention has been made in view of such a situation, and by providing an environment in which it is possible to identify an imaging subject that is meaningful to the photographer and to grasp the movement of the imaging subject, it is possible to reliably target the subject. It is to be able to grasp.
本発明の一側面の撮像装置は、撮像された被写体の画像をディスプレイに表示する撮像装置において、被写体の画像を撮像する撮像手段と、撮像された前記画像から、前記被写体の所定の部位を含んでいる画像である部位画像を検出する第1の検出手段と、検出された前記部位画像のうちの、撮像者による撮像対象の部位画像である対象部位画像に対応させて、撮像対象であることを示す第1のアイコンを前記画像に重畳させる重畳手段と、前記第1のアイコンが重畳された前記画像の前記ディスプレイへの表示を制御する表示制御手段とを備える。 An imaging apparatus according to an aspect of the present invention includes an imaging unit that captures an image of a subject in the imaging apparatus that displays the captured image of the subject, and a predetermined part of the subject from the captured image. A first detection means for detecting a part image, which is a blurred image, and an imaging target corresponding to a target part image which is a part image to be imaged by the photographer among the detected part images And superimposing means for superimposing a first icon indicating the image on the image, and display control means for controlling the display of the image on which the first icon is superimposed on the display.
前記部位画像は、前記被写体の顔の画像であるようにすることができる。 The part image may be an image of the face of the subject.
前記撮像者による指示にしたがって、検出された前記部位画像のなかから、前記対象部位画像を選択する選択手段をさらに設け、前記重畳手段は、選択された前記対象部位画像に対応させて、前記第1のアイコンを前記画像に重畳させることができる。 According to an instruction from the photographer, a selection unit that selects the target part image from the detected part images is further provided, and the superimposing unit corresponds to the selected target part image, and One icon can be superimposed on the image.
選択された前記対象部位画像を、所定の記録媒体に記憶させる記憶制御手段をさらに設けることができる。 Storage control means for storing the selected target part image in a predetermined recording medium can be further provided.
前記対象部位画像を記憶している所定の記録媒体から、前記対象部位画像を含んでいる画像を読み出す読み出し手段と、撮像された前記画像から検出された前記部位画像と、前記記録媒体から読み出された画像に含まれる前記対象部位画像とを照合する照合手段とをさらに設け、前記重畳手段は、照合の結果に基づいて、前記対象部位画像と一致する部位画像に対応させて、前記第1のアイコンを前記画像に重畳させることができる。 Reading means for reading an image including the target part image from a predetermined recording medium storing the target part image, reading the part image detected from the captured image, and reading from the recording medium Collating means for collating the target part image included in the image that is included, and the superimposing means corresponds to the part image that matches the target part image based on the result of the collation, and Can be superimposed on the image.
前記第1のアイコンは、円形、四角形、または楕円形の形状からなる画像であるようにすることができる。 The first icon may be an image having a circular, square, or elliptical shape.
前記撮像対象の動きを検出する第2の検出手段をさらに設け、前記重畳手段は、検出された前記動きに基づいて、前記撮像対象の動作の状態を示す第2のアイコンを前記画像に重畳させることができる。 Second detection means for detecting movement of the imaging target is further provided, and the superimposing means superimposes a second icon indicating the state of operation of the imaging target on the image based on the detected movement. be able to.
前記第2のアイコンは、前記撮像対象が存在する位置を示す画像であるようにすることができる。 The second icon may be an image indicating a position where the imaging target exists.
前記第2のアイコンは、前記ディスプレイに表示されていない前記撮像対象の画像を、前記ディスプレイに表示させるために操作されるズームボタンの所定の操作方法を示す画像であるようにすることができる。 The second icon may be an image indicating a predetermined operation method of a zoom button operated to display the image to be imaged that is not displayed on the display on the display.
本発明の一側面の撮像方法は、撮像された被写体の画像をディスプレイに表示する撮像装置の撮像方法において、被写体の画像を撮像し、撮像された前記画像から、前記被写体の所定の部位を含んでいる画像である部位画像を検出し、検出された前記部位画像のうちの、撮像者による撮像対象の部位画像である対象部位画像に対応させて、撮像対象であることを示す第1のアイコンを前記画像に重畳させ、前記第1のアイコンが重畳された前記画像の前記ディスプレイへの表示を制御するステップを含む。 An imaging method according to an aspect of the present invention is an imaging method of an imaging apparatus that displays an image of a captured subject on a display, captures the image of the subject, and includes a predetermined part of the subject from the captured image. A first icon that indicates that the image is a target image that is a target image that is a target image that is a target image that is a target image of a target image picked up by the photographer. Is superimposed on the image, and the display of the image on which the first icon is superimposed on the display is controlled.
本発明の一側面においては、被写体の画像が撮像され、撮像された画像から、被写体の所定の部位を含んでいる画像である部位画像が検出され、検出された部位画像のうちの、撮像者による撮像対象の部位画像である対象部位画像に対応させて、撮像対象であることを示す第1のアイコンが画像に重畳され、第1のアイコンが重畳された画像のディスプレイへの表示が制御される。 In one aspect of the present invention, an image of a subject is picked up, a part image that is an image including a predetermined part of the subject is detected from the picked-up image, and the photographer of the detected part images A first icon indicating that it is an imaging target is superimposed on the image so as to correspond to the target part image that is the part image of the imaging target, and the display on the display of the image on which the first icon is superimposed is controlled. The
以上のように、本発明の一側面によれば、確実に、対象の被写体を把握することができる。特に、本発明の一側面によれば、撮像者にとって有意義な撮像対象者の特定や撮像対象者の動きを把握することができる機能を提供することで、確実に、対象の被写体を把握することができる。 As described above, according to one aspect of the present invention, it is possible to reliably grasp the target subject. In particular, according to one aspect of the present invention, it is possible to reliably grasp the target subject by providing a function that can identify the imaging subject meaningful to the photographer and grasp the movement of the imaging subject. Can do.
以下に本発明の実施の形態を説明するが、本発明の構成要件と、明細書または図面に記載の実施の形態との対応関係を例示すると、次のようになる。この記載は、本発明をサポートする実施の形態が、明細書または図面に記載されていることを確認するためのものである。従って、明細書または図面中には記載されているが、本発明の構成要件に対応する実施の形態として、ここには記載されていない実施の形態があったとしても、そのことは、その実施の形態が、その構成要件に対応するものではないことを意味するものではない。逆に、実施の形態が構成要件に対応するものとしてここに記載されていたとしても、そのことは、その実施の形態が、その構成要件以外の構成要件には対応しないものであることを意味するものでもない。 Embodiments of the present invention will be described below. Correspondences between constituent elements of the present invention and the embodiments described in the specification or the drawings are exemplified as follows. This description is intended to confirm that the embodiments supporting the present invention are described in the specification or the drawings. Therefore, even if there is an embodiment which is described in the specification or the drawings but is not described here as an embodiment corresponding to the constituent elements of the present invention, that is not the case. It does not mean that the form does not correspond to the constituent requirements. Conversely, even if an embodiment is described here as corresponding to a configuration requirement, that means that the embodiment does not correspond to a configuration requirement other than the configuration requirement. It's not something to do.
本発明の一側面の撮像装置は、撮像された被写体の画像をディスプレイ(例えば、図2の表示部23)に表示する撮像装置(例えば、図2のビデオカメラ1)において、被写体の画像を撮像する撮像手段(例えば、図2の撮像部103)と、撮像された前記画像から、前記被写体の所定の部位(例えば、被写体の顔)を含んでいる画像である部位画像(例えば、顔画像)を検出する第1の検出手段(例えば、図2の顔画像検出部104)と、検出された前記部位画像のうちの、撮像者による撮像対象(例えば、撮像対象者)の部位画像である対象部位画像に対応させて、撮像対象であることを示す第1のアイコン(例えば、顔マーク)を前記画像に重畳させる重畳手段(例えば、図2の重畳部106)と、前記第1のアイコンが重畳された前記画像の前記ディスプレイへの表示を制御する表示制御手段(例えば、図2の表示制御部107)とを備える。
An imaging apparatus according to an aspect of the present invention captures an image of a subject in an imaging apparatus (for example,
前記部位画像は、前記被写体の顔の画像(例えば、顔画像)であるようにすることができる。 The part image may be an image of a face of the subject (for example, a face image).
前記撮像者による指示にしたがって、検出された前記部位画像のなかから、前記対象部位画像を選択する選択手段(例えば、図2の顔画像選択部108)をさらに設け、前記重畳手段は、選択された前記対象部位画像に対応させて、前記第1のアイコンを前記画像に重畳させる(例えば、図2の重畳部106による、図4のステップS21の処理)ことができる。
In accordance with an instruction from the photographer, there is further provided selection means (for example, the face
選択された前記対象部位画像を、所定の記録媒体(例えば、図2の記録メディア28)に記憶させる記憶制御手段(例えば、図2の記録メディア制御部110)をさらに設けることができる。
Storage control means (for example, the recording
前記対象部位画像を記憶している所定の記録媒体(例えば、図2の記録メディア28)から、前記対象部位画像を含んでいる画像を読み出す読み出し手段(例えば、図2の記録メディア制御部110)と、撮像された前記画像から検出された前記部位画像と、前記記録媒体から読み出された画像に含まれる前記対象部位画像とを照合する照合手段(例えば、図2の顔画像照合部105)とをさらに設け、前記重畳手段は、照合の結果に基づいて、前記対象部位画像と一致する部位画像に対応させて、前記第1のアイコンを前記画像に重畳させる(例えば、図2の重畳部106による、図8のステップS60の処理)ことができる。
Reading means (for example, the recording
前記第1のアイコンは、円形、四角形、または楕円形の形状からなる画像であるようにすることができる。 The first icon may be an image having a circular, square, or elliptical shape.
前記撮像対象の動きを検出する第2の検出手段(例えば、図9の状態検出部201)をさらに設け、前記重畳手段は、検出された前記動きに基づいて、前記撮像対象の動作の状態を示す第2のアイコン(例えば、状態マーク)を前記画像に重畳させる(例えば、図9の重畳部106による、図13のステップS96の処理)ことができる。
Second detection means (for example, the
前記第2のアイコンは、前記撮像対象が存在する位置を示す画像(例えば、図10および図11の状態マーク303a)であるようにすることができる。
The second icon may be an image (for example, a
前記第2のアイコンは、前記ディスプレイに表示されていない前記撮像対象の画像を、前記ディスプレイに表示させるために操作されるズームボタンの所定の操作方法を示す画像(例えば、図19の状態マーク303b乃至303e)であるようにすることができる。
The second icon is an image (for example, a
本発明の一側面の撮像方法は、撮像された被写体の画像をディスプレイ(例えば、図2の表示部23)に表示する撮像装置(例えば、図2のビデオカメラ1)の撮像方法において、被写体の画像を撮像し(例えば、図4のステップS11の処理)、撮像された前記画像から、前記被写体の所定の部位を含んでいる画像である部位画像を検出し(例えば、図4のステップS13の処理)、検出された前記部位画像のうちの、撮像者による撮像対象の部位画像である対象部位画像に対応させて、撮像対象であることを示す第1のアイコン(例えば、顔マーク)を前記画像に重畳させ(例えば、図4のステップS21の処理)、前記第1のアイコンが重畳された前記画像の前記ディスプレイへの表示を制御する(例えば、図4のステップS22の処理)ステップを含む。
An imaging method according to one aspect of the present invention is an imaging method of an imaging device (for example,
以下、図面を参照しながら本発明の実施の形態について説明する。 Hereinafter, embodiments of the present invention will be described with reference to the drawings.
図1は、本発明を適用したビデオカメラ1の一実施の形態の構成を示すブロック図である。
FIG. 1 is a block diagram showing a configuration of an embodiment of a
ビデオカメラ1は、撮像している画像をリアルタイムで表示する機能を有する撮像装置の一例である。なお、本実施の形態では、ビデオカメラ1を例にして説明するが、これに限らず、例えば、デジタルスチルカメラ、撮像機能付き携帯電話機、または撮像機能付きパーソナルコンピュータ等、撮像機能と、撮像している画像を表示する機能を有する機器に適用することができる。
The
ビデオカメラ1は、光学ブロック11、レンズアイリスドライバ12、CCD(Charge Coupled Devices)13、タイミング生成回路14、CCDドライバ15、前処理回路16、DSP(Digital Signal Processor)17、SDRAM(Synchronous Dynamic Random Access Memory)18、CPU(Central Processing Unit)19、RAM(Random Access Memory)20、フラッシュROM(Read Only Memory)21、ディスプレイコントローラ22、表示部23、入力部24、ドライブコントローラ25、記録メディアインターフェース27、およびバス29を含むようにして構成される。また、ビデオカメラ1には、例えば、リムーバブルメディア26と記録メディア28の2つの記録媒体がそれぞれ適宜装着される。
The
光学ブロック11は、例えば、光学レンズ、フォーカス機構、シャッタ機構、および絞り(アイリス)機構等から構成され、被写体に反射した光(の像)を集め、すなわち、被写体の像の光をCCD13の受光部に結像させる。光学ブロック11は、レンズアイリスドライバ12により駆動される。
The
レンズアイリスドライバ12は、CPU19からの制御に応じて、光学ブロック11を動作させる駆動信号を生成し、生成した駆動信号を光学ブロック11に供給して、光学ブロック11を動作させる。例えば、レンズアイリスドライバ12は、画像の撮像時にユーザの指示に基づいて、合焦させたり、絞りを調節して光量を調整させるための駆動信号を光学ブロック11に供給する。
The
CCD13は、CCDセンサから構成され、CCDドライバ15から供給される駆動信号に応じて、光学ブロック11により結像された光(像)を光電変換することにより、光をアナログの電気信号に変換する。CCD13は、CPU19により制御されるタイミング生成回路14からのタイミング信号を基に、変換したアナログ信号である画像データを前処理回路116に供給する。
The
なお、CCD13は、CCDセンサに限らず、例えば、CMOS(Complementary Metal Oxide Semiconductor)センサ等、画素を単位として画像の信号を生成する撮像素子であればよい。
The
タイミング生成回路14は、CPU19による制御を基に、CCD13の動作の時間的な基準となるタイミング信号を生成し、生成したタイミング信号を、CCD13およびCCDドライバ15に供給する。
The
CCDドライバ15は、タイミング生成回路14から供給されるタイミング信号を基に、CCD13を駆動するための駆動信号を生成し、生成した駆動信号をCCD13に供給する。
The
前処理回路16は、CCD13から供給されるアナログ信号である画像データに対して、CDS(Correlated Double Sampling)処理を行い、S/N(Signal/Noise)比を良好に保つようにするとともに、AGC(Automatic Gain Control)処理を行い、利得を制御する。そして、前処理回路16は、A/D(Analog/Digital)変換を行い、アナログ信号をデジタル信号に変換し、変換により得られたデジタル信号である画像データをDSP17に供給する。なお、前処理回路16からDSP17に供給される画像データは、SDRAM18に記憶される。
The
CPU19は、例えば、レンズアイリスドライバ12、タイミング生成回路14、またはDSP17等、ビデオカメラ1の各部の動作を制御する。例えば、CPU19は、被写体の画像を撮像する場合、レンズアイリスドライバ12を制御して、光学ブロック11を動作するようにする駆動信号を生成させて、生成した駆動信号を光学ブロック11に供給することで、光学ブロック11を動作させる。
The
また、CPU19は、例えば、フラッシュROM21またはRAM20等に記憶されているプログラムに従って各種の処理を実行する。
Further, the
RAM20には、CPU19が実行するプログラムや各種のデータ等が適宜記憶される。フラッシュROM21は、CPU19が実行するプログラムや各種のデータを記録する。これらのCPU19、RAM20、およびフラッシュROM21は、バス29により相互に接続される。
The
バス29には、さらに、DSP17、ディスプレイコントローラ22、入力部24、ドライブコントローラ25、および記録メディアインターフェース27が接続されている。
The bus 29 is further connected to a
DSP17は、例えば、専用のIC(Integrated Circuit)である専用DSP、または汎用DSP等からなる。
The
DSP17は、前処理回路16から供給されるデジタル信号である画像データに対して、画像処理を適用する。DSP17は、例えば、AF(Auto Focus)処理部41、AE(Auto Exposure)処理部42、AWB(Auto White Balance)処理部43、および圧縮伸張部44等を含み、前処理回路16から供給された画像データに所定のカメラ信号処理を適用し、所定のカメラ信号処理により、種々の調整がされた画像データを所定の圧縮方式で圧縮する。
The
また、DSP17は、SDRAMコントローラ45を含む。SDRAMコントローラ45は、DSP17が実行するプログラムや各種データに基づいて、SDRAM18を制御することにより、一時的にそれらのプログラムや各種データをSDRAM18に記憶させる。
The
SDRAM18は、SDRAMコントローラ45の制御に基づいて、DSP17が実行するプログラムや各種データ等を適宜記憶する。例えば、SDRAM18が、前処理回路16から供給される画像データを一時的に記憶することで、DSP17は、一時的に記憶された画像データに対して、所定のカメラ信号処理および画像データを圧縮する処理を適用し、圧縮された画像データを生成する。
The
具体的には、SDRAM18に記憶される前処理回路16から供給された画像データに対して、AF処理部41は、被写体に焦点(ピント)を合わせる処理(いわゆる、オートフォーカス)を行い、AE処理部42は、被写体の明るさを基に露出を決定する処理(いわゆる、自動露出)を行い、AWB処理部43は、白色である予め定められた基準の色を基に全体の画像データを補正する処理(いわゆる、ホワイトバランス)を行う。
Specifically, for the image data supplied from the
圧縮伸張部44は、所定のカメラ信号処理により、種々の調整がされた画像データを所定の圧縮方式で圧縮する。例えば、圧縮伸張部44は、画像データをJPEG(Joint Photographic Experts Group)方式で圧縮する。これにより、画像データのデータ量を減らしてから、画像データをリムーバブルメディア26に記録することができる。
The compression /
DSP17は、CPU19の制御を基に、SDRAM18から圧縮した画像データを読み出し、その画像データを、バス29を介してドライブコントローラ25に供給することで、リムーバブルメディア26に画像データをファイルとして記録させる。
Under the control of the
ドライブコントローラ25は、リムーバブルメディア26に対応した所定のインターフェースから構成され、DSP17から供給された画像データをリムーバブルメディア26に記録させるか、またはリムーバブルメディア26に記録されている画像データを読み出して、DSP17またはCPU19等に供給する。
The
リムーバブルメディア26は、例えば、テープ(例えば磁気テープ)または光ディスク(例えば、記録可能なDVD(Digital Versatile Disc))等であり、必要に応じてビデオカメラ1に装着される。また、リムーバブルメディア26は、後述する記録メディア28と同一の記録媒体として構成することも可能である。なお、リムーバブルメディア26には、例えば、ハードディスク等の磁気ディスク、メモリカード等の半導体メモリ、またはMD(Mini-Disc)(商標)等の光磁気ディスクを用いるようにしてもよい。
The
また、DSP17は、コントロールキー等からなる入力部24や、タッチパネル52等を通じて受け付けたユーザからの操作入力に応じて、目的とする画像データがリムーバブルメディア26から読み出された場合、バス29を介して、リムーバブルメディア26から供給されるデータ圧縮されている画像データを、そのデータ圧縮に応じた所定の伸張処理(解凍処理)を行うことで、画像データを伸張し、伸張した画像データを、バス29を介して、ディスプレイコントローラ22に供給する。
Further, the
つまり、圧縮伸張部44は、画像データがリムーバブルメディア26から読み出された場合、バス29を介して、リムーバブルメディア26から供給される圧縮されている画像データを、その圧縮の方式に応じた所定の伸張処理(解凍処理)を行うことで、画像データを伸張する。伸張した画像データは、バス29を介して、ディスプレイコントローラ22に供給される。
That is, when the image data is read from the
ディスプレイコントローラ22は、DSP17から供給される画像データを基に、表示部23に供給する画像信号を生成し、生成した画像信号を表示部23に供給する。ディスプレイコントローラ22は、画像信号を表示部23に供給することにより、表示部23の表示を制御する。
The
表示部23は、ディスプレイコントローラ22から供給される画像信号を基に、画像信号に応じた画像を表示画面に表示する。なお、画像の表示の形態は、フラッシュROM21に記録された制御プログラムに従う。すなわち、ディスプレイコントローラ22は、CPU19の実行する制御プログラムに従って、表示部23の画面に表示する、画像の表示の形態を決定する。
The
表示部23は、カラー液晶表示部51およびタッチパネル52を含む。
The
カラー液晶表示部51は、例えば、LCD(Liquid Crystal Display)パネルや、有機EL(Electro Luminescence)パネル等からなり、ディスプレイコントローラ22から供給される画像信号を基に、画像信号に応じた画像を表示する。これにより、例えば、リムーバブルメディア26に記録されている画像データに対応する画像が、カラー液晶表示部51の画面に表示される。
The color liquid
カラー液晶表示部51に重畳されたタッチパネル52は、カラー液晶表示部51の画面を透過するようになされており、カラー液晶表示部51に表示された操作画面のキー等を選択するユーザの操作を受け付けて、その操作位置を示す位置情報を示す信号をCPU19に供給する。CPU19は、タッチパネル52から供給される信号に基づいて、ビデオカメラ1の各部の動作を制御する。
The
記録メディアインターフェース27は、記録メディア28に対応した所定のインターフェースから構成され、DSP17またはCPU19から供給されたデータを記録させるか、または記録メディア28に記録されているデータを読み出して、DSP17またはCPU19等に供給する。
The
記録メディア28は、例えば、メモリスティック(商標)等のメモリカードであり、必要に応じてビデオカメラ1に装着される。もちろん、記録メディア28は、リムーバブルメディア26と同一の記録媒体として構成することも可能である。
The
なお、図示は省略しているが、ビデオカメラ1においては、マイクロホンから取り込まれた音声信号に対しても、所定の処理が施され、所定の処理を施すことにより得られた音声データは、例えば、リムーバブルメディア26に記録される。つまり、ビデオカメラ1により撮像され記録されるデータは、一般的に、画像データの他に、音声データ等からも構成されるが、本実施の形態では、説明を簡易にするために、映像を表示するための画像データについてだけ説明する。
Although not shown in the figure, in the
また、上述した図1の例において、ビデオカメラ1は、記録メディアインターフェース27を設けて、そこに記録メディア28を装着する構成を例にして説明したが、記録メディア28に記録するデータをリムーバブルメディア26に記録させることで、記録メディアインターフェース27を設けない構成とすることも可能である。つまり、ビデオカメラ1に装着される記録媒体は、リムーバブルメディア26だけでもよく、その場合、記録メディア28に記録していたデータは、リムーバブルメディア26に記録される。
Further, in the example of FIG. 1 described above, the
さらに、ビデオカメラ1のハードウェアの構成は、図1の例に限定されず、後述する図2または9の機能的構成を少なくとも有していればよい。
Furthermore, the hardware configuration of the
図2は、図1のビデオカメラ1の機能的構成の例を示すブロック図である。
FIG. 2 is a block diagram illustrating an example of a functional configuration of the
ビデオカメラ1は、制御部101、操作部102、撮像部103、顔画像検出部104、顔画像照合部105、重畳部106、表示制御部107、顔画像選択部108、顔画像記憶部109、記録メディア制御部110、顔画像検出部111、表示部23、および記録メディア28を含むようにして構成される。
The
なお、図2では、図1と同様の箇所には、同一の符号が付してあり、処理が同じ部分に関しては、その説明は繰り返しになるので省略する。 In FIG. 2, the same parts as those in FIG. 1 are denoted by the same reference numerals, and the description of the same parts will be omitted because they are repeated.
また、本実施の形態では、ビデオカメラ1は、上述した図1のハードウェア構成を有しているので、制御部101は、例えば、図1のCPU19に相当し、操作部102は、図1の入力部24またはタッチパネル52に相当する。また、撮像部103は、例えば、図1の光学ブロック11乃至前処理回路16に相当し、顔画像検出部104、顔画像照合部105、重畳部106、および顔画像検出部111は、例えば、図1のDSP17に相当する。
In the present embodiment, since the
さらにまた、顔画像選択部108は、例えば、図1のタッチパネル52に相当し、表示制御部107は、例えば、図1のディスプレイコントローラ22に相当し、顔画像記憶部109は、例えば、図1のフラッシュROM21に相当し、記録メディア制御部110は、例えば、図1の記録メディアインターフェース27に相当する。
Furthermore, the face
ただし、顔画像検出部104、顔画像照合部105、重畳部106、表示制御部107、記録メディア制御部110、または顔画像検出部111は、例えば、ソフトウェア(コンピュータプログラム)を実行する図1のCPU19により実現されるようにしてもよい。つまり、顔画像検出部104、顔画像照合部105、重畳部106、表示制御部107、記録メディア制御部110、または顔画像検出部111は、ハードウェアとして構成することもできるし、ソフトウェアとして構成することもできるし、さらに、ソフトウェアとハードウェアの組み合わせとしても構成することができる。
However, the face
制御部101は、撮像者の操作に応じて操作部102から供給される操作信号に基づいて、図2のビデオカメラ1の各部の動作を制御する。
The control unit 101 controls the operation of each unit of the
撮像部103は、被写体を撮像する。撮像部103は、撮像により得られた被写体の画像を、顔画像検出部104および重畳部106に供給する。
The
なお、以下、本実施の形態では、単に、「画像」と記載した場合、画像そのものと、その画像を表示するための画像データの両方の意味を含むものとする。 In the following description, in the present embodiment, the simple description “image” includes both the meaning of the image itself and the image data for displaying the image.
顔画像検出部104は、撮像部103から供給される画像から顔画像を検出する、顔画像検出処理を行う。顔画像検出部104は、顔画像検出処理を行うことにより得られた検出結果を顔画像照合部105に供給する。
The face
なお、詳細は後述するが、顔画像検出処理とは、撮像された被写体の画像のなかから、人物の顔の画像を検出する処理である。つまり、顔画像検出部104は、顔画像検出処理を実行することで、撮像部103によって撮像された画像から、その画像に写っている人物の顔の画像を検出する。
Although details will be described later, the face image detection process is a process for detecting a human face image from the captured subject image. That is, the face
顔画像選択部108は、例えば、撮像者によるタッチパネル52への操作に基づいて、表示部23に表示されている被写体の画像のなかから、撮像対象者の顔画像を選択する。顔画像選択部108は、選択した撮像対象者の顔画像(または顔画像に関する情報)を顔画像記憶部109に供給する。
The face
なお、顔画像選択部108は、撮像者によるタッチパネル52への操作の他に、例えば、表示部23に表示された被写体の画像のなかのフォーカスが合わされた顔画像に対して操作される撮像者によるキー入力に応じて、撮像対象者の顔画像を選択するようにしてもよい。要は、撮像対象者の顔画像が選択されればよいのであって、その手段、方法は、任意である。
Note that the face
顔画像記憶部109は、顔画像選択部108から供給される、撮像部103により撮像された撮像対象者の顔画像(または顔画像に関する情報)を記憶する。顔画像記憶部109は、顔画像照合部105からの要求に応じて、記憶している撮像対象者の顔画像を顔画像照合部105に供給する。
The face
また、顔画像記憶部109には、顔画像データベース109aが記憶されており、その顔画像データベース109aに撮像対象者の顔画像や、顔画像に関する情報が登録される。なお、顔画像記憶部109は、撮像対象者の顔画像を、顔画像データベース109aに登録せずに一時的に記憶し、その一時的に記憶している顔画像を顔画像照合部105に供給してもよい。
The face
顔画像照合部105は、顔画像検出部104から供給される顔画像の検出結果および顔画像記憶部109から読み出した撮像対象者の顔画像に基づいて、顔画像照合処理を行う。顔画像照合部105は、顔画像照合処理を行うことにより得られた顔画像の照合結果を重畳部106に供給する。
The face
なお、詳細は後述するが、顔画像照合処理とは、撮像された被写体の画像から検出された顔画像と、撮像対象者の顔画像とを照合して、検出された顔画像のなかから撮像対象者の顔画像を特定する処理である。 Although details will be described later, the face image collation processing is performed by collating the face image detected from the captured subject image with the face image of the person to be imaged, and capturing the image from the detected face image. This is processing for specifying the face image of the subject.
つまり、顔画像照合部105は、顔画像検出部104から供給される顔画像の検出結果と、顔画像データベース109aに登録されている撮像対象者の顔画像とを照合することで、撮像された被写体の画像の顔画像のなかから、撮像対象者の顔画像を特定する。これにより、撮像された被写体の画像のなかから、顔画像データベース109aに登録されている顔画像が特定される。
That is, the face
重畳部106は、顔画像照合部105から供給される顔画像の照合結果に基づいて、撮像部103から供給される被写体の画像における、顔画像照合部105により特定された撮像対象者の顔画像に顔マークを重畳する。重畳部106は、顔マークが重畳された被写体の画像を表示制御部107に供給する。なお、重畳部106は、照合結果が顔マークの重畳を行なわないことを示している場合、顔マークの重畳を行なわずに、撮像部103から供給される画像をそのまま表示制御部107に供給する。
The superimposing
ここで、顔マークとは、撮像対象者を撮像者に認識させるためのマークである。例えば、顔マークは、円形、四角形、または楕円形の形状からなるアイコンからなり、それらの形状からなるアイコンが撮像対象者の顔画像に重畳される。 Here, the face mark is a mark for making the imaging subject recognize the imaging subject. For example, the face mark is formed of an icon having a circular, square, or elliptical shape, and the icon having the shape is superimposed on the face image of the person to be imaged.
表示制御部107は、重畳部106から供給される、顔マークが重畳された被写体の画像を、表示部23(のカラー液晶表示部51)に表示させる。なお、表示制御部107は、重畳部106から顔マークが重畳されていない画像が供給された場合、顔マークの重畳されていない被写体の画像を、表示部23に表示させる。
The
記録メディア制御部110は、顔画像記憶部109の顔画像データベース109aに登録されている撮像対象者の顔画像(または顔画像に関する情報)を読み出し、その顔画像を記録メディア28に記録する。これにより、記録メディア28は、撮像対象者の顔画像や、その撮像対象者の顔画像に関する情報等を記録する。
The recording
また、記録メディア制御部110は、記録メディア28に記録されている、撮像対象者の顔画像を含んでいる画像(または顔画像)を読み出し、その画像を顔画像検出部111に供給する。
The recording
顔画像検出部111は、記録メディア制御部110から供給される撮像対象者の顔画像を含んでいる画像から顔画像を検出する、顔画像検出処理を行なう。顔画像検出部111は、顔画像検出処理を行うことにより得られた検出結果を顔画像記憶部109に供給し、顔画像データベース109aに登録する。これにより、顔画像データベース109aには、記録メディア28に記録されていた画像に含まれる撮像対象者の顔画像が登録される。
The face
つまり、顔画像データベース109aには、被写体の画像のなかから撮像者により選択された撮像対象者の顔画像、または記録メディア28に記録されていた画像に含まれる撮像対象者の顔画像が登録されているので、顔画像照合部105は、それらの顔画像と、撮像された被写体の画像から検出された顔画像とを照合することで、撮像対象者の顔画像を特定する。
That is, in the
なお、顔画像検出部111は、記録メディア28に記録されている画像が顔画像である場合、顔画像検出部111による顔画像検出処理を行なわずに、記録メディア28から読み出した顔画像をそのまま顔画像データベース109aに登録させる。
When the image recorded on the
また、本実施の形態では、説明の都合上、顔画像検出部104と顔画像検出部111を別のブロックとして説明するが、もちろん、それらのブロックを同一のブロックとしてもよい。
Further, in the present embodiment, for convenience of explanation, the face
図3は、撮像対象者の登録方法の概要について説明する図である。 FIG. 3 is a diagram for explaining an outline of a method for registering a person to be imaged.
ビデオカメラ1においては、図3に示すように、撮像者により画像151が撮像される場合、表示部23には画像151がリアルタイムで表示される。つまり、撮像者は、表示部23にリアルタイムで表示されている画像151を見ながら、その画像151に対応する被写体を撮像する。
In the
例えば、図3に示すように、ビデオカメラ1で運動会を撮影する場合、ビデオカメラ1を操作している親は、我が子を撮像するために表示部23に表示されている画像151を確認するが、同じような運動着を着ている多くの子供達のなかから我が子を見つけ出すのは困難である。そこで、ビデオカメラ1では、撮像された被写体の画像から顔画像を検出し、検出された顔画像のなかから、例えば、自分の子供等の撮像対象者に対して顔マーク151aを重畳させることで、例えば、我が子を撮像する親等の撮像者に対して、自分の子供等の撮像対象者を直感的に識別させることが可能となる。
For example, as shown in FIG. 3, when shooting a sports day with the
つまり、図3の例では、タッチパネル52を有している表示部23に表示されている画像151において、撮像者により、例えば、自分の子供等の撮像対象者が触れられることで、その触れられた撮像対象者に対して、顔マーク151aが重畳される。ちなみに、表示部23に表示されている画像151において、顔マーク151aに囲まれた撮像対象者である子供の画像が撮像者により触れられたことになる。
That is, in the example of FIG. 3, in the
そして、撮像中であれば、撮像対象者である自分の子供の画像には顔マーク151aが重畳されているので、撮像者である親は、その顔マーク151aを追って撮像することで、運動会のような子供を見失う可能性が高い状況下にあっても、画枠から外れることなく確実に、撮像対象者である子供を撮像することが可能となる。
If the image is being captured, the
また、ビデオカメラ1においては、撮像者により選択された撮像対象者の顔画像152(または顔画像152を含む画像)を、記録メディア28に記録させることもできる。つまり、記録メディア28に顔画像152を記録させておくことで、例えば、再度、同じ撮像対象者の撮像が行われるとき、ビデオカメラ1では、撮像対象の顔画像を選択する操作を行わずに、記録メディア28に記録されている顔画像152を読み出し、その顔画像152により撮像対象者を特定して、撮像対象者の顔画像に顔マーク151aを重畳させることができる。また、その記録メディア28を他のビデオカメラに装着させることで、他のビデオカメラでも同様に、撮像された画像のなかから、顔画像152となる顔画像を特定し、特定された顔画像に対して顔マークを重畳させることが可能となる。
In the
次に、その具体的な処理の流れについて説明する。 Next, the specific processing flow will be described.
図4は、図2のビデオカメラ1により実行される、顔マーク重畳処理について説明するフローチャートである。
FIG. 4 is a flowchart for explaining the face mark superimposing process executed by the
ステップS11において、撮像部103は、被写体を撮像し、撮像により得られた被写体の画像を、顔画像検出部104および重畳部106に供給する。
In step S <b> 11, the
ステップS12において、制御部101は、操作部102からの操作信号に基づいて、例えば、撮像者により顔マークの重畳を指示するボタンが押下されることで、顔マークの重畳が指示されているか否かを判定する。 In step S <b> 12, based on the operation signal from the operation unit 102, the control unit 101 determines whether or not superimposition of the face mark is instructed, for example, when the photographer presses a button that instructs superimposition of the face mark. Determine whether.
ステップS12において、顔マークの重畳が指示されていると判定された場合、ステップS13において、顔画像検出部104は、撮像部103から供給される画像から顔画像を検出する顔画像検出処理を行う。
If it is determined in step S <b> 12 that superimposition of a face mark is instructed, in step S <b> 13, the face
ここで、図5のフローチャートを参照して、ステップS13の処理に対応する、顔画像検出部104により実行される顔画像検出処理の詳細について説明する。
Here, the details of the face image detection process executed by the face
ステップS31において、顔画像検出部104は、撮像部103から供給される画像から顔画像を検出する。
In step S <b> 31, the face
ここで、顔画像の検出方法であるが、一般的には、画像のなかから人の目を識別して、識別された目を顔画像であるとする方法が用いられる。この方法の場合、顔画像検出部104は、撮像部103から供給される画像に対して、グレースケール処理を施し、それにより得られた画像から、目の白黒部分を面積比や形状等より判断して検出する。
Here, a face image detection method is used. Generally, a method is used in which a human eye is identified from the image and the identified eye is a face image. In the case of this method, the face
ステップS32において、顔画像検出部104は、撮像部103から供給される画像から、目以外の顔の器官(主要パーツ)である特徴点を抽出する。
In step S <b> 32, the face
ここで、特徴点の抽出方法であるが、顔画像検出部104は、例えば、ステップS31の処理において検出された目以外の顔の器官である鼻、口、眉、耳、または髪等を検出することで、特徴点を抽出する。なお、器官の検出方法であるが、全ての器官の画像を検出する必要はなく、例えば目と口の画像だけを検出する等、器官の画像の一部だけを検出するようにしてもよい。また、顔画像検出部104は、色フィルタを用いて肌色判断を行なって人間の肌の画像を検出することにより、顔画像の検出を行うようにしてもよい。
Here, as a feature point extraction method, the face
なお、顔画像の検出方法には、種々の方法があり、所定の画像のなかから顔画像を検出できる方法であれば、いずれの方法を用いるようにしてもよい。例えば、人間の頭部は楕円形の形状をしているので、それを利用して、顔画像を検出するようにしてもよい。具体的には、顔画像検出部104は、撮像部103から供給される画像から、楕円状となる画像を検出することにより、その楕円状の画像を頭部とすることで、顔画像を検出する。さらに、顔画像の検出方法としては、楕円状の形状をしている画像を検出する他に、例えば、顔の下側の輪郭線と類似した形状の画像を検出する方法等を用いることももちろん可能である。要は、所定の画像から顔画像が検出されればよいのであって、その手段、方法は、任意である。
There are various face image detection methods, and any method may be used as long as the face image can be detected from a predetermined image. For example, since the human head has an elliptical shape, it may be used to detect a face image. Specifically, the face
図4のフローチャートに戻り、ステップS14において、表示制御部107は、重畳部106を介して撮像部103から供給される被写体の画像を表示部23に表示させる。このとき、表示部23は、撮像者により撮像対象者の顔画像が選択されていないので、重畳部106により供給される、顔マークが重畳されていない被写体の画像を表示する。これにより、撮像者は、この表示部23に表示されている被写体の画像を見ながら撮像を行う。
Returning to the flowchart of FIG. 4, in step S <b> 14, the
ステップS15において、顔画像選択部108は、撮像者によるタッチパネル52への操作に基づいて、表示部23に表示されている被写体の画像のなかから撮像対象者の顔画像を選択する。
In step S <b> 15, the face
なお、ステップS12において、顔マークの重畳が指示されていないと判定された場合、ステップS13の処理をスキップし、処理はステップS14に進む。この場合、ステップS15において、表示部23に表示されている画像には、顔マークの重畳が指示されておらず、顔画像検出処理(ステップS13の処理)が施されていないので、撮像者は、表示部23に表示されている画像から撮像対象者の顔画像を選択することはできない。
If it is determined in step S12 that the face mark superimposition has not been instructed, the process of step S13 is skipped, and the process proceeds to step S14. In this case, in step S15, the image displayed on the
ステップS16において、顔画像選択部108は、撮像者により撮像対象者の顔画像が選択されたか否かを判定する。
In step S <b> 16, the face
ステップS16において、撮像者により撮像対象者の顔画像が選択されたと判定された場合、ステップS17において、顔画像記憶部109は、顔画像選択部108により選択された撮像対象者の顔画像を顔画像データベース109aに登録する。これにより、顔画像データベース109aには、顔画像選択部108により選択された撮像対象者の顔画像が登録される。
If it is determined in step S16 that the face image of the person to be imaged has been selected by the image pickup person, the face
ステップS18において、制御部101は、操作部102からの操作信号に基づいて、例えば、撮像者により撮像対象者の顔画像の記録メディア28への記録を指示するボタンが押下されることで、選択された撮像対象者の顔画像の記録が指示されたか否かを判定する。
In step S <b> 18, the control unit 101 selects the button based on the operation signal from the operation unit 102 by, for example, pressing a button that instructs the imager to record the face image of the person to be imaged on the
ステップS18において、選択された撮像対象者の顔画像の記録が指示されたと判定された場合、ステップS19において、記録メディア制御部110は、顔画像データベース109aに登録されている撮像対象者の顔画像を記録メディア28に記録する。これにより、記録メディア28には、撮像者により選択された撮像対象者の顔画像が記録されるので、撮像者は、例えば、その記録メディア28を他のビデオカメラに装着させることで、同一の撮像対象者の顔画像に対して顔マークを重畳させることが可能となる。
If it is determined in step S18 that recording of the face image of the selected person to be imaged has been instructed, in step S19, the recording
一方、ステップS18において、選択された撮像対象者の顔画像の記録が指示されていないと判定された場合、ステップS19の処理をスキップし、処理はステップS20に進む。つまり、この場合、撮像対象者の顔画像は、記録メディア28に記録されないことになる。
On the other hand, if it is determined in step S18 that recording of the face image of the selected person to be imaged is not instructed, the process of step S19 is skipped, and the process proceeds to step S20. That is, in this case, the face image of the person to be imaged is not recorded on the
ステップS20において、顔画像照合部105は、顔画像照合処理を行って、顔画像の照合結果を重畳部106に供給する。具体的には、顔画像照合部105は、顔画像検出部104からの顔画像の検出結果と、顔画像データベース109aに登録されている撮像対象者の顔画像とを照合することで、撮像された被写体の画像の顔画像のなかから、撮像者により選択された撮像対象者の顔画像を特定する。これにより、撮像された被写体の画像のなかから、撮像者により選択された撮像対象者の顔画像と同一の顔画像が特定される。
In step S <b> 20, the face
ステップS21において、重畳部106は、顔画像照合部105からの顔画像の照合結果に基づいて、表示部23に表示される画像のうち、顔画像照合部105により特定された撮像対象者の顔画像に顔マークを重畳する。重畳部106は、その顔マークが重畳された画像を表示制御部107に供給する。
In step S <b> 21, the superimposing
ステップS22において、表示制御部107は、重畳部106から供給される顔マークが重畳された被写体の画像を表示部23に表示させる。
In step S <b> 22, the
つまり、図3に示すように、表示部23に表示されている画像151において、撮像者である親によって、自分の子供が撮像対象者として選択された場合、表示制御部107は、その選択された子供の顔画像に顔マーク151aが重畳された画像151を表示部23に表示させる。これにより、例えば、運動会の様子をビデオカメラ1で撮像している親は、たくさんいる子供達のなかから、顔マーク151aが重畳されている自分の子供を追うことで、確実に我が子を撮像することが可能となる。
That is, as shown in FIG. 3, in the
また、撮像対象者の顔画像に重畳される顔マーク151aの形状であるが、図6に示すように様々な形状とすることができる。
Moreover, although it is the shape of the
すなわち、図6の例に示すような子供を撮像対象者とした場合、図6の左側に示すように、例えば、表示部23に表示されている画像171の撮像対象者(図6の例では「子供」)の顔の周りに重畳されている円形の形状(図6の顔マーク171a)の他に、図6の中央に示すような四角形の形状(図6の顔マーク171b)や、図6の右側に示すような楕円形の形状(図6の顔マーク171c)等であってもよい。また、図示は省略するが、円形、四角形、または楕円形の他にも、例えば、一点鎖線や波線などを用いてもよいし、三角形やダイヤモンド型、菱形等を用いてもよい。また、撮像対象者が複数人存在する場合には、撮像対象者ごとに色遣いを変えてもよい。つまり、顔マーク151aは、撮像者に対して撮像された画像のなかから撮像対象者の顔画像を把握させることができればよく、その形状や色、大きさ等を任意に変更することができる。
That is, when a child as shown in the example of FIG. 6 is an imaging subject, as shown on the left side of FIG. 6, for example, the imaging subject of the
図4のフローチャートに戻り、ステップS23において、制御部101は、操作部102からの操作信号に基づいて、例えば、撮像者により撮像の停止を指示するボタンが押下されることで、撮像終了が指示されたか否かを判定する。 Returning to the flowchart of FIG. 4, in step S <b> 23, based on the operation signal from the operation unit 102, the control unit 101 gives an instruction to end imaging when, for example, a photographer presses a button that instructs to stop imaging. It is determined whether or not it has been done.
ステップS23において、撮像終了が指示されていないと判定された場合、ステップS11に戻り、上述した、ステップS11乃至S23の処理が繰り返される。すなわち、ステップS23において、撮像終了が指示されたと判定されるまで、ステップS11乃至S23において、撮像対象者の顔画像に対して顔マークが重畳される処理が繰り返され、撮像者は、撮像対象者の顔画像に重畳された顔マークを追いながら撮像を行うことになる。 If it is determined in step S23 that the end of imaging has not been instructed, the process returns to step S11, and the above-described processes of steps S11 to S23 are repeated. That is, until it is determined in step S23 that the end of imaging has been instructed, in steps S11 to S23, the process of superimposing the face mark on the face image of the person to be imaged is repeated. Imaging is performed while following the face mark superimposed on the face image.
一方、ステップS23において、撮像終了が指示されたと判定された場合、図4の顔マーク重畳処理は終了する。 On the other hand, if it is determined in step S23 that the end of imaging has been instructed, the face mark superimposing process in FIG. 4 ends.
以上のように、ビデオカメラ1は、撮像者により選択された撮像対象者の顔画像に対して、顔マークを重畳させて表示することができる。これにより、撮像者は、表示部23に表示される画像内の特定人物を把握できるので、撮像機会を逃さずに所望の撮像対象者を撮像することができる。
As described above, the
なお、上述した例では、ステップS18の処理において、制御部101は、操作部102からの操作信号に基づいて、選択された撮像対象者の顔画像の記録が指示されたか否かを判定するとして説明したが、ステップS18の判定処理を行なわずに、ステップS19の処理に進むことで、撮像者により選択された撮像対象者の顔画像を、強制的に記録メディア28に記録させるようにしてもよい。
In the above-described example, in the process of step S18, the control unit 101 determines based on the operation signal from the operation unit 102 whether or not the recording of the face image of the selected person to be imaged has been instructed. As described above, the face image of the person to be imaged selected by the photographer is forcibly recorded on the
ところで、上述した例では、撮像者により選択された撮像対象者の顔画像に対して、顔マークを重畳させて表示するとして説明したが、本実施の形態では、例えば、デジタルスチルカメラにより撮像された画像であって、記録メディア28に記録されている画像を利用して、撮像されている被写体のなかにその記録メディア28から読み込んだ撮像対象者の顔画像と同一の人物が存在する場合、その人物の顔に顔マークを重畳させることも可能である。
By the way, in the above-described example, the face mark is displayed so as to be superimposed on the face image of the person to be imaged selected by the photographer. However, in the present embodiment, for example, the image is captured by a digital still camera. If the same person as the face image of the person to be imaged read from the
そこで、次に、図7および8を参照して、上述したような、撮像されている画像のなかから撮像対象者となる顔画像を選択する代わりに、記録メディア28に記録されている画像から撮像対象者の顔画像を特定し、その撮像対象者に顔マークを重畳する処理について説明する。
Therefore, referring to FIGS. 7 and 8, instead of selecting the face image to be imaged from the captured images as described above, from the images recorded on the
図7は、記録メディア28に記録された顔画像を含んでいる画像を利用した、撮像対象者の登録方法の概要について説明する図である。
FIG. 7 is a diagram for explaining an outline of a method for registering a person to be imaged using an image including a face image recorded on the
図7に示すように、撮像対象者の顔画像(図7の例では子供の画像)を含んでいる画像192を記録している記録メディア28が、ビデオカメラ1に装着された場合、ビデオカメラ1は、その記録メディア28に記録されている画像192を読み込む。そして、ビデオカメラ1においては、撮像された画像191のなかに、記録メディア28から読み込んだ画像192に含まれる顔画像と同一の人物が存在する場合、その人物の顔に顔マーク191aが重畳され、その顔マーク191aが重畳された画像191が表示部23に表示される。
As shown in FIG. 7, when a
これにより、記録メディア28から読み出された画像から撮像対象者が特定されるので、撮像者は、撮像時に、表示部23に表示された画像から撮像対象者の顔画像を探して登録する操作を行なう必要がないため、迅速に、かつ、確実に撮像対象者を撮像することが可能となる。
As a result, the person to be imaged is specified from the image read from the
次に、その具体的な処理の流れについて説明する。 Next, the specific processing flow will be described.
図8は、図2のビデオカメラ1により実行される、記録メディア28に記録された画像に含まれる顔画像を利用した、顔マーク重畳処理について説明するフローチャートである。
FIG. 8 is a flowchart for explaining the face mark superimposing process using the face image included in the image recorded on the
ステップS51において、図4のステップS11の処理と同様に、撮像部103により、被写体が撮像され、それにより得られた被写体の画像が、顔画像検出部104および重畳部106に供給される。
In step S51, as in the process of step S11 of FIG. 4, the subject is imaged by the
ステップS52において、制御部101は、操作部102からの操作信号に基づいて、例えば、撮像者により顔マークの重畳を指示するボタンが押下されることで、顔マークの重畳が指示されているか否かを判定する。 In step S <b> 52, based on the operation signal from the operation unit 102, the control unit 101 determines whether or not superimposition of the face mark is instructed by, for example, pressing a button for superimposing the face mark by the photographer. Determine whether.
ステップS52において、顔マークの重畳が指示されていると判定された場合、ステップS53において、制御部101は、顔画像を含んでいる画像を記録している記録メディア28が記録メディアインターフェース27に装着されているか否かを判定する。
If it is determined in step S52 that superimposition of the face mark is instructed, in step S53, the control unit 101 mounts the
ステップS53において、顔画像を含んでいる画像を記録している記録メディア28が装着されていると判定された場合、ステップS54において、記録メディア制御部110は、装着されている記録メディア28から画像を読み出し、その画像を顔画像検出部111に供給する。
When it is determined in step S53 that the
ステップS55において、顔画像検出部111は、記録メディア制御部110から供給される画像から顔画像を検出する顔画像検出処理を行って、顔画像の検出結果を顔画像記憶部109に供給する。これにより、記録メディア28に記録されている画像のなかから撮像対象者の顔画像が検出される。
In step S <b> 55, the face
なお、顔画像検出部111により実行される、ステップS55の処理に対応する、図5の顔画像検出処理の詳細は、上述した、顔画像検出部104による、図4のステップS13の処理と同様であるので、その説明は省略する。
The details of the face image detection process of FIG. 5 corresponding to the process of step S55 executed by the face
ステップS56において、顔画像記憶部109は、記録メディア28から読み出された画像に含まれる撮像対象者の顔画像であって、顔画像検出部111により検出された撮像対象者の顔画像を顔画像データベース109aに登録する。これにより、顔画像データベース109aには、記録メディア28に記録されていた画像から検出された撮像対象者の顔画像が登録される。
In step S <b> 56, the face
ステップS57において、顔画像検出部104は、図4のステップS13の処理と同様に、撮像部103により撮像された画像から顔画像を検出する顔画像検出処理を行って、顔画像の検出結果を顔画像照合部105に供給する。これにより、撮像部103により撮像された被写体の画像のなかから顔画像が検出される。
In step S57, the face
なお、顔画像検出部104により実行される、ステップS57の処理に対応する、図5の顔画像検出処理の詳細は、上述した、顔画像検出部104による、図4のステップS13の処理と同様であるので、その説明は省略する。
The details of the face image detection process of FIG. 5 corresponding to the process of step S57 executed by the face
ステップS58において、顔画像照合部105は、顔画像照合処理を行って、顔画像の照合結果を重畳部106に供給する。具体的には、顔画像照合部105は、顔画像検出部104からの顔画像の検出結果と、顔画像データベース109aに登録されている撮像対象者の顔画像とを照合することで、撮像された被写体の画像の顔画像のなかから、記録メディア28に記録されていた撮像対象者の顔画像を特定する。これにより、撮像された被写体の画像のなかから、記録メディア28に記録されていた画像の顔画像と同一の人物の顔画像が特定される。
In step S <b> 58, the face
ステップS59において、顔画像照合部105は、顔画像照合処理によって、撮像された被写体の画像の顔画像のなかから、記録メディア28に記録されていた画像に含まれる撮像対象者の顔画像が特定されたか否かを判定する。
In step S <b> 59, the face
ステップS59において、顔画像が特定されたと判定された場合、ステップS60において、重畳部106は、顔画像照合部105から供給される顔画像の照合結果に基づいて、表示部23に表示される画像のうち、顔画像照合部105により特定された撮像対象者の顔画像に顔マークを重畳する。重畳部106は、その顔マークが重畳された画像を表示制御部107に供給する。
When it is determined in step S59 that a face image has been specified, in step S60, the superimposing
ステップS61において、表示制御部107は、重畳部106から供給される顔マークが重畳された被写体の画像を表示部23に表示させる。
In step S <b> 61, the
つまり、図7に示したように、ビデオカメラ1においては、表示部23に表示される画像191から、記録メディア28に記録されている画像192に含まれる撮像対象者である子供の顔画像と一致する顔画像が特定された場合、表示制御部107は、その特定された子供の顔画像に顔マーク191aが重畳された画像191を表示部23に表示させる。これにより、例えば、運動会の様子をビデオカメラ1で撮像している親は、表示部23に表示された画像191のなかから顔マーク191aが重畳された自分の子供を追うことで、我が子を見逃さなくなり、常に撮像対象となる我が子を撮り続けることができる。
That is, as shown in FIG. 7, in the
一方、ステップS59において、顔画像が特定されていないと判定された場合、ステップS60の処理をスキップし、処理はステップS61に進む。ステップS61において、表示制御部107は、重畳部106から供給される顔マークが重畳されていない被写体の画像を表示部23に表示させる。つまり、このとき、顔画像照合処理によって顔画像が特定されておらず、撮像された被写体の画像に、記録メディア28に記録されている画像に含まれる撮像対象者の顔画像が存在していないので、顔マークが重畳されていない被写体の画像が表示部23に表示される。
On the other hand, if it is determined in step S59 that the face image is not specified, the process of step S60 is skipped, and the process proceeds to step S61. In step S <b> 61, the
ステップS62において、図4のステップS23と同様に、制御部101により、撮像終了が指示されたか否かが判定され、撮像終了が指示されていないと判定された場合、ステップS51乃至S62の処理が繰り返される。すなわち、ステップS62において、撮像終了が指示されたと判定されるまで、ステップS51乃至S62において、撮像対象者の顔画像に対して顔マークが重畳される処理が繰り返され、撮像者は、撮像対象者に重畳された顔マークを追いながら、所望の撮像対象者の撮像を行うことになる。 In step S62, as in step S23 of FIG. 4, it is determined whether or not the end of imaging has been instructed by the control unit 101. If it is determined that the end of imaging has not been instructed, the processing in steps S51 to S62 is performed. Repeated. That is, the process of superimposing the face mark on the face image of the person to be imaged is repeated in steps S51 to S62 until it is determined in step S62 that the end of imaging has been instructed. The desired person to be imaged is imaged while following the face mark superimposed on.
一方、ステップS62において、撮像終了が指示されたと判定された場合、図8の顔マーク重畳処理は終了する。 On the other hand, if it is determined in step S62 that the end of imaging has been instructed, the face mark superimposing process in FIG. 8 ends.
以上のように、ビデオカメラ1は、装着された記録メディア28から読み出された画像に含まれる撮像対象者の顔画像に対して、顔マークを重畳して表示することができる。これにより、撮像者は、撮像対象者となる人物の動きが分かるので、常に撮像対象者となる人物を中心に撮像を行うことができる。
As described above, the
なお、上述した例では、ステップS52の処理によって、顔マークの重畳が指示されている場合に、記録メディア28から撮像対象者の顔画像を含んでいる画像を読み出して、顔マークを重畳する処理を行うとして説明したが、それに限らず、例えば、ステップS52の処理を省略して、記録メディア28がビデオカメラ1に装着された場合に、顔マークを重畳する処理を行うようにしてもよい。もちろん、この例の場合、記録メディア28がビデオカメラ1に装着されていないとき、顔マークを重畳する処理は行なわれない。
In the above-described example, when the superimposition of the face mark is instructed by the process of step S52, the process of reading the image including the face image of the person to be imaged from the
ところで、撮像者にとっては、撮像対象者を常に撮像し続けることが理想であるが、子供等の撮像対象者は常に動いていることが多く、また、ビデオカメラ1を手に持って動かしながら撮像を行なうため、撮像対象者が画枠から外れてしまい、見失ってしまう可能性がある。その場合、上述したように、撮像対象者の顔画像に顔マークを重畳させようとしても、撮像対象者自体が表示部23に表示されている画像のなかに存在しないため(画枠から外れてしまっているため)、顔マークを重畳させることができない。そこで、上述した例では、撮像されている画像のなかに存在する撮像対象者となる人物の顔に顔マークを重畳させていたが、さらに、その撮像対象者の存在する位置の方向を示すアイコン(以下、状態マークと称する)を重畳させることで、撮像対象者を画面から見失った場合でも、その状態マークによって迅速にその撮像対象者の位置を確認することが可能となる。したがって、次に、図9乃至20を参照して、撮像された画像に状態マークを重畳する処理について説明する。
By the way, for the photographer, it is ideal that the subject to be imaged is continuously taken. However, the subject to be imaged such as a child is always moving, and the image is taken while holding the
図9は、ビデオカメラ1の機能的構成の他の例を示すブロック図である。
FIG. 9 is a block diagram illustrating another example of the functional configuration of the
なお、図9では、図2と同様の箇所には、同一の符号が付してあり、処理が同じ部分に関しては、その説明は繰り返しになるので省略する。すなわち、図9において、ビデオカメラ1は、図2のビデオカメラ1と比較して、状態検出部201が追加して設けられている。
In FIG. 9, the same parts as those in FIG. 2 are denoted by the same reference numerals, and the description of the same parts will be omitted because they are repeated. That is, in FIG. 9, the
状態検出部201は、撮像部103から供給される画像から、顔画像データベース109aに登録されている撮像対象者の状態を検出する、状態検出処理を行う。状態検出部201は、状態検出処理を行うことにより得られた検出結果を重畳部106に供給する。
The
なお、詳細は後述するが、状態検出処理とは、画枠から外れてしまった撮像対象者の存在する位置を推測する処理によって、撮像対象者の状態を検出する処理である。 Although details will be described later, the state detection process is a process of detecting the state of the imaging target person by a process of estimating the position of the imaging target person who has deviated from the image frame.
重畳部106は、状態検出部201から供給される撮像対象者の検出結果に基づいて、撮像部103から供給される被写体の画像に対して、撮像対象者の状態を示す状態マークを重畳する。重畳部106は、状態マークが重畳された被写体の画像を表示制御部107に供給する。また、上述したように、重畳部106は、顔画像照合部105から供給される顔画像の照合結果に基づいて、撮像対象者が画枠のなかに存在するとき、撮像部103から供給される被写体の画像における撮像対象者の顔画像に顔マークを重畳する。
The superimposing
表示制御部107は、重畳部106から供給される画像に基づいて、顔マークまたは状態マークの重畳された被写体の画像を表示部23に表示させる。
Based on the image supplied from the superimposing
次に、図10および11を参照して、状態マークの概要について説明する。 Next, an outline of the status mark will be described with reference to FIGS.
ビデオカメラ1においては、図10に示すように、撮像者により被写体が撮像される場合、表示部23には、撮像された被写体の画像301が表示される。この画像301には、撮像対象者であることを示す顔マーク302aと、その顔マーク302aが重畳された撮像対象者の状態を示す状態マーク303aが重畳される。
In the
つまり、図10の例では、撮像者は、ビデオカメラ1により、サッカーの試合を撮像しているが、その試合で注目している選手を撮像対象者として登録(選択)しているので、その選択されている選手には顔マーク302aが重畳されている。状態マーク303aは、選択されている撮像対象者の状態、すなわち、顔マーク302aが重畳されている選手の状態を示しており、図10の例では、顔マーク302aが重畳された選手が画像301のなかに存在していることを示している。
That is, in the example of FIG. 10, the photographer images a soccer game with the
具体的には、状態マーク303aでは、撮像対象者の存在有無を示す円のなかに上下左右の4方向を示している矢印が付されているが、その矢印は、撮像対象者が画枠から外れてしまった場合、その撮像対象者の存在する位置の方向を示す。すなわち、状態マーク303aでは、実線で記した矢印の方向に撮像対象者が存在し、点線で記した矢印の方向には撮像対象者が存在しないことを示す。つまり、図10の例では、画像301のなかに、顔マーク302aが重畳された選手(撮像対象者)が存在するので、状態マーク303aの円が実線で記され、その円のなかの上下左右の4方向の矢印は、点線で記されている。
Specifically, in the
また、図11の例では、画像301のなかに、顔マーク302aが重畳された選手(撮像対象者)が存在せず、かつ、その選手が画枠の左方向の位置に存在するので、状態マーク303aの円のなかでは左方向の矢印だけが実線で記され、その他の3方向の矢印が点線で記されている。なお、図11の例においては、撮像対象者が画像301のなかに存在しないので、状態マーク303aでは、撮像対象者の存在有無を示す円が点線で記される。
In the example of FIG. 11, there is no player (imaging target person) on which the
なお、状態マーク303aにおいて、上述したような実線と点線の使い分け方は、後述する他の図においても同様とされる。
In the
また、以下、状態マークにおいて、撮像対象者が画枠内に存在する状態を、「存在状態」と称し、このとき、状態マークは、円が実線で記され、4方向の矢印が点線で記される。さらに、撮像対象者が画枠の左方向の位置に存在する状態を、「左移動状態」と称し、同様に、右方向の位置に存在する状態を「右移動状態」、上方向の位置に存在する状態を「上移動状態」、下方向の位置に存在する状態を「下移動状態」とそれぞれ称する。このとき、状態マークにおいて、撮像対象者の存在有無を示す円のなかの、4方向の矢印は、撮像対象者が存在する位置の方向だけが実線で記され、それ以外の3方向は点線で記されることになる。 Hereinafter, the state where the person to be imaged is present in the image frame in the state mark is referred to as “existing state”. At this time, the state mark is indicated by a solid circle and a four-direction arrow by a dotted line. Is done. Furthermore, a state where the person to be imaged is present at the left position of the image frame is referred to as a “left movement state”, and similarly, a state where the subject is present at the right direction is referred to as a “right movement state”. The existing state is referred to as an “upward movement state”, and the state existing in a downward direction is referred to as a “downward movement state”. At this time, in the state mark, the four arrows in the circle indicating the presence / absence of the imaging target person are indicated by solid lines only in the direction of the position where the imaging target person exists, and the other three directions are dotted lines. Will be written.
このように、ビデオカメラ1は、撮像対象者が表示部23に表示されている画面のなかに存在しない場合であっても、状態マークによって、撮像対象者が画枠から外れていることと、その画枠から外れている撮像対象者の存在する位置の方向を示すことができる。これにより、撮像者は、撮像対象者が表示部23の画面から外れてしまったとしても、状態マークにより撮像対象者の存在する位置の方向を確認し、状態マークの矢印の方向にビデオカメラ1を動かすことで、撮像対象者を画枠内に収めて撮像することが可能となる。
As described above, the
次に、その具体的な処理の流れについて説明する。 Next, the specific processing flow will be described.
図12は、図9のビデオカメラ1により実行される、顔・状態マーク重畳処理について説明するフローチャートである。
FIG. 12 is a flowchart for explaining the face / state mark superimposing process executed by the
ステップS71において、図8のステップS51の処理と同様に、撮像部103により、被写体が撮像され、それにより得られた画像が、顔画像検出部104、重畳部106、および状態検出部201に供給される。
In step S71, similar to the processing in step S51 of FIG. 8, the subject is imaged by the
ステップS72において、制御部101は、操作部102からの操作信号に基づいて、例えば、撮像者により顔マークと状態マークの重畳を指示するボタンが押下されることで、顔マークと状態マークの重畳が指示されているか否かを判定する。ステップS72において、顔マークと状態マークの重畳が指示されていると判定された場合、処理はステップS73に進む。 In step S <b> 72, based on the operation signal from the operation unit 102, the control unit 101, for example, presses a button that instructs the imager to superimpose the face mark and the state mark, thereby superimposing the face mark and the state mark. Whether or not is instructed is determined. If it is determined in step S72 that superimposition of the face mark and the status mark is instructed, the process proceeds to step S73.
ステップS73乃至S80において、図8のステップS53乃至S60と同様に、顔画像検出部104、顔画像照合部105、重畳部106、顔画像記憶部109、記録メディア制御部110、および顔画像検出部111により、記録メディア28に記録されている画像に基づいて、撮像された被写体の画像のなかから撮像対象者が特定され、その撮像対象者に顔マークが重畳される。
In steps S73 to S80, as in steps S53 to S60 of FIG. 8, the face
ステップS81において、撮像部103、重畳部106、状態検出部201は、撮像部103により撮像される画像から撮像対象者の状態を検出し、その画像に対して状態マークを重畳する、状態検出処理を行なう。
In step S81, the
ここで、図13のフローチャートを参照して、ステップS81の処理に対応する、撮像部103、重畳部106、および状態検出部201により実行される、状態検出処理の詳細について説明する。
Here, the details of the state detection process executed by the
ステップS91において、状態検出部201は、顔画像データベース109aに登録されている撮像対象者の顔画像を読み出すことで、撮像対象者を特定する。
In step S91, the
ステップS92において、撮像部103は、撮像対象者にフォーカスを合わせる。
In step S92, the
ステップS93において、状態検出部201は、特定された撮像対象者の存在する位置を決定する。
In step S <b> 93, the
具体的には、図14に示すように、例えば、Nフレーム目の画像において、位置P(6,5)の位置に存在していた撮像対象者が、その次のフレームであるN+1フレーム目の画像においては、位置Q(10,8)の位置に移動したとき、位置PからQに移動した撮像対象者の移動速度は、撮像対象者の位置PからQへの移動距離から求めることができる。 Specifically, as illustrated in FIG. 14, for example, in the image of the Nth frame, the imaging subject who was present at the position P (6, 5) is the N + 1th frame, which is the next frame. In the image, when moving to the position Q (10, 8), the moving speed of the imaging subject who has moved from the position P to Q can be obtained from the moving distance from the imaging subject person position P to Q. .
なお、この画像の1フレームは、図14の例では、説明を簡略化するために、図中の水平方向をX方向、垂直方向をY方向としたとき、(X,Y)=(0,0),(20,0),(0,15),(20,15)の4点を四隅とするブロック、すなわち、15×20(個)のブロックからなる。また、1フレームの画像において、撮像対象者の位置は、例えば、撮像対象者の顔の重心等の位置とする。 In the example of FIG. 14, one frame of this image has (X, Y) = (0,0) when the horizontal direction in the figure is the X direction and the vertical direction is the Y direction in order to simplify the description. 0), (20, 0), (0, 15), and (20, 15) have four corners, that is, 15 × 20 blocks. Also, in the image of one frame, the position of the person to be imaged is, for example, a position such as the center of gravity of the face of the person to be imaged.
つまり、点Xにフォーカスをあわせたときの焦点距離をXfとし、フレームレートをfr(fps)、水平(横)方向の座標をx、垂直(縦または奥行き)方向の座標をyとしたとき、図15に示すように、撮像対象者のいる位置Qにフォーカスを合わせた場合の焦点距離は、Qf(=F(図15の例では「F」と表現している))となる。 That is, when the focal length when focusing on the point X is Xf, the frame rate is fr (fps), the horizontal (horizontal) direction coordinate is x, and the vertical (vertical or depth) direction coordinate is y, As shown in FIG. 15, the focal length when the focus is set at the position Q where the person to be imaged is Qf (= F (expressed as “F” in the example of FIG. 15)).
また、1フレーム当たりの撮像対象者の位置Qの移動距離(つまり、撮像対象者の移動距離)は、上記Qfとの関係により一意に求められる。すなわち、撮像対象者の位置Qであるが、図15の例では、水平方向の移動距離がQx(m)となり、垂直方向の移動距離がQy(m)となるので、fr=30(fps)とすると、撮像対象者の移動速度は、水平方向の速度(水平速度)が30×Qx(m/s)となり、垂直方向の速度(垂直速度)が30×Qy(m/s)となる。 Further, the moving distance of the position Q of the person to be imaged per frame (that is, the moving distance of the person to be imaged) is uniquely determined by the relationship with the above Qf. That is, although it is the position Q of the person to be imaged, in the example of FIG. 15, the horizontal movement distance is Qx (m) and the vertical movement distance is Qy (m), so fr = 30 (fps). Then, the moving speed of the person to be imaged is 30 × Qx (m / s) in the horizontal direction (horizontal speed) and 30 × Qy (m / s) in the vertical direction (vertical speed).
さらにまた、図16に示すように、撮像経過時間をTn、ある撮像時点におけるフレーム番号をnとする(つまり、nより1つ前のフレームは、n−1と表現できる)と、撮像開始時間Tnの1秒後は、fr=30(fps)であるので、T30と表現できる。このような関係を前提として、撮像対象者の画面上の位置は下記の座標(1)のように表現できる。 Furthermore, as shown in FIG. 16, when the imaging elapsed time is T n and the frame number at a certain imaging point is n (that is, the frame before n can be expressed as n−1), imaging starts. One second after the time T n is fr = 30 (fps), and can be expressed as T 30 . On the premise of such a relationship, the position of the person to be imaged on the screen can be expressed as the following coordinate (1).
Qn(qxn,qyn)・・・(1) Q n (qx n , qy n ) (1)
すなわち、状態検出部201は、撮像対象者の存在する位置として、例えば、座標(1)で示される、Qn(qxn,qyn)を決定する。
That is, the
図13のフローチャートに戻り、ステップS94において、状態検出部201は、撮像対象者が表示部23に表示されている画面内に存在するか否かを判定する。例えば、状態検出部201は、決定された撮像対象者の存在する位置の座標、Qn(qxn,qyn)が、図14の画像内の座標であるか否かを判定する。
Returning to the flowchart of FIG. 13, in step S <b> 94, the
ステップS94において、撮像対象者が画面内に存在しないと判定された場合、ステップS95において、状態検出部201は、画面内に存在撮像対象者の存在する位置を推測する、撮像対象者位置推定処理を行って、撮像対象者位置推測処理を行うことにより得られた、撮像対象者の存在する位置を示す情報を重畳部106に供給する。
In step S94, when it is determined that the person to be imaged does not exist in the screen, the
つまり、状態検出部201は、撮像対象者が画枠から外れて画面からはみ出した場合、座標(1)を用いて、QnとQn-1との位置関係から、その撮像対象者のはみ出した位置を推定する。
That is, the
具体的には、例えば、図14において、Qn-1(15,5)から、Qn(18,5)に移動した撮像対象者が画面の右端からはみ出した場合、その撮像対象者の速度を一定とすると、Qn+1(qxn+1,qyn+1)は、上述した関係から、Qn+1(21,5)であると推定できる。すなわち、画面の右端からはみ出した撮像対象者は、画枠から外れて、Qn+1(21,5)の位置に存在していると推測される。 Specifically, for example, in FIG. 14, when an imaging subject who has moved from Q n-1 (15, 5) to Q n (18, 5) protrudes from the right end of the screen, the speed of the imaging subject Is constant, Q n + 1 (qx n + 1 , qy n + 1 ) can be estimated as Q n + 1 (21, 5) from the above-described relationship. That is, it is estimated that the person to be imaged that protrudes from the right end of the screen is out of the image frame and exists at the position of Q n + 1 (21, 5).
また、撮像対象者のはみ出す方向の右端以外の例として、例えば、図14において、図Qn-1(10,10)から、Qn(10,13)に移動した撮像対象者が画面の上端からはみ出した場合、その撮像対象者の速度を一定とすると、Qn+1(qxn+1,qyn+1)は、上述した関係から、Qn+1(10,16)であると推定できる。すなわち、画面の上端からはみ出した撮像対象者は、画枠から外れて、Qn+1(10,16)の位置に存在していると推測される。 Further, as an example other than the right end of the direction in which the person to be imaged protrudes, for example, in FIG. 14, the person to be imaged who has moved from Q n-1 (10, 10) to Q n (10, 13) in FIG. In the case of overhanging, assuming that the speed of the subject to be imaged is constant, Q n + 1 (qx n + 1 , qy n + 1 ) is Q n + 1 (10, 16) from the above-described relationship. Can be estimated. That is, it is estimated that the person to be imaged that protrudes from the upper end of the screen is out of the image frame and exists at the position of Q n + 1 (10, 16).
このように、画枠からはみ出した撮像対象者のはみ出す前の座標を利用して、はみ出した後の座標を求めることができる。 In this way, the coordinates after protruding from the image frame can be obtained by using the coordinates before protruding from the imaging target person.
なお、上述した例では、撮像対象者が画面の右端または上端からはみ出す例について説明したが、もちろん、撮像対象者が画面の左端や下端からはみ出した場合の座標も同様に求めることができる。また、上述した方法以外であっても、画枠から外れた撮像対象者の位置を推測できる方法であれば、いずれの方法を用いるようにしてもよい。 In the above-described example, the example in which the person to be imaged protrudes from the right end or the upper end of the screen has been described. Of course, the coordinates when the object to be imaged protrudes from the left end or the lower end of the screen can be obtained in the same manner. Further, any method other than the method described above may be used as long as the method can estimate the position of the person to be imaged out of the image frame.
図13のフローチャートに戻り、ステップS96において、重畳部106は、状態検出部201から供給される撮像対象者位置推測の結果に基づいて、撮像部103から供給される画像に、画枠外に外れている撮像対象者の存在する位置を示す状態マークを重畳する。
Returning to the flowchart of FIG. 13, in step S <b> 96, the superimposing
一方、ステップS94において、撮像対象者が画面内に存在していると判定された場合、ステップS95の処理をスキップし、ステップS96において、重畳部106は、撮像部103から供給される画像に、撮像対象者が画枠内に存在していることを示す状態マークを重畳する。
On the other hand, if it is determined in step S94 that the person to be imaged exists in the screen, the process of step S95 is skipped, and in step S96, the superimposing
このとき、重畳部106は、顔マーク(図12のステップS80の処理)と状態マーク(図13のステップS96の処理)の両方のマークが重畳された画像データを表示制御部107に供給する。
At this time, the superimposing
図12のフローチャートに戻り、ステップS82において、表示制御部107は、重畳部106から供給される、顔マークまたは状態マークが重畳された被写体の画像を表示部23に表示させる。
Returning to the flowchart of FIG. 12, in step S <b> 82, the
つまり、表示部23には、図10に示したように、撮像対象者が画像301のなかに存在する場合、撮像対象者を撮像者に識別させるための顔マーク302aと、その撮像対象者が画像301のなかに存在していることを示す状態マーク303aとが画像301に重畳されて表示される。それに対して、図11に示したように、撮像対象者が画像301のなかに存在しない場合、例えば撮像対象者が画像301の左方向に存在するので、左方向だけが実線で示される状態マークが画像301に重畳されて表示される。
That is, as shown in FIG. 10, when the person to be imaged is present in the
これにより、撮像者は、撮像対象者を見失ってしまったとしても、その撮像対象者が存在する方向を状態マークにより把握することができるので、すぐに撮像対象者を見つけて撮像を行うことができる。 As a result, even if the photographer loses sight of the imaging subject, the direction in which the imaging subject exists can be grasped by the status mark, so that the imaging subject can be immediately found and imaged. it can.
また、上述した例では、1人だけを撮像対象者として、その撮像対象者に対して、顔マークと状態マークが重畳された画像を表示する例について説明したが、本実施の形態では、それに限らず、複数人を撮像対象者とし、それらの撮像対象者に対して、顔マークと状態マークを画像に重畳させて、表示させることもできる。 In the above-described example, an example in which only one person is an imaging target and an image in which a face mark and a state mark are superimposed is displayed on the imaging target is described. The present invention is not limited, and a plurality of persons can be imaged, and face marks and status marks can be superimposed on the image and displayed.
図17は、複数の撮像対象者に対して、状態マークが重畳された画面の構成例を示す模式図である。 FIG. 17 is a schematic diagram illustrating a configuration example of a screen on which state marks are superimposed on a plurality of imaging subjects.
図17の例では、撮像者は、ビデオカメラ1により、サッカーの試合を撮像しているが、その試合で注目している4人の選手を登録(選択)しているので、それらの選択されている選手には、顔マーク302b乃至302eがそれぞれ重畳されている(図17では、顔マーク302eを重畳する選手が画枠の外に存在するので、画像301には、顔マーク302eが重畳されていない)。また、表示部23に表示されている画像301の左側には、顔マーク302b乃至302eに対応して、その顔マークの重畳された選手の状態を示す状態マーク303b乃至303eが表示される。
In the example of FIG. 17, the photographer images a soccer game with the
具体的には、状態マーク303bは、顔マーク302bが重畳された選手(以下、選手bとも称する)の状態を示している。選手bが画枠内に存在するので、状態マークは、「存在状態」を示している。同様に、状態マーク303cは、顔マーク302cが重畳された選手(以下、選手cとも称する)の状態を示し、その選手cが画枠内に存在するので、「存在状態」を示している。
Specifically, the
また、同様に、状態マーク303dは、顔マーク302dが重畳された選手(以下、選手dとも称する)の状態を示し、その選手dが画枠内に存在するので、「存在状態」を示している。さらにまた、状態マーク303eは、顔マーク302eが重畳された選手(以下、選手eとも称する)の状態を示し、その選手eが画枠から外れて左方向の位置に存在するので、「左移動状態」を示している。
Similarly, the
その後、ビデオカメラ1においては、例えば、「左移動状態」にある選手を撮像するために、撮像者により左方向に動かされたとき、選手eが画枠内に入ってくるが、それにより、選手bと選手dが画枠から外れてしまった場合、表示部23は、例えば、図18に示されるような画面を表示する。
Thereafter, in the
図18の例では、状態マーク303bは、例えば、撮像者により、ビデオカメラ1が左方向に動かされることで、選手bが画枠の右方向に外れてしまっているので、その表示を、「存在状態」から「右移動状態」に変更する。同様に、状態マーク303cは、例えば、撮像者により、ビデオカメラ1が左方向に動かされても、選手cが画枠内に存在し続けているので、その表示を「存在状態」のまま維持する。
In the example of FIG. 18, the
また、同様に、状態マーク303dは、例えば、撮像者により、ビデオカメラ1が左方向に動かされることで、選手dが画枠の左方向に外れてしまっているので、その表示を、「存在状態」から「左移動状態」に変更する。さらにまた、状態マーク303eは、例えば、撮像者により、ビデオカメラ1が左方向に動かされることで、選手eが画枠内に入ってくるので、その表示を、「左移動状態」から「存在状態」に変更する。つまり、撮像者は、表示部23に表示されている、図17の画面の状態マーク303eにしたがって、ビデオカメラ1を左方向に動かすことで、図18に示すように、選手eを撮像することが可能になった。
Similarly, the
このように、ビデオカメラ1では、複数の撮像対象者を選択した場合でも、1人の撮像対象者を選択した場合と同様に、撮像された画像に対して、顔マークと状態マークを重畳させることができる。これにより、撮像者は、複数の撮像対象者を選択している場合に、撮像対象者を見失ってしまったとしても、画枠から外れてしまっている撮像対象者が存在する方向を把握することができるので、すぐに撮像対象者を見つけて撮像を継続することができる。
As described above, in the
なお、状態マークの表示方法であるが、上述した例に限らず、例えば、図17および図18の例において、選手(撮像対象者)ごとに色を変えたり、状態マークに対応させて、選手の顔画像や名前等の撮像対象者を特定できる情報を表示してもよい。また、状態マークの表示位置であるが、上述した例では、画像301の左側に表示されるとして説明したが、それに限らず、例えば、画像301に重畳するように表示させてもよいし、画像301の上下左右のどの位置に表示させるようにしてもよい。
The display method of the state mark is not limited to the above-described example. For example, in the examples of FIGS. 17 and 18, the color may be changed for each player (imaging target person), or the player may correspond to the state mark. Information that can identify the person to be imaged, such as a face image or name, may be displayed. In addition, although the display position of the status mark is described as being displayed on the left side of the
また、上述した例では、状態マークとして、表示部23に表示されている画面から外れてしまった撮像対象者の位置(方向)を示す例について説明したが、本実施の形態では、状態マークは、画枠から外れてしまった撮像対象者の存在する位置を示すとともに、その撮像対象者を画枠内に入れるためのズームボタンの操作用のガイド(以下、操作ガイドと称する)を示すようにしてもよい。
Further, in the above-described example, the example in which the position (direction) of the imaging subject who has deviated from the screen displayed on the
図19は、操作ガイドを含む状態マークが重畳された画面の構成例を示す模式図である。 FIG. 19 is a schematic diagram illustrating a configuration example of a screen on which a state mark including an operation guide is superimposed.
図19の例では、図17および図18と同様に、ビデオカメラ1で撮像を行っている撮像者は、4人の選手を撮像対象者として選択している状態で、サッカーの試合を撮像している。
In the example of FIG. 19, as in FIGS. 17 and 18, the photographer who is capturing images with the
図19の例では、状態マーク303b1は、選手bの状態を示し、その選手bが画枠の右方向に外れてしまっているので、「右移動状態」を示している。また、状態マーク303b1の下側には、操作ガイド303b2が表示されている。操作ガイド303b2には、ズームマーク304のズーム位置と対応する点線で示された現在のズーム位置(以下、現在ズーム位置と称する)と、撮像対象者である選手bを撮像する(つまり、選手bを画枠内に入れる)ことが可能な実線で示されたズーム位置(以下、対象ズーム位置と称する)が表示される。
In the example of FIG. 19, the
つまり、選手bは、ズーム位置が現在ズーム位置であると画枠に収まらずに表示されていないが、「Tele」、すなわち、ズーム位置を対象ズーム位置までズームダウンすることで、選手bが画枠内に収まる。 That is, the player b is not displayed without being displayed in the image frame when the zoom position is the current zoom position. However, when the player b zooms down the zoom position to the target zoom position, Fits within the frame.
なお、図14乃至16を参照して上述したように、画枠から外れた撮像対象者の存在する位置を求めることができるので、対象ズーム位置は、例えば、その位置を用いて算出される。 Note that, as described above with reference to FIGS. 14 to 16, the position where the imaging target person deviates from the image frame can be obtained, and thus the target zoom position is calculated using the position, for example.
同様に、状態マーク303c1は、選手cの状態を示し、その選手cが画枠のなかに存在するので、「存在状態」を示している。また、状態マーク303c1の下側には、操作ガイド303c2が表示される。操作ガイド303c2は、「exist」、すなわち、選手cが画枠内に収まっており、対象ズーム位置を表示する必要がないので、現在ズーム位置だけを表示する。
Similarly, the
また、状態マーク303d1は、選手dの状態を示し、その選手dが画枠の左方向に外れてしまっているので、「左移動状態」を示している。また、状態マーク303d1の下側には、操作ガイド303d2が表示され、現在ズーム位置と対象ズーム位置が表示される。つまり、選手dは、ズーム位置が現在ズーム位置であると画枠に収まらずに表示されていないが、「Tele」、すなわち、ズーム位置を対象ズーム位置までズームダウンすることで、選手dが画枠内に収まる。
Further, the
さらに、状態マーク303e1は、選手eの状態を示し、その選手eが画枠のなかに存在するので、「存在状態」を示している。また、状態マーク303e1の下側には、操作ガイド303e2が表示され、現在ズーム位置と対象ズーム位置が表示される。つまり、この場合、選手eは画枠内に収まっているが、画像301に表示されている選手eの顔が小さくなり過ぎているため、「Wide」、すなわち、ズーム位置を対象ズーム位置までズームアップすることで、顔が映るようになる。
Further, the
このように、ビデオカメラ1では、状態マークとして、撮像対象者を画枠内に表示させるためのズームボタンの操作ガイドを表示させることができる。これにより、撮像者は、撮像対象者を見失った場合でも、撮像対象者までの距離感を把握し、適切なズームアウトや回転動作等の操作を行うことができる。
As described above, the
なお、状態マークとして、画枠から外れている撮像対象者までの実際の距離(例えば、「2.5m」等)を表示するようにしてもよい。また、状態マークは、操作ガイドだけを表示させるようにしてもよい。また、ビデオカメラ1に設けられるスピーカ(図示せず)により、例えば、「ビデオカメラ1を左方向に動かしてください。」等の状態マークにより示される内容を音声により出力するようにしてもよい。
It should be noted that an actual distance (for example, “2.5 m”, etc.) to the imaging subject who is out of the image frame may be displayed as the status mark. Further, only the operation guide may be displayed as the status mark. Further, a speaker (not shown) provided in the
さらにまた、ビデオカメラ1においては、撮像開始時からずっと画面に映っていない撮像対象者に対して、「円」と「矢印」の両方が点線となる状態マークが表示され、そのとき、操作ガイドは、「Tele」、「Wide」、「exist」のいずれでもない状態となる。
Furthermore, in the
また、状態マークは、本実施の形態では、図10,11,および図17乃至19に示したように、撮像対象者の存在有無を示す円のなかに上下左右の4方向を示す矢印が付されたアイコンとして形成されると説明したが、それに限らず、図20に示すような、様々な形態からなるようにすることができる。 In this embodiment, as shown in FIGS. 10 and 11 and FIGS. 17 to 19, the state mark is attached with arrows indicating four directions of up, down, left, and right in a circle indicating the presence or absence of the person to be imaged. However, the present invention is not limited to this, and various icons can be used as shown in FIG.
図20の例では、状態マーク311a乃至311gは、撮像対象者の存在する位置の方向を4方向で示すための方向キーが設けられており、それらの方向キーによって、撮像対象者の存在する方向を指し示す。つまり、状態マークは、撮像対象者の位置を示すことのできるアイコンであれば、その形状や色、大きさ等を任意に変更可能である。また、本実施の形態では、4方向により撮像対象者の位置を示したが、その方向も、例えば8方向等、任意に変更可能である。要は、撮像者に対して、撮像対象者の位置を示すことができればよいのであって、その表示の形態は、任意である。 In the example of FIG. 20, the status marks 311 a to 311 g are provided with direction keys for indicating the direction of the position where the imaging target person exists in four directions, and the direction in which the imaging target person exists by using these direction keys. Point to. That is, if the status mark is an icon that can indicate the position of the person to be imaged, its shape, color, size, and the like can be arbitrarily changed. In the present embodiment, the position of the person to be imaged is shown in four directions, but the direction can be arbitrarily changed, for example, eight directions. In short, it is only necessary to show the position of the person to be imaged to the imager, and the display form is arbitrary.
図12のフローチャートに戻り、ステップS83において、図8のステップS62と同様に、制御部101により、撮像終了が指示されたか否かが判定され、撮像終了が指示されていないと判定された場合、ステップS71乃至S83の処理が繰り返される。すなわち、ステップS83において、撮像終了が指示されたと判定されるまで、ステップS71乃至S83において、顔マークと状態マークを重畳する所定が繰り返される。その結果、撮像者は、撮像対象者に重畳された顔マークを追いながら撮像を行なうとともに、その撮像対象者が画枠から外れてしまった場合でも、状態マークにしたがって、ビデオカメラ1を動かすことで確実に撮像対象者を撮像することができる。
Returning to the flowchart of FIG. 12, in step S <b> 83, as in step S <b> 62 of FIG. 8, it is determined whether or not the control unit 101 has instructed the end of imaging, and it is determined that the end of imaging has not been instructed. Steps S71 to S83 are repeated. That is, the predetermined process of superimposing the face mark and the state mark is repeated in steps S71 to S83 until it is determined in step S83 that the end of imaging has been instructed. As a result, the photographer performs imaging while following the face mark superimposed on the imaging subject, and moves the
このように、ビデオカメラ1は、撮像者にとって有意義な撮像対象者の特定や撮像対象者の動きを把握することができる機能を提供することで、撮像者に対して、確実に、かつ、迅速に、対象の被写体を把握させることができる。
As described above, the
また、撮像者は、撮像時に撮像したい人物を複数選択することが可能となるので、適切な画枠の調整を行うことが可能となる。さらに、撮像者は、選択した撮像対象者の動きを的確に把握することができるので、シーンに応じたピント合わせが可能となる。 In addition, since the photographer can select a plurality of persons to be photographed at the time of photographing, it is possible to adjust the image frame appropriately. Furthermore, since the photographer can accurately grasp the movement of the selected person to be imaged, it is possible to focus according to the scene.
さらにまた、ビデオカメラ1では、撮像対象者が画枠から外れた場合、コーション表示や音声案内を行うので、撮像者は、撮像対象者をすぐに追いかけて、撮像することができる。
Furthermore, since the
なお、本実施の形態では、撮像対象者の顔画像を含む画像を記録している記録メディア28から、撮像対象者の顔画像を取得するとして説明したが、それに限らず、例えば、ビデオカメラ1に設けられた通信部(図示せず)により、例えば、インターネット等のネットワークを介して他の機器から取得した画像から、撮像対象者の顔画像を取得するようにしてもよい。
In the present embodiment, the face image of the imaging target person is acquired from the
また、本実施の形態では、撮像対象者の一例として、「子供」を例にして説明したが、それに限らず、子供以外の人はもちろん、例えば、自動車等の乗り物や動物等、ビデオカメラ1により撮像される被写体、特に動くものに対して用いることができる。さらにまた、撮像対象者を特定する画像は、被写体の顔画像に限らず、撮像対象者を特定可能な部位の画像であればよい。
In this embodiment, “child” is described as an example of the person to be imaged. However, the present invention is not limited to this, and the
上述した一連の処理は、ハードウェアにより実行させることもできるし、ソフトウェアにより実行させることもできる。一連の処理をソフトウェアにより実行させる場合には、そのソフトウェアを構成するプログラムが、専用のハードウェアに組み込まれているコンピュータ、または、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータ等に、記録媒体からインストールされる。 The series of processes described above can be executed by hardware or can be executed by software. When a series of processing is executed by software, a program constituting the software may execute various functions by installing a computer incorporated in dedicated hardware or various programs. For example, it is installed from a recording medium in a general-purpose personal computer or the like.
この記録媒体は、コンピュータとは別に、ユーザにプログラムを提供するために配布される、プログラムが記録されている磁気ディスク(フレキシブルディスクを含む)、光ディスク(CD-ROM(Compact Disc-Read Only Memory),DVD)を含む)、光磁気ディスク(MD(商標)を含む)、若しくは半導体メモリ等よりなる図1のリムーバブルメディア26により構成されるだけでなく、コンピュータに予め組み込まれた状態でユーザに提供される、プログラムが記録されている図1のフラッシュROM21等で構成される。
The recording medium is distributed to provide a program to the user separately from the computer, and includes a magnetic disk (including a flexible disk) on which the program is recorded, an optical disk (CD-ROM (Compact Disc-Read Only Memory)) , DVD)), magneto-optical disk (including MD (trademark)), or the
また、上述した一連の処理を実行させるプログラムは、必要に応じてルータ、モデム等のインターフェースを介して、ローカルエリアネットワーク、インターネット、デジタル衛星放送といった、有線または無線の通信媒体を介してコンピュータにインストールされるようにしてもよい。 The program for executing the series of processes described above is installed in a computer via a wired or wireless communication medium such as a local area network, the Internet, or digital satellite broadcasting via an interface such as a router or a modem as necessary. You may be made to do.
なお、本明細書において、記録媒体に格納されるプログラムを記述するステップは、記載された順序に沿って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的あるいは個別に実行される処理をも含むものである。 In the present specification, the step of describing the program stored in the recording medium is not limited to the processing performed in chronological order according to the described order, but is not necessarily performed in chronological order. It also includes processes that are executed individually.
また、本発明の実施の形態は、上述した実施の形態に限定されるものではなく、本発明の要旨を逸脱しない範囲において種々の変更が可能である。 The embodiments of the present invention are not limited to the above-described embodiments, and various modifications can be made without departing from the scope of the present invention.
1 ビデオカメラ, 17 DSP, 19 CPU, 22 ディスプレイコントローラ, 23 表示部, 24 入力部, 27 記録メディアインターフェース, 28 記録メディア, 52 タッチパネル, 101 制御部, 102 操作部, 103 撮像部, 104 顔画像検出部, 105 顔画像照合部, 106 重畳部, 107 表示制御部, 108 顔画像選択部, 109 顔画像記憶部, 109a 顔画像データベース, 110 記録メディア制御部, 111 顔画像検出部, 201 状態検出部 1 Video Camera, 17 DSP, 19 CPU, 22 Display Controller, 23 Display Unit, 24 Input Unit, 27 Recording Media Interface, 28 Recording Media, 52 Touch Panel, 101 Control Unit, 102 Operation Unit, 103 Imaging Unit, 104 Face Image Detection Unit, 105 face image collation unit, 106 superimposition unit, 107 display control unit, 108 face image selection unit, 109 face image storage unit, 109a face image database, 110 recording media control unit, 111 face image detection unit, 201 state detection unit
Claims (10)
被写体の画像を撮像する撮像手段と、
撮像された前記画像から、前記被写体の所定の部位を含んでいる画像である部位画像を検出する第1の検出手段と、
検出された前記部位画像のうちの、撮像者による撮像対象の部位画像である対象部位画像に対応させて、撮像対象であることを示す第1のアイコンを前記画像に重畳させる重畳手段と、
前記第1のアイコンが重畳された前記画像の前記ディスプレイへの表示を制御する表示制御手段と
を備える撮像装置。 In an imaging device that displays an image of a captured subject on a display,
Imaging means for capturing an image of a subject;
First detection means for detecting a part image that is an image including a predetermined part of the subject from the imaged image;
A superimposing unit that superimposes a first icon indicating an imaging target on the image in correspondence with a target part image that is a part image to be imaged by the photographer among the detected part images;
An image pickup apparatus comprising: display control means for controlling display on the display of the image on which the first icon is superimposed.
請求項1に記載の撮像装置。 The imaging device according to claim 1, wherein the part image is an image of a face of the subject.
前記重畳手段は、選択された前記対象部位画像に対応させて、前記第1のアイコンを前記画像に重畳させる
請求項1に記載の撮像装置。 According to an instruction from the photographer, the image processing apparatus further includes a selection unit that selects the target part image from the detected part images.
The imaging apparatus according to claim 1, wherein the superimposing unit superimposes the first icon on the image in correspondence with the selected target part image.
請求項3に記載の撮像装置。 The imaging apparatus according to claim 3, further comprising storage control means for storing the selected target part image in a predetermined recording medium.
撮像された前記画像から検出された前記部位画像と、前記記録媒体から読み出された画像に含まれる前記対象部位画像とを照合する照合手段と
をさらに備え、
前記重畳手段は、照合の結果に基づいて、前記対象部位画像と一致する部位画像に対応させて、前記第1のアイコンを前記画像に重畳させる
請求項1に記載の撮像装置。 Reading means for reading an image including the target part image from a predetermined recording medium storing the target part image;
Collating means for collating the part image detected from the imaged image and the target part image included in the image read from the recording medium,
The imaging apparatus according to claim 1, wherein the superimposing unit superimposes the first icon on the image in correspondence with a part image that matches the target part image based on a result of collation.
請求項1に記載の撮像装置。 The imaging device according to claim 1, wherein the first icon is an image having a circular, square, or elliptical shape.
前記重畳手段は、検出された前記動きに基づいて、前記撮像対象の動作の状態を示す第2のアイコンを前記画像に重畳させる
請求項1に記載の撮像装置。 A second detecting means for detecting a movement of the imaging target;
The imaging apparatus according to claim 1, wherein the superimposing unit superimposes a second icon indicating an operation state of the imaging target on the image based on the detected movement.
請求項7記載の撮像装置。 The imaging apparatus according to claim 7, wherein the second icon is an image indicating a position where the imaging target exists.
請求項7に記載の撮像装置。 The imaging according to claim 7, wherein the second icon is an image indicating a predetermined operation method of a zoom button operated to display the image of the imaging target that is not displayed on the display on the display. apparatus.
被写体の画像を撮像し、
撮像された前記画像から、前記被写体の所定の部位を含んでいる画像である部位画像を検出し、
検出された前記部位画像のうちの、撮像者による撮像対象の部位画像である対象部位画像に対応させて、撮像対象であることを示す第1のアイコンを前記画像に重畳させ、
前記第1のアイコンが重畳された前記画像の前記ディスプレイへの表示を制御する
ステップを含む撮像方法。 In an imaging method of an imaging device that displays an image of a captured subject on a display,
Take an image of the subject,
From the captured image, a part image that is an image including a predetermined part of the subject is detected,
Corresponding to the target part image that is the part image to be imaged by the imager among the detected part images, a first icon indicating that the part is an imaging target is superimposed on the image,
An imaging method including a step of controlling display of the image on which the first icon is superimposed on the display.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2006275234A JP4849330B2 (en) | 2006-10-06 | 2006-10-06 | Display control apparatus and method, imaging apparatus, information processing apparatus and method, and program |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2006275234A JP4849330B2 (en) | 2006-10-06 | 2006-10-06 | Display control apparatus and method, imaging apparatus, information processing apparatus and method, and program |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2008098755A true JP2008098755A (en) | 2008-04-24 |
JP4849330B2 JP4849330B2 (en) | 2012-01-11 |
Family
ID=39381186
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2006275234A Expired - Fee Related JP4849330B2 (en) | 2006-10-06 | 2006-10-06 | Display control apparatus and method, imaging apparatus, information processing apparatus and method, and program |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP4849330B2 (en) |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2010021916A (en) * | 2008-07-14 | 2010-01-28 | Eastman Kodak Co | Image processing apparatus |
JP2012049903A (en) * | 2010-08-27 | 2012-03-08 | Olympus Imaging Corp | Display device |
JP2014168126A (en) * | 2013-02-28 | 2014-09-11 | Sony Corp | Image processor, image processing method and program |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2002314851A (en) * | 2001-04-10 | 2002-10-25 | Nikon Corp | Photographing apparatus |
JP2005102175A (en) * | 2003-08-25 | 2005-04-14 | Fuji Photo Film Co Ltd | Digital camera |
JP2006101111A (en) * | 2004-09-29 | 2006-04-13 | Casio Comput Co Ltd | Photographing apparatus and program |
JP2006101186A (en) * | 2004-09-29 | 2006-04-13 | Nikon Corp | Camera |
-
2006
- 2006-10-06 JP JP2006275234A patent/JP4849330B2/en not_active Expired - Fee Related
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2002314851A (en) * | 2001-04-10 | 2002-10-25 | Nikon Corp | Photographing apparatus |
JP2005102175A (en) * | 2003-08-25 | 2005-04-14 | Fuji Photo Film Co Ltd | Digital camera |
JP2006101111A (en) * | 2004-09-29 | 2006-04-13 | Casio Comput Co Ltd | Photographing apparatus and program |
JP2006101186A (en) * | 2004-09-29 | 2006-04-13 | Nikon Corp | Camera |
Cited By (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2010021916A (en) * | 2008-07-14 | 2010-01-28 | Eastman Kodak Co | Image processing apparatus |
US8325997B2 (en) | 2008-07-14 | 2012-12-04 | Eastman Kodak Company | Image processing device |
JP2012049903A (en) * | 2010-08-27 | 2012-03-08 | Olympus Imaging Corp | Display device |
JP2014168126A (en) * | 2013-02-28 | 2014-09-11 | Sony Corp | Image processor, image processing method and program |
CN105075237A (en) * | 2013-02-28 | 2015-11-18 | 索尼公司 | Image processing apparatus, image processing method, and program |
US9591364B2 (en) | 2013-02-28 | 2017-03-07 | Sony Corporation | Image processing apparatus, image processing method, and program |
CN105075237B (en) * | 2013-02-28 | 2018-07-24 | 索尼公司 | Image processing equipment, image processing method and program |
Also Published As
Publication number | Publication date |
---|---|
JP4849330B2 (en) | 2012-01-11 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
TWI554096B (en) | Video summary including a feature of interest | |
US9013604B2 (en) | Video summary including a particular person | |
JP4640456B2 (en) | Image recording apparatus, image recording method, image processing apparatus, image processing method, and program | |
JP5251215B2 (en) | Digital camera | |
JP5056061B2 (en) | Imaging device | |
JPWO2016016984A1 (en) | Imaging device and subject tracking method thereof | |
EP2543182A1 (en) | Imaging device for capturing self-portrait images | |
TW200808044A (en) | Imaging apparatus and computer readable recording medium | |
US20120098946A1 (en) | Image processing apparatus and methods of associating audio data with image data therein | |
JP7267686B2 (en) | Imaging device and its control method | |
JP2014050022A (en) | Image processing device, imaging device, and program | |
JP2019186791A (en) | Imaging apparatus, control method of the imaging apparatus, and control program | |
JP4849330B2 (en) | Display control apparatus and method, imaging apparatus, information processing apparatus and method, and program | |
JP5448868B2 (en) | IMAGING DEVICE AND IMAGING DEVICE CONTROL METHOD | |
JP2007258953A (en) | Automatic photography system and instrument | |
JP4632417B2 (en) | Imaging apparatus and control method thereof | |
JP2010187145A (en) | Image processing apparatus and method, and program | |
JP7342883B2 (en) | Imaging control device, imaging device, imaging control method | |
JP2009124210A (en) | Image pickup apparatus, image pickup method, image searching apparatus and image searching method | |
JP4899982B2 (en) | Imaging apparatus, captured image recording method, and program | |
JP2011166391A (en) | Imaging apparatus | |
JP2012029119A (en) | Display control device, camera and display device | |
JP5659856B2 (en) | Imaging apparatus, imaging method, and program | |
WO2020066316A1 (en) | Photographing apparatus, photographing method, and program | |
JP2011061857A (en) | Image processing apparatus, image processing method, program, and imaging apparatus |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20090914 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20110331 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20110426 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20110624 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20110719 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20110905 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20110922 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20111005 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 4849330 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20141028 Year of fee payment: 3 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
LAPS | Cancellation because of no payment of annual fees |