JP2010187145A - Image processing apparatus and method, and program - Google Patents

Image processing apparatus and method, and program Download PDF

Info

Publication number
JP2010187145A
JP2010187145A JP2009029225A JP2009029225A JP2010187145A JP 2010187145 A JP2010187145 A JP 2010187145A JP 2009029225 A JP2009029225 A JP 2009029225A JP 2009029225 A JP2009029225 A JP 2009029225A JP 2010187145 A JP2010187145 A JP 2010187145A
Authority
JP
Japan
Prior art keywords
selection operation
image
face
selection
unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2009029225A
Other languages
Japanese (ja)
Other versions
JP5272773B2 (en
Inventor
Kenichi Nakanishi
健一 中西
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Priority to JP2009029225A priority Critical patent/JP5272773B2/en
Publication of JP2010187145A publication Critical patent/JP2010187145A/en
Application granted granted Critical
Publication of JP5272773B2 publication Critical patent/JP5272773B2/en
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Studio Devices (AREA)

Abstract

<P>PROBLEM TO BE SOLVED: To facilitate selecting a desired object from among a plurality of objects included in an image. <P>SOLUTION: A face detection unit 210 detects a plurality of faces included in a picked-up image generated by an imaging unit 200. A selection operation contents decision unit 240 determines selection operation contents for setting one face as a reference face of the plurality of faces detected by the face detection unit 210 and selecting the other faces except the reference face, for each of the other faces except the reference face. As the selection operation contents, for example, an operation direction and an operation amount of a ring type operating member are determined. A display control unit 260 attaches a selection operation support image representing the determined selection operation contents around each face and displays the selection operation support image together with the picked-up image. A reference object selection unit 280 specifies a face corresponding to an operation input of the ring type operating member accepted by a selection operation accepting unit 300 on the basis of the determined selection operation contents, and selects the determined face as a new reference face. <P>COPYRIGHT: (C)2010,JPO&INPIT

Description

本発明は、画像処理装置に関し、特に、画像の表示制御を行う画像処理装置および画像処理方法ならびに当該方法をコンピュータに実行させるプログラムに関する。   The present invention relates to an image processing apparatus, and more particularly, to an image processing apparatus and an image processing method that perform image display control, and a program that causes a computer to execute the method.

近年、人物等の被写体が撮像された画像を記録するデジタルスチルカメラ、デジタルビデオカメラ等の撮像装置が普及している。また、このように撮像された画像に含まれる人物の顔を検出し、この検出された顔について各種画像処理を行う画像処理装置が提案されている。   In recent years, imaging devices such as a digital still camera and a digital video camera that record an image of a subject such as a person are widely used. In addition, there has been proposed an image processing apparatus that detects a human face included in an image captured in this manner and performs various image processing on the detected face.

例えば、画像に含まれる人物の顔を検出し、この検出された顔に関する情報に基づいてオートフォーカスの対象となるエリアを画像上の顔に設定し、この画像上の顔に適切にフォーカスを合わせる撮像装置が提案されている。また、例えば、その検出された顔を美しく記録するための最適な撮像パラメータを設定し、各種画像処理を行う撮像装置が提案されている。なお、画像に複数の顔が含まれる場合には、例えば、画像に含まれる複数の顔のうちの少なくとも１つの顔を基準顔とし、この基準顔に基づいて画像処理を行うことが考えられる。この基準顔は、例えば、画像における位置に基づいて設定することが考えられる。例えば、画像に含まれる複数の顔のうち、その画像における中心位置に最も近い顔を基準顔とすることができる。   For example, a person's face included in the image is detected, an area to be auto-focused is set as a face on the image based on information on the detected face, and the face on the image is appropriately focused. An imaging device has been proposed. In addition, for example, an imaging apparatus has been proposed in which optimal imaging parameters for recording the detected face beautifully are set and various image processes are performed. When a plurality of faces are included in the image, for example, it is conceivable that at least one of the plurality of faces included in the image is set as a reference face and image processing is performed based on the reference face. For example, the reference face may be set based on the position in the image. For example, a face closest to the center position in the image among a plurality of faces included in the image can be set as the reference face.

しかしながら、例えば、画像における位置とは無関係に、ユーザが所望する顔を基準顔としたい場合も想定される。そこで、例えば、画像処理装置により選択された基準顔とは別にユーザ操作により基準顔を選択することが考えられる。例えば、タッチパネル上に表示される複数の顔に顔位置マーカを付すとともに、これらの複数の顔の中から、タッチパネルへの押下操作や十字キーの押下操作等により、ユーザが所望する顔を選択する画像処理装置が提案されている（例えば、特許文献１参照。）。この画像処理装置では、例えば、ユーザにより選択された顔に付される顔位置マーカを他の顔位置マーカとは異なる表示態様とするとともに、その選択された顔の位置に検波枠を設け、その顔に合焦するようにフォーカス制御を行う。   However, for example, a case where a user's desired face is desired to be the reference face regardless of the position in the image is also assumed. Therefore, for example, it is conceivable to select a reference face by a user operation separately from the reference face selected by the image processing apparatus. For example, face position markers are attached to a plurality of faces displayed on the touch panel, and a user's desired face is selected from the plurality of faces by pressing the touch panel or pressing a cross key. An image processing apparatus has been proposed (see, for example, Patent Document 1). In this image processing apparatus, for example, the face position marker attached to the face selected by the user is displayed differently from the other face position markers, and a detection frame is provided at the position of the selected face. Focus control is performed to focus on the face.

特開２００８−１３１４０５号公報（図１５）Japanese Patent Laying-Open No. 2008-131405 (FIG. 15)

上述の従来技術によれば、タッチパネル上に表示される複数の顔の中から、タッチパネルへの押下操作や十字キーの押下操作等により、ユーザが所望する顔を選択することができる。   According to the above-described conventional technology, the user can select a desired face from among a plurality of faces displayed on the touch panel by a pressing operation on the touch panel, a pressing operation on the cross key, or the like.

しかしながら、例えば、両手で撮像装置を持ちながら撮影を行っている状態では、タッチパネル上に表示される複数の顔の中からタッチパネルへの押下操作により所望の顔を選択すると、その撮影姿勢が崩れてしまうおそれがある。また、例えば、画像から３人以上の顔が検出されている場合において、十字キーの押下操作により所望の顔を選択する場合には、所望の顔を選択するまでに十字キーの押下操作を複数回行う必要がある場合も想定される。このため、例えば、撮影中に十字キーの押下操作により所望の顔を選択する場合には、その押下操作により、撮影タイミングを逃してしまうおそれがある。このように画像に複数の対象物が含まれる場合において、これらの複数の対象物から所望の対象物を選択する場合には、各態様において、容易に選択することが重要となる。   However, for example, in the state of shooting while holding the imaging device with both hands, if a desired face is selected from among a plurality of faces displayed on the touch panel by pressing the touch panel, the shooting posture is lost. There is a risk that. In addition, for example, when three or more faces are detected from an image, when a desired face is selected by pressing the cross key, a plurality of cross key pressing operations are performed until the desired face is selected. It is also assumed that it is necessary to do this once. For this reason, for example, when a desired face is selected by pressing the cross key during shooting, the shooting timing may be missed by the pressing operation. As described above, when a plurality of objects are included in the image, when selecting a desired object from the plurality of objects, it is important to easily select in each aspect.

本発明はこのような状況に鑑みてなされたものであり、画像に含まれる複数の対象物から所望の対象物を容易に選択することを目的とする。   The present invention has been made in view of such a situation, and an object thereof is to easily select a desired object from a plurality of objects included in an image.

本発明は、上記課題を解決するためになされたものであり、その第１の側面は、画像に含まれる複数の対象物を検出する対象物検出部と、上記検出された各対象物を選択するための選択操作内容を上記対象物毎に決定する選択操作内容決定部と、上記決定された選択操作内容を上記対象物毎に関連付けて表示させる表示制御部とを具備する画像処理装置および画像処理方法ならびに当該方法をコンピュータに実行させるプログラムである。これにより、画像に含まれる複数の対象物を検出し、この検出された各対象物を選択するための選択操作内容を対象物毎に決定し、この決定された選択操作内容を対象物毎に関連付けて表示させるという作用をもたらす。   The present invention has been made to solve the above problems, and a first aspect of the present invention is to select an object detection unit that detects a plurality of objects included in an image and each of the detected objects. Image processing apparatus and image comprising: a selection operation content determination unit that determines a selection operation content for each object, and a display control unit that displays the determined selection operation content in association with each object A processing method and a program for causing a computer to execute the method. Thereby, a plurality of objects included in the image are detected, the selection operation content for selecting each detected object is determined for each object, and the determined selection operation content is determined for each object. It brings about the effect of displaying in association.

また、この第１の側面において、上記選択操作内容決定部は、上記複数の対象物のうちの少なくとも１つの対象物を基準対象物とし、上記複数の対象物のうちの上記基準対象物以外の他の対象物を選択するための上記選択操作内容を上記他の対象物毎に決定し、上記表示制御部は、上記決定された選択操作内容を上記他の対象物毎に関連付けて表示させるようにしてもよい。これにより、複数の対象物のうちの基準対象物以外の他の対象物を選択するための選択操作内容を他の対象物毎に決定し、この決定された選択操作内容を他の対象物毎に関連付けて表示させるという作用をもたらす。   Further, in the first aspect, the selection operation content determination unit uses at least one object among the plurality of objects as a reference object, and other than the reference object among the plurality of objects. The selection operation content for selecting another object is determined for each of the other objects, and the display control unit displays the determined selection operation content in association with each of the other objects. It may be. Thereby, the selection operation content for selecting other objects other than the reference object among the plurality of objects is determined for each other object, and the determined selection operation content is determined for each other object. This brings about the effect of displaying in association with the.

また、この第１の側面において、複数の操作位置を検出することが可能な操作部材による操作入力を受け付ける操作受付部と、上記受け付けられた操作入力に対応する上記他の対象物を上記決定された選択操作内容に基づいて特定して当該特定された他の対象物を新たな基準対象物として選択する基準対象物選択部とをさらに具備するようにしてもよい。これにより、受け付けられた操作入力に対応する他の対象物を、決定された選択操作内容に基づいて特定し、この特定された他の対象物を新たな基準対象物として選択するという作用をもたらす。   In the first aspect, the operation receiving unit that receives an operation input by an operation member capable of detecting a plurality of operation positions and the other object corresponding to the received operation input are determined. A reference object selecting unit that specifies the selected other object as a new reference object may be further included based on the selected operation content. Thereby, the other object corresponding to the accepted operation input is specified based on the determined selection operation content, and the specified other object is selected as a new reference object. .

また、この第１の側面において、上記操作受付部は、上記操作部材による操作入力と、少なくとも１つの操作位置を検出することが可能な他の操作部材による操作入力とを受け付け、上記選択操作内容決定部は、上記操作部材および上記他の操作部材の組合せにより上記新たな基準対象物を選択するための選択操作内容を上記他の対象物毎に決定するようにしてもよい。これにより、操作部材および他の操作部材の組合せにより新たな基準対象物を選択するための選択操作内容を他の対象物毎に決定するという作用をもたらす。   In this first aspect, the operation accepting unit accepts an operation input by the operation member and an operation input by another operation member capable of detecting at least one operation position. The determination unit may determine the selection operation content for selecting the new reference object by the combination of the operation member and the other operation member for each of the other objects. This brings about the effect | action that the selection operation content for selecting a new reference | standard object is determined for every other object by the combination of an operation member and another operation member.

また、この第１の側面において、上記選択操作内容決定部は、上記操作部材の操作方向および操作量と、上記他の操作部材の操作の要否とを上記他の対象物毎に上記選択操作内容として決定し、上記表示制御部は、上記決定された選択操作内容を表す選択操作支援画像を上記他の対象物毎に関連付けて表示させるようにしてもよい。これにより、操作部材の操作方向および操作量と、他の操作部材の操作の要否とを他の対象物毎に決定し、この決定された選択操作内容を表す選択操作支援画像を他の対象物毎に関連付けて表示させるという作用をもたらす。   In the first aspect, the selection operation content determination unit determines the operation direction and operation amount of the operation member and the necessity of operation of the other operation member for each of the other objects. The content may be determined, and the display control unit may display a selection operation support image representing the determined selection operation content in association with each of the other objects. Thus, the operation direction and operation amount of the operation member and the necessity of operation of the other operation member are determined for each other object, and the selection operation support image representing the determined selection operation content is determined for the other object. It brings about the effect of displaying in association with each item.

また、この第１の側面において、上記操作部材は、上記画像を表示する表示面における接触操作を検出するタッチパネルであり、上記選択操作内容決定部は、上記選択操作内容として上記表示面における基準位置からの操作方向および操作量を上記他の対象物毎に決定し、上記基準対象物選択部は、上記画像が表示されている状態で上記タッチパネルにおける最初の接触操作が検出された位置を上記基準位置として当該基準位置からの連続した接触操作の方向および移動量に基づいて上記新たな基準対象物を選択するようにしてもよい。これにより、表示面における基準位置からの操作方向および操作量を他の対象物毎に決定し、画像が表示されている状態でタッチパネルにおける最初の接触操作が検出された基準位置からの連続した接触操作の方向および移動量に基づいて新たな基準対象物を選択するという作用をもたらす。   In the first aspect, the operation member is a touch panel that detects a contact operation on a display surface that displays the image, and the selection operation content determination unit includes a reference position on the display surface as the selection operation content. The operation direction and the operation amount from each of the other objects are determined, and the reference object selection unit determines the position where the first contact operation on the touch panel is detected in the state where the image is displayed as the reference. The new reference object may be selected as the position based on the direction and movement amount of the continuous contact operation from the reference position. Thereby, the operation direction and the operation amount from the reference position on the display surface are determined for each other object, and continuous contact from the reference position where the first contact operation on the touch panel is detected in the state where the image is displayed. This brings about the effect of selecting a new reference object based on the direction of operation and the amount of movement.

また、この第１の側面において、被写体を撮像して画像を生成する撮像部と、上記選択された基準対象物に基づいて撮像制御を行う撮像制御部とをさらに具備するようにしてもよい。これにより、選択された基準対象物に基づいて撮像制御を行うという作用をもたらす。   The first aspect may further include an imaging unit that captures an image of a subject and generates an image, and an imaging control unit that performs imaging control based on the selected reference object. This brings about the effect | action of performing imaging control based on the selected reference | standard object.

また、この第１の側面において、上記選択された基準対象物に基づいて上記画像に関する出力制御を行う出力制御部をさらに具備するようにしてもよい。これにより、選択された基準対象物に基づいて画像に関する出力制御を行うという作用をもたらす。   In the first aspect, an output control unit that performs output control on the image based on the selected reference object may be further included. This brings about the effect | action of performing output control regarding an image based on the selected reference | standard object.

また、この第１の側面において、上記選択操作内容決定部は、上記選択操作内容として上記操作部材の操作方向および操作量を上記他の対象物毎に決定し、上記表示制御部は、上記決定された選択操作内容を表す選択操作支援画像を上記他の対象物毎に関連付けて表示させるようにしてもよい。これにより、操作部材の操作方向および操作量を他の対象物毎に決定し、この決定された選択操作内容を表す選択操作支援画像を他の対象物毎に関連付けて表示させるという作用をもたらす。   In the first aspect, the selection operation content determination unit determines an operation direction and an operation amount of the operation member as the selection operation content for each of the other objects, and the display control unit determines the determination operation. The selection operation support image representing the selected selection operation content may be displayed in association with each of the other objects. Thereby, the operation direction and the operation amount of the operation member are determined for each other object, and the selection operation support image representing the determined selection operation content is displayed in association with each other object.

また、この第１の側面において、上記選択操作内容決定部は、上記画像における上記基準対象物と上記他の対象物との位置関係に基づいて当該他の対象物の上記選択操作内容を決定するようにしてもよい。これにより、画像における基準対象物と他の対象物との位置関係に基づいて、他の対象物の選択操作内容を決定するという作用をもたらす。   In the first aspect, the selection operation content determination unit determines the selection operation content of the other object based on a positional relationship between the reference object and the other object in the image. You may do it. This brings about the effect | action that the selection operation content of another target object is determined based on the positional relationship of the reference | standard target object and other target object in an image.

また、この第１の側面において、上記表示制御部は、上記画像において上記基準対象物にはその旨および上記決定された選択操作内容を表す選択操作支援画像を関連付けて表示させるとともに上記他の対象物には選択対象である旨および上記決定された選択操作内容を表す選択操作支援画像を関連付けて表示させるようにしてもよい。これにより、画像において、基準対象物にはその旨および決定された選択操作内容を表す選択操作支援画像を関連付けて表示させるとともに、他の対象物には選択対象である旨および決定された選択操作内容を表す選択操作支援画像を関連付けて表示させるという作用をもたらす。   Further, in the first aspect, the display control unit causes the reference target object in the image to be displayed in association with a selection operation support image representing that fact and the determined selection operation content, and the other target. The object may be displayed in association with a selection operation support image representing the selection object and the determined selection operation content. Thus, in the image, the reference object is displayed in association with the selection operation support image representing the fact and the determined selection operation content, and the other selection object is selected and the selected selection operation is displayed. This brings about the effect that the selection operation support image representing the contents is displayed in association with each other.

また、この第１の側面において、上記表示制御部は、上記決定された選択操作内容を表す選択操作支援画像を上記画像における上記対象物の位置を示す標識として上記対象物毎に関連付けて表示させるようにしてもよい。これにより、決定された選択操作内容を表す選択操作支援画像を、画像における対象物の位置を示す標識として対象物毎に関連付けて表示させるという作用をもたらす。   In the first aspect, the display control unit displays a selection operation support image representing the determined selection operation content in association with each object as a marker indicating the position of the object in the image. You may do it. This brings about the effect | action that the selection operation assistance image showing the selected selection operation content is displayed in association with each object as a marker indicating the position of the object in the image.

また、この第１の側面において、上記表示制御部は、上記検出された対象物を含む対象物画像と当該対象物について決定された上記選択操作内容とを関連付けて上記画像の表示領域とは異なる表示領域に表示させるようにしてもよい。これにより、検出された対象物を含む対象物画像と、その対象物について決定された選択操作内容とを関連付けて、画像の表示領域とは異なる表示領域に表示させるという作用をもたらす。   In the first aspect, the display control unit associates the object image including the detected object with the selection operation content determined for the object, and is different from the display area of the image. You may make it display on a display area. This brings about the effect that the object image including the detected object is associated with the selection operation content determined for the object and displayed in a display area different from the image display area.

また、この第１の側面において、上記検出された対象物が特定対象物であるか否かを識別する識別部をさらに具備し、上記選択操作内容決定部は、上記検出された複数の対象物のうち上記特定対象物であると識別された対象物について上記選択操作内容を決定し、上記表示制御部は、上記決定された選択操作内容を上記特定対象物であると識別された対象物毎に関連付けて表示させるようにしてもよい。これにより、検出された対象物が特定対象物であるか否かを識別し、特定対象物であると識別された対象物について選択操作内容を決定し、この決定された選択操作内容を特定対象物であると識別された対象物毎に関連付けて表示させるという作用をもたらす。   In the first aspect, the information processing apparatus further includes an identification unit that identifies whether the detected object is a specific object, and the selection operation content determination unit includes the plurality of detected objects. The selection operation content is determined for an object identified as the specific object, and the display control unit determines the determined selection operation content for each object identified as the specific object. You may make it display in relation to. Thereby, it is identified whether or not the detected object is a specific object, the selection operation content is determined for the object identified as the specific object, and the determined selection operation content is determined as the specific object. This brings about the effect that the objects identified as objects are displayed in association with each other.

また、この第１の側面において、上記特定対象物を表す特定対象物画像を上記特定対象物毎に記憶する特定対象物画像記憶部をさらに具備し、上記表示制御部は、上記特定対象物であると識別された対象物に対応する上記特定対象物画像と当該対象物について決定された上記選択操作内容とを関連付けて上記画像の表示領域とは異なる表示領域に表示させるようにしてもよい。これにより、特定対象物であると識別された対象物に対応する特定対象物画像と、その対象物について決定された選択操作内容とを関連付けて、画像の表示領域とは異なる表示領域に表示させるという作用をもたらす。   The first aspect further includes a specific object image storage unit that stores a specific object image representing the specific object for each specific object, and the display control unit includes the specific object. The specific object image corresponding to the object identified as being present may be associated with the selection operation content determined for the object and displayed in a display area different from the display area of the image. Thereby, the specific object image corresponding to the object identified as the specific object is associated with the selection operation content determined for the object and displayed in a display area different from the display area of the image. This brings about the effect.

また、本発明の第２の側面は、画像に含まれる複数の対象物のそれぞれを選択するための選択操作内容を上記対象物毎に決定する選択操作内容決定部と、上記決定された選択操作内容を上記対象物毎に関連付けて表示させる表示制御部とを具備する画像処理装置および画像処理方法ならびに当該方法をコンピュータに実行させるプログラムである。これにより、画像に含まれる複数の対象物のそれぞれを選択するための選択操作内容を対象物毎に決定し、この決定された選択操作内容を対象物毎に関連付けて表示させるという作用をもたらす。   According to a second aspect of the present invention, there is provided a selection operation content determination unit that determines, for each object, a selection operation content for selecting each of the plurality of objects included in the image, and the determined selection operation. An image processing apparatus, an image processing method, and a program for causing a computer to execute the method include a display control unit that displays contents in association with each object. Thereby, the selection operation content for selecting each of the plurality of objects included in the image is determined for each object, and the determined selection operation content is displayed in association with each object.

本発明によれば、画像に含まれる複数の対象物から所望の対象物を容易に選択することができるという優れた効果を奏し得る。   According to the present invention, it is possible to achieve an excellent effect that a desired object can be easily selected from a plurality of objects included in an image.

本発明の第１の実施の形態における撮像装置１００の内部構成例を示すブロック図である。1 is a block diagram illustrating an internal configuration example of an imaging apparatus 100 according to a first embodiment of the present invention. 本発明の第１の実施の形態における撮像装置１００の外観を示す図である。It is a figure which shows the external appearance of the imaging device 100 in the 1st Embodiment of this invention. 本発明の第１の実施の形態における撮像装置１００を用いて撮影を行う場合における撮影者の撮影姿勢の一例を示す図である。It is a figure which shows an example of the imaging | photography attitude | position of a photographer in the case of imaging | photography using the imaging device 100 in the 1st Embodiment of this invention. 本発明の第１の実施の形態における撮像装置１００の機能構成例を示すブロック図である。It is a block diagram which shows the function structural example of the imaging device 100 in the 1st Embodiment of this invention. 本発明の第１の実施の形態における特定人物情報記憶部２３０に記憶されている各情報を模式的に示す図である。It is a figure which shows typically each information memorize | stored in the specific person information storage part 230 in the 1st Embodiment of this invention. 本発明の第１の実施の形態における選択操作支援画像保持部２５０に保持されている内容を概略的に示す図である。It is a figure which shows schematically the content currently hold | maintained at the selection operation assistance image holding | maintenance part 250 in the 1st Embodiment of this invention. 本発明の第１の実施の形態における撮像装置１００の外観と、リング型操作部材１４３の操作領域とを示す図である。FIG. 2 is a diagram illustrating an appearance of the imaging apparatus according to the first embodiment of the present invention and an operation area of a ring-type operation member 143. 本発明の第１の実施の形態におけるリング型操作部材１４３の操作範囲と、選択操作支援画像保持部２５０に保持されている選択操作支援画像２５５乃至２５９との関係を示す図である。6 is a diagram showing a relationship between an operation range of a ring-type operation member 143 and selection operation support images 255 to 259 held in a selection operation support image holding unit 250 according to the first embodiment of the present invention. FIG. 本発明の第１の実施の形態における表示部２６１に表示される撮像画像の一例を示す図である。It is a figure which shows an example of the captured image displayed on the display part 261 in the 1st Embodiment of this invention. 本発明の第１の実施の形態における選択操作内容決定部２４０により決定される選択操作内容を模式的に示す図である。It is a figure which shows typically the selection operation content determined by the selection operation content determination part 240 in the 1st Embodiment of this invention. 本発明の第１の実施の形態における選択操作内容決定部２４０により決定された選択操作内容を表す選択操作支援画像が撮像画像に重畳された場合における表示例を示す図である。It is a figure which shows the example of a display in case the selection operation assistance image showing the selection operation content determined by the selection operation content determination part 240 in the 1st Embodiment of this invention is superimposed on the captured image. 本発明の第１の実施の形態における表示部２６１に表示される撮像画像の表示例と、リング型操作部材１４３との関係を示す図である。It is a figure which shows the relationship between the example of a captured image displayed on the display part 261 in the 1st Embodiment of this invention, and the ring type operation member 143. FIG. 本発明の第１の実施の形態における選択操作内容決定部２４０により決定された選択操作内容を表す選択操作支援画像の表示例を示す図である。It is a figure which shows the example of a display of the selection operation assistance image showing the selection operation content determined by the selection operation content determination part 240 in the 1st Embodiment of this invention. 本発明の第１の実施の形態における選択操作内容決定部２４０により決定された選択操作内容を表す選択操作支援画像の表示例を示す図である。It is a figure which shows the example of a display of the selection operation assistance image showing the selection operation content determined by the selection operation content determination part 240 in the 1st Embodiment of this invention. 本発明の第１の実施の形態における選択操作内容決定部２４０により決定された選択操作内容を表す選択操作支援画像の表示例を示す図である。It is a figure which shows the example of a display of the selection operation assistance image showing the selection operation content determined by the selection operation content determination part 240 in the 1st Embodiment of this invention. 本発明の第１の実施の形態における選択操作内容決定部２４０により決定された選択操作内容を表す選択操作支援画像の表示例を示す図である。It is a figure which shows the example of a display of the selection operation assistance image showing the selection operation content determined by the selection operation content determination part 240 in the 1st Embodiment of this invention. 本発明の第１の実施の形態における選択操作内容決定部２４０により決定された選択操作内容を表す選択操作支援画像の表示例を示す図である。It is a figure which shows the example of a display of the selection operation assistance image showing the selection operation content determined by the selection operation content determination part 240 in the 1st Embodiment of this invention. 本発明の第１の実施の形態における選択操作内容決定部２４０により決定された選択操作内容を表す選択操作支援画像の表示例を示す図である。It is a figure which shows the example of a display of the selection operation assistance image showing the selection operation content determined by the selection operation content determination part 240 in the 1st Embodiment of this invention. 本発明の第１の実施の形態における選択操作内容決定部２４０により決定された選択操作内容を表す選択操作支援画像の表示例を示す図である。It is a figure which shows the example of a display of the selection operation assistance image showing the selection operation content determined by the selection operation content determination part 240 in the 1st Embodiment of this invention. 本発明の第１の実施の形態における選択操作内容決定部２４０により決定された選択操作内容を表す選択操作支援画像の表示例を示す図である。It is a figure which shows the example of a display of the selection operation assistance image showing the selection operation content determined by the selection operation content determination part 240 in the 1st Embodiment of this invention. 本発明の第１の実施の形態における選択操作内容決定部２４０により決定された選択操作内容を表す選択操作支援画像の表示例を示す図である。It is a figure which shows the example of a display of the selection operation assistance image showing the selection operation content determined by the selection operation content determination part 240 in the 1st Embodiment of this invention. 本発明の第１の実施の形態における選択操作内容決定部２４０により決定された選択操作内容を表す選択操作支援画像の表示例を示す図である。It is a figure which shows the example of a display of the selection operation assistance image showing the selection operation content determined by the selection operation content determination part 240 in the 1st Embodiment of this invention. 本発明の第１の実施の形態における選択操作内容決定部２４０により決定された選択操作内容を表す選択操作支援画像の表示例を示す図である。It is a figure which shows the example of a display of the selection operation assistance image showing the selection operation content determined by the selection operation content determination part 240 in the 1st Embodiment of this invention. 本発明の第１の実施の形態における選択操作内容決定部２４０により決定された選択操作内容を表す選択操作支援画像の表示例を示す図である。It is a figure which shows the example of a display of the selection operation assistance image showing the selection operation content determined by the selection operation content determination part 240 in the 1st Embodiment of this invention. 本発明の第１の実施の形態における選択操作内容決定部２４０により決定された選択操作内容を表す選択操作支援画像の表示例を示す図である。It is a figure which shows the example of a display of the selection operation assistance image showing the selection operation content determined by the selection operation content determination part 240 in the 1st Embodiment of this invention. 本発明の第１の実施の形態における選択操作内容決定部２４０により決定された選択操作内容を表す選択操作支援画像の表示例を示す図である。It is a figure which shows the example of a display of the selection operation assistance image showing the selection operation content determined by the selection operation content determination part 240 in the 1st Embodiment of this invention. 本発明の第１の実施の形態における選択操作内容決定部２４０により決定された選択操作内容を表す選択操作支援画像の表示例を示す図である。It is a figure which shows the example of a display of the selection operation assistance image showing the selection operation content determined by the selection operation content determination part 240 in the 1st Embodiment of this invention. 本発明の第１の実施の形態における選択操作内容決定部２４０により決定された選択操作内容を表す選択操作支援画像の表示例を示す図である。It is a figure which shows the example of a display of the selection operation assistance image showing the selection operation content determined by the selection operation content determination part 240 in the 1st Embodiment of this invention. 本発明の第１の実施の形態における選択操作内容決定部２４０により決定された選択操作内容を表す選択操作支援画像の表示例を示す図である。It is a figure which shows the example of a display of the selection operation assistance image showing the selection operation content determined by the selection operation content determination part 240 in the 1st Embodiment of this invention. 本発明の第１の実施の形態における撮像装置１００を用いて撮影を行う場合における撮影者の撮影姿勢の一例と、その撮影時における選択操作支援画像の表示例を示す図である。FIG. 3 is a diagram illustrating an example of a shooting posture of a photographer when shooting is performed using the imaging apparatus according to the first embodiment of the present invention, and a display example of a selection operation support image at the time of shooting. 本発明の第１の実施の形態における選択操作内容決定部２４０により決定された選択操作内容を表す選択操作支援画像の表示例を示す図である。It is a figure which shows the example of a display of the selection operation assistance image showing the selection operation content determined by the selection operation content determination part 240 in the 1st Embodiment of this invention. 本発明の第１の実施の形態における選択操作内容決定部２４０により決定された選択操作内容を表す選択操作支援画像の表示例を示す図である。It is a figure which shows the example of a display of the selection operation assistance image showing the selection operation content determined by the selection operation content determination part 240 in the 1st Embodiment of this invention. 本発明の実施の形態における撮像装置１００による撮像画像記録処理の処理手順を示すフローチャートである。It is a flowchart which shows the process sequence of the captured image recording process by the imaging device 100 in embodiment of this invention. 本発明の第１の実施の形態における基準対象物の選択操作を行う際に用いることが可能な操作部材を備える撮像装置の例を示す図である。It is a figure which shows the example of an imaging device provided with the operation member which can be used when performing selection operation of the reference | standard object in the 1st Embodiment of this invention. 本発明の第１の実施の形態における基準対象物の選択操作を行う際に用いることが可能な操作部材を備える撮像装置の例を示す図である。It is a figure which shows the example of an imaging device provided with the operation member which can be used when performing selection operation of the reference | standard object in the 1st Embodiment of this invention. 本発明の第１の実施の形態における基準対象物の選択操作を行うための選択操作内容を表す選択操作支援画像の例を示す図である。It is a figure which shows the example of the selection operation assistance image showing the selection operation content for performing selection operation of the reference | standard object in the 1st Embodiment of this invention. 本発明の第１の実施の形態における基準対象物の選択操作を行うための選択操作内容を表す選択操作支援画像の例を示す図である。It is a figure which shows the example of the selection operation assistance image showing the selection operation content for performing selection operation of the reference | standard object in the 1st Embodiment of this invention. 本発明の第２の実施の形態における撮像装置７００の外観を示す図である。It is a figure which shows the external appearance of the imaging device 700 in the 2nd Embodiment of this invention. 本発明の第２の実施の形態における撮像装置７００の機能構成例を示すブロック図である。It is a block diagram which shows the function structural example of the imaging device 700 in the 2nd Embodiment of this invention. 本発明の第２の実施の形態における選択操作支援画像保持部７２０に保持されている内容を概略的に示す図である。It is a figure which shows schematically the content currently hold | maintained at the selection operation assistance image holding | maintenance part 720 in the 2nd Embodiment of this invention. 本発明の第２の実施の形態における選択操作内容決定部７１１により決定された選択操作内容を表す選択操作支援画像の表示例を示す図である。It is a figure which shows the example of a display of the selection operation assistance image showing the selection operation content determined by the selection operation content determination part 711 in the 2nd Embodiment of this invention. 本発明の第２の実施の形態における選択操作内容決定部７１１により決定された選択操作内容を表す選択操作支援画像の表示例を示す図である。It is a figure which shows the example of a display of the selection operation assistance image showing the selection operation content determined by the selection operation content determination part 711 in the 2nd Embodiment of this invention. 本発明の第３の実施の形態における印刷装置８００の機能構成例を示すブロック図である。It is a block diagram which shows the function structural example of the printing apparatus 800 in the 3rd Embodiment of this invention. 本発明の第３の実施の形態における印刷装置８００の外観および印刷装置８００のタッチパネル８１１に表示される画像を示す図である。It is a figure which shows the image displayed on the touchscreen 811 of the external appearance of the printing apparatus 800 and the printing apparatus 800 in the 3rd Embodiment of this invention. 本発明の第３の実施の形態における印刷装置８２０の外観を示す図である。It is a figure which shows the external appearance of the printing apparatus 820 in the 3rd Embodiment of this invention. 本発明の第４の実施の形態における再生装置８５０の機能構成例を示すブロック図である。It is a block diagram which shows the function structural example of the reproducing | regenerating apparatus 850 in the 4th Embodiment of this invention. 本発明の第４の実施の形態における再生装置８５０の外観を示す図である。It is a figure which shows the external appearance of the reproducing | regenerating apparatus 850 in the 4th Embodiment of this invention. 本発明の第４の実施の形態における再生装置８５０の外観を示す図である。It is a figure which shows the external appearance of the reproducing | regenerating apparatus 850 in the 4th Embodiment of this invention.

以下、本発明を実施するための形態（以下、実施の形態と称する）について説明する。説明は以下の順序により行う。
１．第１の実施の形態（画像表示制御：画像に含まれる顔に関連付けて選択操作支援画像を表示させる例）
２．第２の実施の形態（画像表示制御：補助操作部材を利用して選択操作支援画像が関連付けられた顔を選択する例）
３．第３の実施の形態（画像表示制御：印刷装置において選択操作支援画像を表示させて所望の顔を選択する例）
４．第４の実施の形態（画像表示制御：再生装置において選択操作支援画像を表示させて所望の顔を選択する例） Hereinafter, modes for carrying out the present invention (hereinafter referred to as embodiments) will be described. The description will be made in the following order.
1. First embodiment (image display control: an example in which a selection operation support image is displayed in association with a face included in an image)
2. Second Embodiment (Image display control: an example of selecting a face associated with a selection operation support image using an auxiliary operation member)
3. Third embodiment (image display control: an example of selecting a desired face by displaying a selection operation support image in a printing apparatus)
4). Fourth embodiment (image display control: an example of selecting a desired face by displaying a selection operation support image on a playback device)

＜１．第１の実施の形態＞
［撮像装置の内部構成例］
図１は、本発明の第１の実施の形態における撮像装置１００の内部構成例を示すブロック図である。撮像装置１００は、光学ブロック１１１と、レンズアイリスドライバ１１２と、ＣＣＤ（Charge Coupled Devices）１１３と、タイミング生成回路１１４と、ＣＣＤドライバ１１５と、前処理回路１１６とを備える。また、撮像装置１００は、ＤＳＰ（Digital Signal Processor）１１７と、ＳＤＲＡＭ（Synchronous Dynamic Random Access Memory）１１８とを備える。また、撮像装置１００は、ＣＰＵ（Central Processing Unit）１１９と、ＲＡＭ（Random Access Memory）１２０と、フラッシュＲＯＭ（Read Only Memory）１２１とを備える。また、撮像装置１００は、表示コントローラ１２２と、操作部１２３と、ドライブコントローラ１２４と、記録メディアインターフェース１２６と、バス１２８と、液晶モニタ１３０と、ファインダ１３５とを備える。また、撮像装置１００には、例えば、リムーバブルメディア１２５および記録メディア１２７の２つの記録媒体がそれぞれ適宜装着される。撮像装置１００は、例えば、撮像された画像をリアルタイムで表示する機能を有するデジタルスチルカメラ、デジタルビデオカメラ（例えば、カメラ一体型レコーダ）等の画像処理装置により実現される。 <1. First Embodiment>
[Example of internal configuration of imaging device]
FIG. 1 is a block diagram showing an example of the internal configuration of the imaging apparatus 100 according to the first embodiment of the present invention. The imaging device 100 includes an optical block 111, a lens iris driver 112, a CCD (Charge Coupled Devices) 113, a timing generation circuit 114, a CCD driver 115, and a preprocessing circuit 116. The imaging apparatus 100 also includes a DSP (Digital Signal Processor) 117 and an SDRAM (Synchronous Dynamic Random Access Memory) 118. In addition, the imaging apparatus 100 includes a CPU (Central Processing Unit) 119, a RAM (Random Access Memory) 120, and a flash ROM (Read Only Memory) 121. In addition, the imaging apparatus 100 includes a display controller 122, an operation unit 123, a drive controller 124, a recording media interface 126, a bus 128, a liquid crystal monitor 130, and a finder 135. In addition, for example, two recording media, that is, a removable medium 125 and a recording medium 127, are appropriately attached to the imaging apparatus 100, respectively. The imaging apparatus 100 is realized by an image processing apparatus such as a digital still camera or a digital video camera (for example, a camera integrated recorder) having a function of displaying captured images in real time.

光学ブロック１１１は、例えば、光学レンズ、フォーカス機構、シャッタ機構、絞り（アイリス）機構等から構成され、被写体から反射された光を集光し、被写体の像の光をＣＣＤ１１３の受光部に結像させるものである。この光学ブロック１１１は、レンズアイリスドライバ１１２により駆動される。   The optical block 111 is composed of, for example, an optical lens, a focus mechanism, a shutter mechanism, a diaphragm (iris) mechanism, and the like. It is something to be made. The optical block 111 is driven by a lens iris driver 112.

レンズアイリスドライバ１１２は、ＣＰＵ１１９の制御に基づいて、光学ブロック１１１を動作させる駆動信号を生成し、この生成された駆動信号を光学ブロック１１１に供給して光学ブロック１１１を動作させるものである。例えば、レンズアイリスドライバ１１２は、撮像時において、ユーザの指示に基づいて、基準対象物に合焦させるための駆動信号や、絞りを調節して光量を調整させるための駆動信号を生成して光学ブロック１１１に供給する。   The lens iris driver 112 generates a drive signal for operating the optical block 111 based on the control of the CPU 119, and supplies the generated drive signal to the optical block 111 to operate the optical block 111. For example, the lens iris driver 112 generates a driving signal for focusing on the reference object and a driving signal for adjusting the amount of light by adjusting the diaphragm based on the user's instruction during imaging. Supply to block 111.

ＣＣＤ１１３は、ＣＣＤセンサから構成され、ＣＣＤドライバ１１５から供給される駆動信号に応じて、光学ブロック１１１から供給された光を光電変換することにより、光信号をアナログの電気信号（アナログ信号）に変換するものである。また、ＣＣＤ１１３は、タイミング生成回路１１４から供給されるタイミング信号に基づいて、変換されたアナログ信号（画像データ）を前処理回路１１６に供給する。なお、ＣＣＤ１１３として、例えば、ＣＣＤセンサ以外に、画素を単位として画像信号を生成する撮像素子を用いることができる。この撮像素子として、例えば、ＣＭＯＳ（Complementary Metal Oxide Semiconductor）センサ等を用いることができる。   The CCD 113 is composed of a CCD sensor, and converts the optical signal into an analog electrical signal (analog signal) by photoelectrically converting the light supplied from the optical block 111 in accordance with the drive signal supplied from the CCD driver 115. To do. The CCD 113 supplies the converted analog signal (image data) to the preprocessing circuit 116 based on the timing signal supplied from the timing generation circuit 114. As the CCD 113, for example, an image sensor that generates an image signal in units of pixels can be used in addition to the CCD sensor. As this image sensor, for example, a complementary metal oxide semiconductor (CMOS) sensor or the like can be used.

タイミング生成回路１１４は、ＣＰＵ１１９の制御に基づいて、ＣＣＤ１１３の動作の時間的な基準となるタイミング信号を生成し、この生成されたタイミング信号をＣＣＤ１１３およびＣＣＤドライバ１１５に供給するものである。   The timing generation circuit 114 generates a timing signal serving as a temporal reference for the operation of the CCD 113 based on the control of the CPU 119, and supplies the generated timing signal to the CCD 113 and the CCD driver 115.

ＣＣＤドライバ１１５は、タイミング生成回路１１４から供給されるタイミング信号に基づいて、ＣＣＤ１１３を駆動するための駆動信号を生成し、この生成された駆動信号をＣＣＤ１１３に供給するものである。   The CCD driver 115 generates a drive signal for driving the CCD 113 based on the timing signal supplied from the timing generation circuit 114, and supplies the generated drive signal to the CCD 113.

前処理回路１１６は、ＣＰＵ１１９の制御に基づいて、ＣＣＤ１１３から供給されるアナログ信号（画像データ）に対して、各種の前処理を行うものである。この前処理として、前処理回路１１６は、例えば、ＣＤＳ（Correlated Double Sampling）処理を行い、Ｓ／Ｎ（Signal/Noise）比を良好に保つようにする。また、ＡＧＣ（Automatic Gain Control）処理を行い、利得を制御する。そして、前処理回路１１６は、Ａ／Ｄ（Analog/Digital）変換を行い、アナログ信号をデジタル信号に変換し、この変換により得られたデジタル信号（画像データ）をＤＳＰ１１７に供給する。なお、前処理回路１１６からＤＳＰ１１７に供給される画像データは、ＳＤＲＡＭ１１８に順次記憶される。   The preprocessing circuit 116 performs various types of preprocessing on the analog signal (image data) supplied from the CCD 113 based on the control of the CPU 119. As the preprocessing, the preprocessing circuit 116 performs, for example, CDS (Correlated Double Sampling) processing so as to maintain a good S / N (Signal / Noise) ratio. Also, AGC (Automatic Gain Control) processing is performed to control the gain. The preprocessing circuit 116 performs A / D (Analog / Digital) conversion, converts an analog signal into a digital signal, and supplies the digital signal (image data) obtained by this conversion to the DSP 117. Note that image data supplied from the preprocessing circuit 116 to the DSP 117 is sequentially stored in the SDRAM 118.

ＣＰＵ１１９は、ＲＡＭ１２０やフラッシュＲＯＭ１２１等に記憶されているプログラムに基づいて、撮像装置１００の各部の動作を制御するものである。また、ＣＰＵ１１９は、操作部１２３またはタッチパネル１３２から供給される操作信号に基づいて、撮像装置１００の各部の動作を制御する。   The CPU 119 controls the operation of each unit of the imaging apparatus 100 based on a program stored in the RAM 120, the flash ROM 121, or the like. Further, the CPU 119 controls the operation of each unit of the imaging apparatus 100 based on an operation signal supplied from the operation unit 123 or the touch panel 132.

ＲＡＭ１２０には、ＣＰＵ１１９が実行するプログラムや各種のデータ等が適宜記憶されるメモリである。フラッシュＲＯＭ１２１は、ＣＰＵ１１９が実行するプログラムや各種のデータ等を記録するメモリである。これらのＣＰＵ１１９、ＲＡＭ１２０およびフラッシュＲＯＭ１２１は、バス１２８により相互に接続される。また、バス１２８には、ＤＳＰ１１７、表示コントローラ１２２、操作部１２３、ドライブコントローラ１２４および記録メディアインターフェース１２６が接続されている。   The RAM 120 is a memory in which programs executed by the CPU 119 and various data are stored as appropriate. The flash ROM 121 is a memory that records programs executed by the CPU 119 and various data. These CPU 119, RAM 120, and flash ROM 121 are connected to each other by a bus 128. In addition, a DSP 117, a display controller 122, an operation unit 123, a drive controller 124, and a recording media interface 126 are connected to the bus 128.

ＤＳＰ１１７は、ＣＰＵ１１９の制御に基づいて、前処理回路１１６から供給されるデジタル信号（画像データ）に対して、各種の画像処理を行うものである。ＤＳＰ１１７は、例えば、ＡＦ（Auto Focus）処理部、ＡＥ（Auto Exposure）処理部、ＡＷＢ（Auto White Balance）処理部、圧縮伸張部等を含む。そして、前処理回路１１６から供給された画像データに所定のカメラ信号処理を施し、このカメラ信号処理が施された画像データを所定の圧縮方式で圧縮する。また、ＤＳＰ１１７はＳＤＲＡＭコントローラを含み、このＳＤＲＡＭコントローラは、ＤＳＰ１１７が実行するプログラムや各種データに基づいてＳＤＲＡＭ１１８を制御して、一時的にそれらのプログラムや各種データをＳＤＲＡＭ１１８に記憶させる。なお、ＤＳＰ１１７として、例えば、専用のＩＣ（Integrated Circuit）である専用ＤＳＰまたは汎用ＤＳＰ等を用いることができる。   The DSP 117 performs various types of image processing on the digital signal (image data) supplied from the preprocessing circuit 116 based on the control of the CPU 119. The DSP 117 includes, for example, an AF (Auto Focus) processing unit, an AE (Auto Exposure) processing unit, an AWB (Auto White Balance) processing unit, and a compression / decompression unit. The image data supplied from the pre-processing circuit 116 is subjected to predetermined camera signal processing, and the image data subjected to the camera signal processing is compressed by a predetermined compression method. The DSP 117 includes an SDRAM controller. The SDRAM controller controls the SDRAM 118 based on a program executed by the DSP 117 and various data, and temporarily stores the program and various data in the SDRAM 118. As the DSP 117, for example, a dedicated DSP or a general-purpose DSP that is a dedicated IC (Integrated Circuit) can be used.

ＳＤＲＡＭ１１８は、ＳＤＲＡＭコントローラの制御に基づいて、ＤＳＰ１１７が実行するプログラムや各種データ等を適宜記憶するメモリである。例えば、ＳＤＲＡＭ１１８が前処理回路１１６から供給される画像データを一時的に記憶することにより、ＤＳＰ１１７は、その一時的に記憶された画像データに対して所定のカメラ信号処理および画像データの圧縮処理を施し、圧縮された画像データを生成する。   The SDRAM 118 is a memory that appropriately stores programs executed by the DSP 117 and various data based on the control of the SDRAM controller. For example, when the SDRAM 118 temporarily stores the image data supplied from the preprocessing circuit 116, the DSP 117 performs predetermined camera signal processing and image data compression processing on the temporarily stored image data. To generate compressed image data.

具体的には、ＳＤＲＡＭ１１８に記憶される前処理回路１１６から供給された画像データに対して、ＤＳＰ１１７のＡＦ処理部は、被写体に焦点（ピント）を合わせる処理（いわゆる、オートフォーカス）を行う。また、ＤＳＰ１１７のＡＥ処理部は、被写体の明るさに基づいて露出を決定する処理（いわゆる、自動露出）を行う。また、ＤＳＰ１１７のＡＷＢ処理部は、白色である予め定められた基準の色に基づいて全体の画像データを補正する処理（いわゆる、ホワイトバランス）を行う。また、ＤＳＰ１１７の圧縮伸張部は、所定のカメラ信号処理により、種々の調整がされた画像データを所定の圧縮方式で圧縮する。この圧縮伸張部は、例えば、画像データをＪＰＥＧ（Joint Photographic Experts Group）方式で圧縮する。そして、ＤＳＰ１１７は、圧縮された画像データをＳＤＲＡＭ１１８から読み出し、この画像データをバス１２８を介してドライブコントローラ１２４に供給する。これにより、画像データのデータ量を減らしてから、画像データをリムーバブルメディア１２５に記録することができる。   Specifically, the AF processing unit of the DSP 117 performs processing (so-called autofocus) for focusing on the subject with respect to the image data supplied from the preprocessing circuit 116 stored in the SDRAM 118. The AE processing unit of the DSP 117 performs a process for determining exposure based on the brightness of the subject (so-called automatic exposure). Further, the AWB processing unit of the DSP 117 performs processing (so-called white balance) for correcting the entire image data based on a predetermined reference color that is white. Further, the compression / decompression unit of the DSP 117 compresses variously adjusted image data by a predetermined compression method by predetermined camera signal processing. For example, the compression / decompression unit compresses image data using a JPEG (Joint Photographic Experts Group) method. Then, the DSP 117 reads the compressed image data from the SDRAM 118 and supplies this image data to the drive controller 124 via the bus 128. Accordingly, the image data can be recorded on the removable medium 125 after the amount of image data is reduced.

また、ＤＳＰ１１７は、操作部１２３やタッチパネル１３２により受け付けられたユーザからの操作入力に応じて、画像データがリムーバブルメディア１２５から読み出された場合、その画像データに対して所定の伸張処理（解凍処理）を行う。すなわち、ＤＳＰ１１７の圧縮伸張部は、バス１２８を介して、リムーバブルメディア１２５から供給される圧縮されている画像データを、その圧縮の方式に応じた所定の伸張処理を行うことにより、その画像データを伸張する。そして、ＤＳＰ１１７は、その伸張された画像データを、バス１２８を介して表示コントローラ１２２に供給する。   When the image data is read from the removable medium 125 in response to an operation input from the user received by the operation unit 123 or the touch panel 132, the DSP 117 performs a predetermined decompression process (decompression process) on the image data. )I do. That is, the compression / decompression unit of the DSP 117 performs a predetermined decompression process on the compressed image data supplied from the removable medium 125 via the bus 128 according to the compression method, thereby converting the image data. Stretch. Then, the DSP 117 supplies the decompressed image data to the display controller 122 via the bus 128.

操作部１２３は、ユーザからの操作入力を受け付ける操作部であり、受け付けられた操作入力に応じた操作信号をＣＰＵ１１９に出力する。操作部１２３として、例えば、図２に示すシャッターボタン１４１、リング型操作部材１４３等が撮像装置１００に設けられている。   The operation unit 123 is an operation unit that receives an operation input from a user, and outputs an operation signal corresponding to the received operation input to the CPU 119. As the operation unit 123, for example, the shutter button 141, the ring-type operation member 143, and the like illustrated in FIG.

表示コントローラ１２２は、ＣＰＵ１１９の制御に基づいて、ＤＳＰ１１７から供給される画像データに基づいて、カラー液晶表示部１３１に画像を表示させるための画像信号を生成し、この生成された画像信号をカラー液晶表示部１３１に供給するものである。また、表示コントローラ１２２は、ＤＳＰ１１７から供給される画像データに基づいて、カラー液晶表示部１３１と同様の画像をファインダ１３５に表示させるための画像信号を生成し、この生成された画像信号をファインダ１３５に供給する。すなわち、表示コントローラ１２２は、画像信号をカラー液晶表示部１３１およびファインダ１３５に供給することにより、カラー液晶表示部１３１およびファインダ１３５の表示を制御する。   The display controller 122 generates an image signal for causing the color liquid crystal display unit 131 to display an image based on the image data supplied from the DSP 117 based on the control of the CPU 119, and the generated image signal is used as the color liquid crystal. This is supplied to the display unit 131. Further, the display controller 122 generates an image signal for causing the finder 135 to display an image similar to the color liquid crystal display unit 131 based on the image data supplied from the DSP 117, and the generated image signal is displayed in the finder 135. To supply. That is, the display controller 122 controls the display of the color liquid crystal display unit 131 and the finder 135 by supplying an image signal to the color liquid crystal display unit 131 and the finder 135.

液晶モニタ１３０は、カラー液晶表示部１３１およびタッチパネル１３２を備え、撮像装置１００を使用するユーザに対するインターフェースを提供するものである。   The liquid crystal monitor 130 includes a color liquid crystal display unit 131 and a touch panel 132, and provides an interface for a user who uses the imaging apparatus 100.

カラー液晶表示部１３１は、表示コントローラ１２２から供給される画像信号に基づいて、その画像信号に応じた画像を表示するものである。例えば、撮像装置１００を用いた撮影時において、モニタリングモードが設定されている場合には、ＤＳＰ１１７から供給される画像データに対応する撮像画像がカラー液晶表示部１３１に順次表示される。このモニタリングモードは、例えば、撮像装置１００が画像記録待機状態である場合に、ＤＳＰ１１７から供給される画像データに対応する撮像画像をリアルタイムで表示させる撮像モードである。また、リムーバブルメディア１２５に記録されている画像データに対応する画像が、カラー液晶表示部１３１に表示される。カラー液晶表示部１３１として、例えば、ＬＣＤ（Liquid Crystal Display）パネルや有機ＥＬ（Electro Luminescence）パネルを用いることができる。   The color liquid crystal display unit 131 displays an image according to the image signal based on the image signal supplied from the display controller 122. For example, when the monitoring mode is set during shooting using the imaging apparatus 100, captured images corresponding to image data supplied from the DSP 117 are sequentially displayed on the color liquid crystal display unit 131. This monitoring mode is, for example, an imaging mode in which a captured image corresponding to image data supplied from the DSP 117 is displayed in real time when the imaging apparatus 100 is in an image recording standby state. In addition, an image corresponding to the image data recorded on the removable medium 125 is displayed on the color liquid crystal display unit 131. As the color liquid crystal display unit 131, for example, an LCD (Liquid Crystal Display) panel or an organic EL (Electro Luminescence) panel can be used.

タッチパネル１３２は、カラー液晶表示部１３１の画面を透過するように、カラー液晶表示部１３１に重ねて配置されているタッチパネルである。タッチパネル１３２は、カラー液晶表示部１３１に表示されている操作画面のキー等のユーザによる操作入力を受け付けると、その操作位置に対応する操作信号をＣＰＵ１１９に供給する。   The touch panel 132 is a touch panel arranged so as to overlap the color liquid crystal display unit 131 so as to transmit the screen of the color liquid crystal display unit 131. When the touch panel 132 receives an operation input by the user such as a key of an operation screen displayed on the color liquid crystal display unit 131, the touch panel 132 supplies an operation signal corresponding to the operation position to the CPU 119.

ファインダ１３５は、撮像装置１００を用いた撮影時において、その撮像範囲をユーザが確認するためのファインダであり、表示コントローラ１２２から供給される画像信号に基づいて、その画像信号に応じた画像を表示する。なお、本発明の第１の実施の形態では、撮像装置１００を用いた撮影時（例えば、モニタリングモード設定時）において、カラー液晶表示部１３１およびファインダ１３５には同一の画像を表示させることができるものとする。   The finder 135 is a finder for the user to check the imaging range at the time of shooting using the imaging device 100, and displays an image corresponding to the image signal based on the image signal supplied from the display controller 122. To do. In the first embodiment of the present invention, the same image can be displayed on the color liquid crystal display unit 131 and the viewfinder 135 during shooting using the imaging apparatus 100 (for example, when the monitoring mode is set). Shall.

ドライブコントローラ１２４は、リムーバブルメディア１２５に対応した所定のインターフェースから構成され、ＣＰＵ１１９の制御に基づいて、ＤＳＰ１１７から供給された画像データをリムーバブルメディア１２５に記録させるものである。また、ドライブコントローラ１２４は、リムーバブルメディア１２５に記録されている画像データを読み出し、ＤＳＰ１１７またはＣＰＵ１１９等に供給する。   The drive controller 124 is configured by a predetermined interface corresponding to the removable medium 125 and records the image data supplied from the DSP 117 on the removable medium 125 based on the control of the CPU 119. The drive controller 124 reads image data recorded on the removable medium 125 and supplies the read image data to the DSP 117 or the CPU 119.

リムーバブルメディア１２５は、ＤＳＰ１１７から供給された画像データを記録する記録媒体である。このリムーバブルメディア１２５は、撮像装置１００に内蔵するようにしてもよく、着脱可能に撮像装置１００に装着されるようにしてもよい。リムーバブルメディア１２５として、例えば、テープ（例えば、磁気テープ）、光ディスク（例えば、記録可能なＤＶＤ（Digital Versatile Disc））を用いることができる。また、リムーバブルメディア１２５として、例えば、磁気ディスク（例えば、ハードディスク）、半導体メモリ（例えば、メモリカード）、光磁気ディスク（例えば、ＭＤ（MiniDisc））を用いるようにしてもよい。   The removable medium 125 is a recording medium that records image data supplied from the DSP 117. The removable medium 125 may be built in the imaging apparatus 100 or may be detachably attached to the imaging apparatus 100. As the removable medium 125, for example, a tape (for example, a magnetic tape) or an optical disk (for example, a recordable DVD (Digital Versatile Disc)) can be used. Further, as the removable medium 125, for example, a magnetic disk (for example, hard disk), a semiconductor memory (for example, memory card), or a magneto-optical disk (for example, MD (MiniDisc)) may be used.

記録メディアインターフェース１２６は、記録メディア１２７に対応した所定のインターフェースから構成され、ＣＰＵ１１９の制御に基づいて、ＤＳＰ１１７またはＣＰＵ１１９から供給されたデータを記録メディア１２７に記録させるものである。また、記録メディアインターフェース１２６は、記録メディア１２７に記録されているデータを読み出し、ＤＳＰ１１７またはＣＰＵ１１９等に供給する。   The recording medium interface 126 includes a predetermined interface corresponding to the recording medium 127, and records data supplied from the DSP 117 or the CPU 119 on the recording medium 127 based on the control of the CPU 119. The recording medium interface 126 reads data recorded on the recording medium 127 and supplies the data to the DSP 117 or the CPU 119.

記録メディア１２７は、メモリカード等の記録メディアであり、必要に応じて撮像装置１００に装着される。なお、本発明の第１の実施の形態では、ドライブコントローラ１２４および記録メディアインターフェース１２６を撮像装置１００に設け、リムーバブルメディア１２５および記録メディア１２７を装着可能とする例を示す。ただし、記録メディア１２７に記録されるデータをリムーバブルメディア１２５に記録させ、記録メディアインターフェース１２６を省略するように構成するようにしてもよい。   The recording medium 127 is a recording medium such as a memory card, and is attached to the imaging apparatus 100 as necessary. In the first embodiment of the present invention, an example in which the drive controller 124 and the recording medium interface 126 are provided in the imaging apparatus 100 and the removable medium 125 and the recording medium 127 can be mounted is shown. However, the data recorded on the recording medium 127 may be recorded on the removable medium 125 and the recording medium interface 126 may be omitted.

［撮像装置の外観および使用例］
図２は、本発明の第１の実施の形態における撮像装置１００の外観を示す図である。図３は、本発明の第１の実施の形態における撮像装置１００を用いて撮影を行う場合における撮影者の撮影姿勢の一例を示す図である。図２（ａ）には、撮像装置１００の正面（すなわち、被写体に向けられるレンズ面）側の外観を示し、図２（ｂ）には、撮像装置１００の背面（すなわち、撮影者に向けられる液晶モニタ１３０の面）側の外観を示す。また、図２（ｃ）には、撮像装置１００の正面側の斜視図を示す。また、図３（ａ）には、撮像装置１００を両手で構えた撮影者１５０を撮像装置１００の正面側から示し、図３（ｂ）には、撮像装置１００を両手で構えた撮影者１５０を撮像装置１００の側面側から示す。なお、本発明の第１の実施の形態で示す撮像装置の外観は、説明の容易のため、簡略化して図示する。例えば、撮像装置１００の外側面には、電源スイッチ等の操作部材が備えられているが、これらの図示および説明を省略する。 [Appearance and example of imaging device]
FIG. 2 is a diagram illustrating an appearance of the imaging apparatus 100 according to the first embodiment of the present invention. FIG. 3 is a diagram illustrating an example of the shooting posture of the photographer when shooting is performed using the imaging apparatus 100 according to the first embodiment of the present invention. FIG. 2A shows the appearance of the imaging apparatus 100 on the front side (that is, the lens surface directed toward the subject), and FIG. 2B shows the back side of the imaging apparatus 100 (that is, directed to the photographer). The appearance of the liquid crystal monitor 130 side) is shown. Further, FIG. 2C shows a perspective view of the front side of the imaging apparatus 100. 3A shows a photographer 150 holding the imaging apparatus 100 with both hands from the front side of the imaging apparatus 100, and FIG. 3B shows a photographer 150 holding the imaging apparatus 100 with both hands. Is shown from the side of the imaging device 100. Note that the appearance of the imaging device shown in the first embodiment of the present invention is illustrated in a simplified manner for ease of explanation. For example, although an operation member such as a power switch is provided on the outer surface of the imaging apparatus 100, illustration and description thereof are omitted.

撮像装置１００は、液晶モニタ１３０と、ファインダ１３５と、シャッターボタン（レリーズボタン）１４１と、レンズ１４２と、リング型操作部材１４３と、ダイヤル型操作部材１４４乃至１４６とを備える。なお、シャッターボタン１４１、リング型操作部材１４３、ダイヤル型操作部材１４４乃至１４６は、図１に示す操作部１２３に対応する。また、レンズ１４２は図１に示す光学ブロック１１１に対応する。なお、液晶モニタ１３０およびファインダ１３５は、図１に示すものと同一であるため、同一の符号を付して説明する。   The imaging apparatus 100 includes a liquid crystal monitor 130, a viewfinder 135, a shutter button (release button) 141, a lens 142, a ring type operation member 143, and dial type operation members 144 to 146. The shutter button 141, the ring type operation member 143, and the dial type operation members 144 to 146 correspond to the operation unit 123 shown in FIG. The lens 142 corresponds to the optical block 111 shown in FIG. The liquid crystal monitor 130 and the finder 135 are the same as those shown in FIG.

シャッターボタン１４１は、ＤＳＰ１１７により生成された画像データを静止画ファイルとしてリムーバブルメディア１２５に記録する際に押下されるボタンである。撮像装置１００を用いて撮影者が撮像操作（いわゆる、写真撮影）を行う場合には、液晶モニタ１３０またはファインダ１３５により所望の被写体を確認した後に、撮影者がシャッターボタン１４１を押下する。シャッターボタン１４１が押下されると、シャッターボタン１４１の押下に応じた操作信号がＣＰＵ１１９に供給される。この操作信号が供給されると、ＣＰＵ１１９は、ＤＳＰ１１７により生成された画像データを静止画ファイルとしてリムーバブルメディア１２５に記録させる   The shutter button 141 is a button that is pressed when the image data generated by the DSP 117 is recorded on the removable medium 125 as a still image file. When the photographer performs an imaging operation (so-called photography) using the imaging apparatus 100, the photographer presses the shutter button 141 after confirming a desired subject using the liquid crystal monitor 130 or the viewfinder 135. When the shutter button 141 is pressed, an operation signal corresponding to the pressing of the shutter button 141 is supplied to the CPU 119. When this operation signal is supplied, the CPU 119 records the image data generated by the DSP 117 on the removable medium 125 as a still image file.

レンズ１４２は、外界の光を集光するレンズであり、この入射光がズームレンズおよびフォーカスレンズを介してＣＣＤ１１３に出力される。   The lens 142 is a lens that collects external light, and the incident light is output to the CCD 113 via the zoom lens and the focus lens.

リング型操作部材１４３は、レンズ鏡筒外径部に設けられているリング型操作部材である。このリング型操作部材１４３を光軸方向を軸として回転させることにより、その回転に応じた操作信号がＣＰＵ１１９に出力される。リング型操作部材１４３として、例えば、手動によりフォーカス（ピント）合わせを行うためのマニュアルフォーカスリングを用いることができる。例えば、マニュアルフォーカスモードが設定されている場合には、リング型操作部材１４３の回転に応じてフォーカス制御が行われる。一方、オートフォーカスモードが設定されている場合には、フォーカス制御にリング型操作部材１４３が用いられない。そこで、本発明の第１の実施の形態では、オートフォーカスモードが設定されている場合において、基準顔を選択するための操作部材としてリング型操作部材１４３を用いる。なお、リング型操作部材１４３の操作方法については、図７および図８等を参照して詳細に説明する。   The ring type operation member 143 is a ring type operation member provided at the outer diameter portion of the lens barrel. By rotating the ring type operation member 143 around the optical axis direction, an operation signal corresponding to the rotation is output to the CPU 119. As the ring-type operation member 143, for example, a manual focus ring for manually focusing (focusing) can be used. For example, when the manual focus mode is set, focus control is performed according to the rotation of the ring type operation member 143. On the other hand, when the autofocus mode is set, the ring type operation member 143 is not used for focus control. Therefore, in the first embodiment of the present invention, when the autofocus mode is set, the ring type operation member 143 is used as the operation member for selecting the reference face. The operation method of the ring type operation member 143 will be described in detail with reference to FIGS.

ダイヤル型操作部材１４４乃至１４６は、各種の撮影モード等を設定する場合に用いられる操作部材である。例えば、フラッシュの発光を強制的にオン／オフにするモード、セルフタイマを使用するモード、液晶モニタ１３０にメニュー画面を表示するモード等の各種のモードを選択する場合等に、ダイヤル型操作部材１４４乃至１４６が操作される。   The dial type operation members 144 to 146 are operation members used when setting various shooting modes and the like. For example, when selecting various modes such as a mode for forcibly turning on / off the flash, a mode using a self-timer, and a mode for displaying a menu screen on the liquid crystal monitor 130, the dial-type operation member 144 is selected. To 146 are operated.

液晶モニタ１３０は、撮像装置１００の背面側に設けられ、カラー液晶表示部１３１に各画像を表示し、タッチパネル１３２において操作入力を受け付けるものである。   The liquid crystal monitor 130 is provided on the back side of the imaging apparatus 100, displays each image on the color liquid crystal display unit 131, and receives an operation input on the touch panel 132.

ファインダ１３５は、撮像装置１００の背面側に設けられ、例えば、モニタリングモードが設定されている場合には、液晶モニタ１３０に表示される画像と同一の画像がモニタリング表示される。   The finder 135 is provided on the back side of the imaging apparatus 100. For example, when the monitoring mode is set, the same image as the image displayed on the liquid crystal monitor 130 is displayed for monitoring.

ここで、撮像装置１００を用いて撮影を行う場合について説明する。図３に示すように、撮像装置１００を用いて撮影を行う場合には、撮影者１５０は、右手１５１により撮像装置１００の本体を持ち、左手１５２によりリング型操作部材１４３を握った状態でシャッターチャンスを待つことが多い。この待機状態では、例えば、右手１５１の人差し指がシャッターボタン１４１上に乗せられた状態でシャッターチャンスを待つことになる。このように、撮影の待機状態では、右手１５１を他の操作に用いることができないことが想定される。そこで、本発明の第１の実施の形態では、左手１５２により容易に操作が可能なリング型操作部材１４３を用いて、液晶モニタ１３０およびファインダ１３５に表示される画像に含まれる複数の顔から、所望の顔を選択する例について説明する。   Here, a case where imaging is performed using the imaging apparatus 100 will be described. As shown in FIG. 3, when shooting using the imaging device 100, the photographer 150 holds the body of the imaging device 100 with the right hand 151 and holds the ring type operation member 143 with the left hand 152. I often wait for a chance. In this standby state, for example, the camera waits for a photo opportunity with the index finger of the right hand 151 placed on the shutter button 141. In this way, it is assumed that the right hand 151 cannot be used for other operations in the shooting standby state. Therefore, in the first embodiment of the present invention, by using the ring-type operation member 143 that can be easily operated by the left hand 152, from a plurality of faces included in the images displayed on the liquid crystal monitor 130 and the viewfinder 135, An example of selecting a desired face will be described.

［撮像装置の機能構成例］
図４は、本発明の第１の実施の形態における撮像装置１００の機能構成例を示すブロック図である。撮像装置１００は、撮像部２００と、撮像制御部２０１と、顔検出部２１０と、顔識別部２２０と、特定人物情報記憶部２３０と、選択操作内容決定部２４０と、選択操作支援画像保持部２５０と、表示制御部２６０と、表示部２６１とを備える。また、撮像装置１００は、記録制御部２７０と、記録部２７１と、基準対象物選択部２８０と、姿勢検出部２９０と、選択操作受付部３００と、操作受付部３１０とを備える。ここで、本発明の各実施の形態では、「画像」と記載した場合には、画像そのものと、その画像を表示するための画像データとの両方の意味を含むものとする。 [Functional configuration example of imaging device]
FIG. 4 is a block diagram illustrating a functional configuration example of the imaging apparatus 100 according to the first embodiment of the present invention. The imaging apparatus 100 includes an imaging unit 200, an imaging control unit 201, a face detection unit 210, a face identification unit 220, a specific person information storage unit 230, a selection operation content determination unit 240, and a selection operation support image holding unit. 250, a display control unit 260, and a display unit 261. In addition, the imaging apparatus 100 includes a recording control unit 270, a recording unit 271, a reference object selection unit 280, a posture detection unit 290, a selection operation reception unit 300, and an operation reception unit 310. Here, in each embodiment of the present invention, “image” includes both the meaning of the image itself and image data for displaying the image.

撮像部２００は、被写体を撮像して画像（撮像画像）を生成するものであり、生成された撮像画像を撮像制御部２０１、顔検出部２１０、顔識別部２２０、選択操作内容決定部２４０、表示制御部２６０および記録制御部２７０に出力する。なお、画像生成の際に用いられるカメラパラメータ（撮像パラメータ）が、撮像制御部２０１により順次決定される。なお、撮像部２００は、例えば、図１に示す光学ブロック１１１、レンズアイリスドライバ１１２、ＣＣＤ１１３、タイミング生成回路１１４、ＣＣＤドライバ１１５および前処理回路１１６に対応する。   The imaging unit 200 captures a subject and generates an image (captured image). The captured image is generated by the imaging control unit 201, the face detection unit 210, the face identification unit 220, the selection operation content determination unit 240, The data is output to the display control unit 260 and the recording control unit 270. Note that camera parameters (imaging parameters) used when generating an image are sequentially determined by the imaging control unit 201. The imaging unit 200 corresponds to, for example, the optical block 111, the lens iris driver 112, the CCD 113, the timing generation circuit 114, the CCD driver 115, and the preprocessing circuit 116 illustrated in FIG.

撮像制御部２０１は、撮像部２００により生成される撮像画像に関するカメラパラメータを決定するものであり、決定されたカメラパラメータを用いて、撮像部２００に対する撮像制御を行う。具体的には、撮像制御部２０１は、撮像部２００により生成された撮像画像を評価し、シャッター速度、露出、ホワイトバランス等のカメラパラメータを決定する。また、撮像制御部２０１は、撮像部２００により生成された撮像画像から顔が検出された場合には、検出された顔および現在の撮像画像の評価に基づいて、カメラパラメータを決定する。また、撮像制御部２０１は、撮像部２００により生成された撮像画像から複数の顔が検出された場合には、例えば、基準顔として選択された顔および現在の撮像画像の評価に基づいてカメラパラメータを決定する。例えば、基準顔が選択された場合には、その基準顔の撮像画像における位置および大きさが選択操作支援画像保持部２５０から取得され、これらの位置および大きさに基づいて、基準顔に合焦させて適切な露出を設定するためのカメラパラメータが決定される。なお、撮像制御部２０１は、例えば、図１に示すＤＳＰ１１７およびＣＰＵ１１９に対応する。   The imaging control unit 201 determines camera parameters relating to a captured image generated by the imaging unit 200, and performs imaging control on the imaging unit 200 using the determined camera parameters. Specifically, the imaging control unit 201 evaluates the captured image generated by the imaging unit 200 and determines camera parameters such as shutter speed, exposure, and white balance. Further, when a face is detected from the captured image generated by the imaging unit 200, the imaging control unit 201 determines camera parameters based on the detected face and the evaluation of the current captured image. In addition, when a plurality of faces are detected from the captured image generated by the imaging unit 200, the imaging control unit 201, for example, determines camera parameters based on the evaluation of the face selected as the reference face and the current captured image. To decide. For example, when the reference face is selected, the position and size of the reference face in the captured image are acquired from the selection operation support image holding unit 250, and the reference face is focused based on the position and size. Thus, camera parameters for setting an appropriate exposure are determined. Note that the imaging control unit 201 corresponds to, for example, the DSP 117 and the CPU 119 illustrated in FIG.

顔検出部２１０は、撮像部２００から出力された撮像画像について顔検出処理を行うものであり、検出された顔に関する顔情報を顔識別部２２０および選択操作内容決定部２４０に出力する。この顔検出方法として、例えば、顔の輝度分布情報が記録されているテンプレートと実画像とのマッチングによる顔検出方法（例えば、特開２００４−１３３６３７参照。）、撮像画像に含まれる肌色の部分や人間の顔の特徴量に基づいた顔検出方法を用いることができる。また、顔を含む画像である顔画像について、この顔画像上の２画素間の輝度差を学習し、この学習により得られた特徴量を顔検出基準データとして予め保持しておく。そして、この顔検出基準データを用いて、撮像部２００から出力された撮像画像における一定範囲の対象画像について顔検出を順次行う顔検出方法を用いることができる。また、顔情報には、検出された顔の撮像画像における位置およびサイズが含まれる。ここで、顔情報に含まれる顔の位置は、例えば、検出された顔の周囲を囲む矩形の顔検出ウィンドウの位置（例えば、顔検出ウィンドウの中心の位置）とすることができる。また、顔情報に含まれる顔のサイズは、例えば、その顔検出ウィンドウのサイズ（例えば、顔検出ウィンドウの水平方向および垂直方向の各画素数）とすることができる。なお、顔検出部２１０は、例えば、図１に示すＤＳＰ１１７に対応する。また、顔検出部２１０は、特許請求の範囲に記載の対象物検出部の一例である。   The face detection unit 210 performs face detection processing on the captured image output from the imaging unit 200, and outputs face information regarding the detected face to the face identification unit 220 and the selection operation content determination unit 240. As this face detection method, for example, a face detection method (for example, refer to Japanese Patent Application Laid-Open No. 2004-133737) based on matching between a template in which face luminance distribution information is recorded and an actual image, a skin color part included in a captured image, A face detection method based on human face feature values can be used. In addition, for a face image that is an image including a face, a luminance difference between two pixels on the face image is learned, and a feature amount obtained by the learning is stored in advance as face detection reference data. Then, using this face detection reference data, it is possible to use a face detection method in which face detection is sequentially performed on a certain range of target images in the captured image output from the imaging unit 200. The face information includes the position and size of the detected face in the captured image. Here, the position of the face included in the face information can be, for example, the position of a rectangular face detection window surrounding the detected face (for example, the position of the center of the face detection window). Further, the size of the face included in the face information can be, for example, the size of the face detection window (for example, the number of pixels in the horizontal and vertical directions of the face detection window). The face detection unit 210 corresponds to, for example, the DSP 117 illustrated in FIG. The face detection unit 210 is an example of an object detection unit described in the claims.

顔識別部２２０は、顔検出部２１０により検出された顔が、特定人物情報記憶部２３０に特定人物情報が記憶されている特定人物の顔（登録顔）であるか否かを識別するものであり、識別結果を顔識別情報として選択操作内容決定部２４０に出力する。具体的には、顔識別部２２０は、顔検出部２１０により検出された顔を含む顔画像について、その顔に含まれる両目に基づいて正規化を行い、この正規化された顔画像（正規化顔画像）における特徴量を抽出する。なお、両目の検出方法として、例えば、顔検出方法と同様に、目の輝度分布情報が記録されているテンプレートと実画像とのマッチングによる目検出方法等を用いることができる。続いて、顔識別部２２０は、抽出された特徴量と、特定人物情報記憶部２３０に記憶されている特徴量２３３（図５に示す）とを照合することにより、顔検出部２１０により検出された顔が登録顔であるか否かを識別する。そして、識別結果として、例えば、識別された登録顔に対応する特定人物識別番号２３１（図５に示す）が、処理対象となった顔に関する顔情報とともに、選択操作内容決定部２４０に出力される。ここで、顔識別方法として、例えば、特徴量の類似度に基づいて顔識別を行う顔識別方法を用いることができる。すなわち、特定人物情報記憶部２３０に記憶されている特徴量２３３と、正規化顔画像から抽出された特徴量とが比較されることにより、これらの特徴量の類似度が算出される。そして、この算出された類似度が閾値を超えた場合に、その正規化顔画像に含まれる顔が登録顔であると判定される。また、顔識別方法として、例えば、比較対象となる登録顔画像および正規化顔画像のそれぞれの画像上の２点間の特徴量の差分値を用いた弱判別器による識別処理を行う識別方法を用いることができる。また、例えば、特徴量として特徴ベクトルを用いて識別処理を行う識別方法を用いることができる（例えば、特開２００８−１２９８３０号参照。）。なお、顔識別部２２０は、例えば、図１に示すＤＳＰ１１７に対応する。また、顔識別部２２０は、特許請求の範囲に記載の識別部の一例である。   The face identification unit 220 identifies whether or not the face detected by the face detection unit 210 is a face (registered face) of a specific person whose specific person information is stored in the specific person information storage unit 230. Yes, the identification result is output to the selection operation content determination unit 240 as face identification information. Specifically, the face identifying unit 220 normalizes the face image including the face detected by the face detecting unit 210 based on both eyes included in the face, and the normalized face image (normalized) The feature amount in the face image is extracted. As the detection method for both eyes, for example, an eye detection method based on matching between a template in which luminance distribution information of eyes is recorded and an actual image can be used as in the face detection method. Subsequently, the face identification unit 220 is detected by the face detection unit 210 by collating the extracted feature amount with the feature amount 233 (shown in FIG. 5) stored in the specific person information storage unit 230. Whether or not the registered face is a registered face. As the identification result, for example, a specific person identification number 231 (shown in FIG. 5) corresponding to the identified registered face is output to the selection operation content determination unit 240 together with the face information regarding the face to be processed. . Here, as the face identification method, for example, a face identification method that performs face identification based on the similarity of feature amounts can be used. That is, the feature amount 233 stored in the specific person information storage unit 230 is compared with the feature amount extracted from the normalized face image, whereby the similarity between these feature amounts is calculated. When the calculated similarity exceeds a threshold value, it is determined that the face included in the normalized face image is a registered face. Further, as a face identification method, for example, an identification method for performing identification processing by a weak classifier using a difference value of feature amounts between two points on each of a registered face image and a normalized face image to be compared. Can be used. In addition, for example, an identification method that performs identification processing using a feature vector as a feature quantity can be used (see, for example, Japanese Patent Application Laid-Open No. 2008-129830). Note that the face identification unit 220 corresponds to the DSP 117 illustrated in FIG. 1, for example. The face identification unit 220 is an example of an identification unit described in the claims.

特定人物情報記憶部２３０は、特定人物に関する特定人物情報を人物毎に記憶するものであり、記憶されている特定人物情報を顔識別部２２０および表示制御部２６０に供給する。なお、特定人物情報記憶部２３０の内容については、図５を参照して詳細に説明する。また、特定人物情報記憶部２３０は、例えば、図１に示すフラッシュＲＯＭ１２１に対応する。また、特定人物情報記憶部２３０は、特許請求の範囲に記載の特定対象物画像記憶部の一例である。   The specific person information storage unit 230 stores specific person information regarding a specific person for each person, and supplies the stored specific person information to the face identification unit 220 and the display control unit 260. The contents of the specific person information storage unit 230 will be described in detail with reference to FIG. The specific person information storage unit 230 corresponds to, for example, the flash ROM 121 illustrated in FIG. The specific person information storage unit 230 is an example of a specific object image storage unit described in the claims.

選択操作内容決定部２４０は、顔検出部２１０により検出された複数の顔から所望の顔を基準顔として選択するための選択操作内容（選択操作方法）を決定するものである。そして、この決定された選択操作内容に基づいて選択操作支援画像保持部２５０の保持内容を順次更新する。具体的には、選択操作内容決定部２４０は、顔検出部２１０により複数の顔が検出された場合には、これらの複数の顔から基準顔を選択する。例えば、顔検出部２１０から出力された顔情報と、顔識別部２２０から出力された顔識別情報とに基づいて、基準顔が選択される。また、既に基準顔が選択されている場合には、選択操作支援画像保持部２５０の保持内容に基づいて、基準顔を特定する。そして、選択操作内容決定部２４０は、顔検出部２１０により検出された複数の顔の中から操作支援画像を付す対象となる顔を選択し、これらの顔を基準顔として選択するための選択操作内容を顔毎に決定する。また、選択操作内容決定部２４０は、基準対象物選択部２８０から選択情報が出力された場合には、この選択情報に対応する顔を基準顔として決定し、他の顔に関する選択操作内容を決定する。また、選択操作内容決定部２４０は、撮像部２００から出力された撮像画像に基づいて、選択操作支援画像保持部２５０に顔情報が保持されている顔について追尾処理を行う。なお、選択操作内容決定部２４０は、例えば、図１に示すＣＰＵ１１９に対応する。   The selection operation content determination unit 240 determines selection operation content (selection operation method) for selecting a desired face as a reference face from a plurality of faces detected by the face detection unit 210. Then, the contents held in the selection operation support image holding unit 250 are sequentially updated based on the determined selection operation contents. Specifically, when a plurality of faces are detected by the face detection unit 210, the selection operation content determination unit 240 selects a reference face from the plurality of faces. For example, the reference face is selected based on the face information output from the face detection unit 210 and the face identification information output from the face identification unit 220. If a reference face has already been selected, the reference face is specified based on the content held in the selection operation support image holding unit 250. Then, the selection operation content determination unit 240 selects a face to be subjected to the operation support image from the plurality of faces detected by the face detection unit 210, and a selection operation for selecting these faces as reference faces. The content is determined for each face. Further, when the selection information is output from the reference object selection unit 280, the selection operation content determination unit 240 determines the face corresponding to the selection information as the reference face, and determines the selection operation content related to other faces. To do. Further, the selection operation content determination unit 240 performs a tracking process on the face whose face information is held in the selection operation support image holding unit 250 based on the captured image output from the imaging unit 200. Note that the selection operation content determination unit 240 corresponds to, for example, the CPU 119 illustrated in FIG.

選択操作支援画像保持部２５０は、選択操作内容決定部２４０により決定された選択操作内容を表す選択操作支援画像およびこれに関連付けられた顔情報等を保持するものであり、保持されている情報を各部に供給する。例えば、選択操作支援画像保持部２５０の保持内容に基づいて、撮像画像への操作支援画像の重畳が表示制御部２６０により行われる。また、例えば、選択操作支援画像保持部２５０の保持内容に基づいて、カメラパラメータの決定処理が撮像制御部２０１により行われる。また、選択操作支援画像保持部２５０の保持内容は、選択操作内容決定部２４０により順次更新される。なお、選択操作支援画像保持部２５０の保持内容については、図６を参照して詳細に説明する。また、選択操作支援画像保持部２５０は、例えば、図１に示すフラッシュＲＯＭ１２１に対応する。   The selection operation support image holding unit 250 holds a selection operation support image representing the selection operation content determined by the selection operation content determination unit 240, face information associated therewith, and the like. Supply to each part. For example, the display control unit 260 superimposes the operation support image on the captured image based on the content held in the selection operation support image holding unit 250. In addition, for example, the imaging control unit 201 performs camera parameter determination processing based on the content held in the selection operation support image holding unit 250. Further, the content held in the selection operation support image holding unit 250 is sequentially updated by the selection operation content determination unit 240. The contents held by the selection operation support image holding unit 250 will be described in detail with reference to FIG. The selection operation support image holding unit 250 corresponds to, for example, the flash ROM 121 illustrated in FIG.

表示制御部２６０は、撮像部２００から出力された画像に、選択操作支援画像保持部２５０に保持されている保持内容に応じた選択操作支援画像を重畳し、この選択操作支援画像が重畳された画像を表示部２６１に表示させるものである。この選択操作支援画像の撮像画像への重畳の要否については、ユーザ操作により変更することができる。また、表示制御部２６０は、ユーザ操作に基づいて、特定人物情報記憶部２３０に記憶されている特定人物情報に含まれる特定人物の顔を表示させる。また、表示制御部２６０は、姿勢検出部２９０により検出された姿勢に関する姿勢情報に基づいて、撮像画像に重畳される選択操作支援画像の表示形態を変更する。なお、表示制御部２６０は、例えば、図１に示す表示コントローラ１２２に対応する。   The display control unit 260 superimposes the selection operation support image corresponding to the stored content held in the selection operation support image holding unit 250 on the image output from the imaging unit 200, and the selection operation support image is superimposed. An image is displayed on the display unit 261. Whether or not the selection operation support image needs to be superimposed on the captured image can be changed by a user operation. Further, the display control unit 260 displays the face of the specific person included in the specific person information stored in the specific person information storage unit 230 based on the user operation. In addition, the display control unit 260 changes the display mode of the selection operation support image superimposed on the captured image based on the posture information regarding the posture detected by the posture detection unit 290. The display control unit 260 corresponds to, for example, the display controller 122 illustrated in FIG.

表示部２６１は、表示制御部２６０により選択操作支援画像が重畳された画像を表示するものである。また、選択操作支援画像が重畳されていない場合には、撮像部２００により生成された画像のみが表示される。表示部２６１は、例えば、図１に示すカラー液晶表示部１３１およびファインダ１３５に対応する。   The display unit 261 displays an image on which the selection operation support image is superimposed by the display control unit 260. When the selection operation support image is not superimposed, only the image generated by the imaging unit 200 is displayed. The display unit 261 corresponds to, for example, the color liquid crystal display unit 131 and the finder 135 shown in FIG.

記録制御部２７０は、操作受付部３１０により受け付けられた操作内容に応じて、撮像部２００から出力された撮像画像を記録部２７１に記録させるものである。記録制御部２７０は、例えば、図１に示すドライブコントローラ１２４に対応する。   The recording control unit 270 causes the recording unit 271 to record the captured image output from the imaging unit 200 in accordance with the operation content received by the operation receiving unit 310. The recording control unit 270 corresponds to, for example, the drive controller 124 illustrated in FIG.

記録部２７１は、記録制御部２７０の制御に基づいて、撮像部２００から出力された撮像画像を記録するものである。記録部２７１は、例えば、図１に示すリムーバブルメディア１２５に対応する。   The recording unit 271 records the captured image output from the imaging unit 200 based on the control of the recording control unit 270. The recording unit 271 corresponds to, for example, the removable medium 125 illustrated in FIG.

基準対象物選択部２８０は、選択操作受付部３００により受け付けられた操作入力に応じて、選択操作支援画像保持部２５０に顔情報が保持されている複数の対象物のうちから、基準対象物を選択するものである。そして、基準対象物選択部２８０は、選択された基準対象物に関する選択情報（例えば、図６に示す選択操作支援画像識別番号２５１）を選択操作内容決定部２４０に出力する。なお、基準対象物選択部２８０は、例えば、図１に示すＣＰＵ１１９に対応する。   The reference object selection unit 280 selects a reference object from among a plurality of objects whose face information is held in the selection operation support image holding unit 250 according to the operation input received by the selection operation receiving unit 300. To choose. Then, the reference object selection unit 280 outputs selection information related to the selected reference object (for example, the selection operation support image identification number 251 shown in FIG. 6) to the selection operation content determination unit 240. The reference object selection unit 280 corresponds to, for example, the CPU 119 illustrated in FIG.

姿勢検出部２９０は、撮像装置１００の加速度、動き、傾き等を検出することにより撮像装置１００の姿勢を検出するものであり、検出された姿勢に関する姿勢情報を選択操作内容決定部２４０に出力する。姿勢検出部２９０は、例えば、ジャイロセンサにより実現することができる。   The posture detection unit 290 detects the posture of the imaging device 100 by detecting acceleration, movement, tilt, and the like of the imaging device 100, and outputs posture information regarding the detected posture to the selection operation content determination unit 240. . The posture detection unit 290 can be realized by a gyro sensor, for example.

選択操作受付部３００は、表示部２６１に表示されている選択操作支援画像に応じて行われた操作内容を受け付けるものであり、受け付けられた操作内容を基準対象物選択部２８０に出力する。選択操作受付部３００は、例えば、図２に示すリング型操作部材１４３に対応する。また、選択操作受付部３００は、特許請求の範囲に記載の操作受付部の一例である。   The selection operation accepting unit 300 accepts the operation content performed according to the selection operation support image displayed on the display unit 261, and outputs the accepted operation content to the reference object selection unit 280. The selection operation receiving unit 300 corresponds to, for example, the ring type operation member 143 shown in FIG. The selection operation reception unit 300 is an example of an operation reception unit described in the claims.

操作受付部３１０は、ユーザにより行われた操作内容を受け付けるものであり、受け付けられた操作内容を選択操作内容決定部２４０、表示制御部２６０および記録制御部２７０に出力する。操作受付部３１０は、例えば、図１に示す操作部１２３およびタッチパネル１３２に対応する。   The operation reception unit 310 receives operation details performed by the user, and outputs the received operation details to the selection operation content determination unit 240, the display control unit 260, and the recording control unit 270. The operation reception unit 310 corresponds to, for example, the operation unit 123 and the touch panel 132 illustrated in FIG.

ここで、顔検出部２１０、顔識別部２２０、表示制御部２６０および記録制御部２７０については、ソフトウェア（コンピュータプログラム）を実行するＣＰＵ１１９により実現するようにしてもよい。すなわち、これらについては、ハードウェアとして構成するようにしてもよく、ソフトウェアとして構成するようにしてもよい。また、ソフトウェアおよびハードウェアの組み合わせとしても構成するようにしてもよい。   Here, the face detection unit 210, the face identification unit 220, the display control unit 260, and the recording control unit 270 may be realized by the CPU 119 that executes software (computer program). That is, these may be configured as hardware or software. Further, it may be configured as a combination of software and hardware.

図５は、本発明の第１の実施の形態における特定人物情報記憶部２３０に記憶されている各情報を模式的に示す図である。特定人物情報記憶部２３０には、ユーザにより予め登録されている人物（特定人物）に関する特定人物情報が記憶されている。具体的には、特定人物情報記憶部２３０には、特定人物識別番号２３１と、登録名称２３２と、特徴量２３３と、登録顔画像２３４とが関連付けて記憶されている。   FIG. 5 is a diagram schematically showing each piece of information stored in the specific person information storage unit 230 according to the first embodiment of the present invention. The specific person information storage unit 230 stores specific person information related to a person (specific person) registered in advance by the user. Specifically, the specific person information storage unit 230 stores a specific person identification number 231, a registered name 232, a feature amount 233, and a registered face image 234 in association with each other.

特定人物識別番号２３１は、特定人物情報記憶部２３０に特定人物情報が記憶されている各特定人物を管理するための識別情報であり、例えば、登録された順番に「＃１」、「＃２」に関連付けられて特定人物情報が記憶される。   The specific person identification number 231 is identification information for managing each specific person whose specific person information is stored in the specific person information storage unit 230. For example, “# 1” and “# 2” are registered in order of registration. The specific person information is stored in association with “”.

登録名称２３２には、特定人物情報記憶部２３０に特定人物情報が記憶されている各特定人物に関する名称（氏名や通称等）が記憶される。例えば、特定人物情報記憶部２３０に特徴量および登録顔画像を登録する際に特定人物の名称がユーザにより入力され、この入力された名称が登録名称２３２として記憶される。図５では、登録名称２３２として、各特定人物の名字が記憶されている場合を示す。   The registered name 232 stores a name (name, common name, etc.) relating to each specific person whose specific person information is stored in the specific person information storage unit 230. For example, when a feature amount and a registered face image are registered in the specific person information storage unit 230, the name of the specific person is input by the user, and the input name is stored as the registered name 232. FIG. 5 shows a case where the last name of each specific person is stored as the registered name 232.

特徴量２３３には、特定人物情報記憶部２３０に特定人物情報が記憶されている各特定人物に関する特徴量が記憶される。この特徴量は、画像から検出された顔が特定人物の顔に該当するか否かを識別するために用いられる判定情報であり、例えば、顔を構成する目や鼻、口、眉等の各部の位置関係や形状を認識するための顔画像の特徴や特性を示すデータを用いることができる。この特徴量として、例えば、特定人物の顔を含む顔画像から、色や輝度等の値に基づいて抽出されるデータを用いることができる。なお、図５では、特徴量２３３の内容を省略して示す。   The feature amount 233 stores the feature amount related to each specific person whose specific person information is stored in the specific person information storage unit 230. This feature amount is determination information used for identifying whether or not the face detected from the image corresponds to the face of a specific person. For example, each part such as eyes, nose, mouth, and eyebrows constituting the face Data indicating the characteristics and characteristics of the face image for recognizing the positional relationship and shape of the image can be used. As this feature amount, for example, data extracted from a face image including the face of a specific person based on values such as color and brightness can be used. In FIG. 5, the content of the feature amount 233 is omitted.

登録顔画像２３４には、特定人物情報記憶部２３０に特定人物情報が記憶されている各特定人物に関する顔画像の画像データ（圧縮または非圧縮）が記憶される。なお、図５では、登録顔画像２３４に記憶されている顔画像の画像データを図形化して示す。登録顔画像２３４に記憶されている顔画像は、例えば、図２５（ａ）乃至図２８（ａ）に示すように、撮像画像と同時に選択操作補助画像として表示部２６１に表示させることができる。また、登録顔画像２３４に記憶されている顔画像は、例えば、ユーザからの指示操作により表示部２６１に表示させることができる。これにより、登録されている特定人物の顔をユーザが随時確認することができる。   The registered face image 234 stores face image image data (compressed or uncompressed) related to each specific person whose specific person information is stored in the specific person information storage unit 230. In FIG. 5, the image data of the face image stored in the registered face image 234 is shown as a graphic. For example, as shown in FIGS. 25A to 28A, the face image stored in the registered face image 234 can be displayed on the display unit 261 as a selection operation auxiliary image simultaneously with the captured image. Further, the face image stored in the registered face image 234 can be displayed on the display unit 261 by an instruction operation from the user, for example. Thereby, the user can confirm the face of the registered specific person at any time.

なお、図５では、特定人物として５人の人物に関する特定人物情報が特定人物情報記憶部２３０に記憶されている場合を例にして示す。例えば、特定人物識別番号２３１「＃１」には「田中」氏に関する特定人物情報が記憶され、特定人物識別番号２３１「＃２」には「山田」氏に関する特定人物情報が記憶されているものとする。また、特定人物識別番号２３１「＃３」には「佐藤」氏に関する特定人物情報が記憶され、特定人物識別番号２３１「＃４」には「志村」氏に関する特定人物情報が記憶されているものとする。また、特定人物識別番号２３１「＃５」には「鈴木」氏に関する特定人物情報が記憶されているものとする。   FIG. 5 shows an example in which specific person information regarding five persons is stored in the specific person information storage unit 230 as specific persons. For example, the specific person identification number 231 “# 1” stores specific person information regarding “Tanaka”, and the specific person identification number 231 “# 2” stores specific person information regarding “Yamada”. And The specific person identification number 231 “# 3” stores specific person information related to “Sato”, and the specific person identification number 231 “# 4” stores specific person information related to “Shimura”. And Further, it is assumed that specific person information relating to Mr. “Suzuki” is stored in the specific person identification number 231 “# 5”.

図６は、本発明の第１の実施の形態における選択操作支援画像保持部２５０に保持されている内容を概略的に示す図である。選択操作支援画像保持部２５０には、選択操作支援画像識別番号２５１と、選択操作支援画像２５２と、顔情報２５３と、特定人物番号２５４とが保持されている。なお、図６に示す例では、画像に含まれる複数の人物のうち、５人の顔に選択操作支援画像を付して表示する場合における選択操作支援画像保持部２５０について説明する。   FIG. 6 is a diagram schematically showing the contents held in the selection operation support image holding unit 250 according to the first embodiment of the present invention. The selection operation support image holding unit 250 holds a selection operation support image identification number 251, a selection operation support image 252, face information 253, and a specific person number 254. In the example illustrated in FIG. 6, the selection operation support image holding unit 250 in the case where a selection operation support image is added to and displayed on the faces of five people among a plurality of persons included in the image will be described.

選択操作支援画像識別番号２５１は、選択操作支援画像を管理するための識別情報であり、例えば、選択操作支援画像が種類毎に「＃１１」乃至「＃１５」に関連付けられて記憶される。   The selection operation support image identification number 251 is identification information for managing the selection operation support image. For example, the selection operation support image is stored in association with “# 11” to “# 15” for each type.

選択操作支援画像２５２には、画像に含まれる複数の顔から所望の顔を選択するための選択操作内容を示す選択操作支援画像２５５乃至２５９のテンプレート画像が記憶される。図６に示す例では、画像に含まれる複数の顔に、５種類のリング型の選択操作支援画像２５５乃至２５９を付す場合を例にして示す。例えば、選択操作支援画像識別番号２５１「＃１１」には、ユーザ操作や予め設定されている条件等に基づいて決定された基準顔に付される選択操作支援画像２５５が記憶されている。また、選択操作支援画像識別番号２５１「＃１２」乃至「＃１５」には、基準顔以外の顔に付される選択操作支援画像２５６乃至２５９が記憶されている。これらの選択操作支援画像２５５乃至２５９が、撮像画像に含まれる各顔を囲むように付され、撮像画像に重ねて合成される。また、選択操作支援画像２５５乃至２５９は、検出された各顔の撮像画像におけるサイズに応じて拡大または縮小され、検出された顔を囲むように、拡大または縮小後の選択操作支援画像が撮像画像に重畳される。このように選択操作支援画像２５５乃至２５９を表示することにより、撮像画像に含まれる複数の顔から所望の顔を選択するための選択操作内容を、その顔の位置に関連付けてユーザに提供することができる。なお、選択操作支援画像については、図７および図８を参照して詳細に説明する。また、選択操作支援画像の配置およびその重畳については、図９乃至図３２等を参照して詳細に説明する。   In the selection operation support image 252, template images of selection operation support images 255 to 259 indicating the selection operation content for selecting a desired face from a plurality of faces included in the image are stored. In the example illustrated in FIG. 6, a case where five types of ring-type selection operation support images 255 to 259 are attached to a plurality of faces included in the image is illustrated as an example. For example, the selection operation support image identification number 251 “# 11” stores a selection operation support image 255 attached to a reference face determined based on a user operation, a preset condition, or the like. Further, selection operation support images 256 to 259 attached to faces other than the reference face are stored in the selection operation support image identification numbers 251 “# 12” to “# 15”. These selection operation support images 255 to 259 are attached so as to surround each face included in the captured image, and are superimposed on the captured image. Further, the selection operation support images 255 to 259 are enlarged or reduced according to the size of the detected image of each face, and the selection operation support image after being enlarged or reduced so as to surround the detected face is a captured image. Is superimposed on. By displaying the selection operation support images 255 to 259 as described above, the selection operation content for selecting a desired face from a plurality of faces included in the captured image is provided to the user in association with the position of the face. Can do. The selection operation support image will be described in detail with reference to FIG. 7 and FIG. The arrangement and superimposition of the selection operation support image will be described in detail with reference to FIGS. 9 to 32 and the like.

顔情報２５３には、顔検出部２１０により検出された顔に関する顔情報が記憶される。ここで、顔情報として、例えば、顔検出部２１０により検出され顔の撮像画像における位置（Ｘ，Ｙ）およびサイズ（Ｈ，Ｗ）が顔情報２５３に記憶される。具体的には、選択操作支援画像識別番号２５１「＃１１」には、ユーザ操作または予め設定されている条件に基づいて決定された基準顔に関する顔情報が記憶される。また、選択操作支援画像識別番号２５１「＃１２」乃至「＃１５」には、選択操作内容決定部２４０により選択操作内容が決定された基準顔以外の顔に関する顔情報が記憶される。この顔情報２５３に記憶された顔情報に対応する顔に、その顔情報に関連付けて選択操作支援画像２５２に記憶されている選択操作支援画像が付される。なお、撮像画像から検出された顔が５人未満の場合には、その検出された顔の数だけ顔情報２５３に顔情報が記憶される。また、撮像画像から検出された顔が６人以上の場合には、例えば、予め設定された優先順位に従って顔情報が顔情報２５３に記憶される。例えば、特定人物の顔（登録顔）が検出された場合には、その登録顔に関する顔情報を優先して顔情報２５３に記憶する。また、例えば、６人以上の登録顔が検出された場合には、予め設定されている登録顔の優先順位に従ってその登録顔に関する顔情報を顔情報２５３に記憶する。また、６人以上の顔が検出されたが、そのうち登録顔が５人未満である場合には、例えば、顔検出部２１０による顔検出処理の際に算出される評価値が高い顔を優先して顔情報を顔情報２５３に記憶する。   In the face information 253, face information related to the face detected by the face detection unit 210 is stored. Here, as the face information, for example, the position (X, Y) and the size (H, W) in the captured image of the face detected by the face detection unit 210 are stored in the face information 253. Specifically, the selection operation support image identification number 251 “# 11” stores face information related to a reference face determined based on a user operation or a preset condition. In addition, in the selection operation support image identification numbers 251 “# 12” to “# 15”, face information related to faces other than the reference face whose selection operation content is determined by the selection operation content determination unit 240 is stored. A selection operation support image stored in the selection operation support image 252 in association with the face information is attached to the face corresponding to the face information stored in the face information 253. When the number of faces detected from the captured image is less than five, face information is stored in the face information 253 by the number of detected faces. When there are six or more faces detected from the captured image, for example, face information is stored in the face information 253 according to a preset priority order. For example, when a face (registered face) of a specific person is detected, the face information related to the registered face is preferentially stored in the face information 253. Further, for example, when six or more registered faces are detected, face information relating to the registered faces is stored in the face information 253 in accordance with a preset priority order of registered faces. In addition, when six or more faces are detected, and the number of registered faces is less than five, for example, a face with a high evaluation value calculated during the face detection process by the face detection unit 210 is given priority. The face information is stored in the face information 253.

特定人物番号２５４には、顔検出部２１０により検出された顔のうち、顔識別部２２０により登録顔であると識別された顔について、その特定人物の特定人物識別番号２３１（図５に示す）が記憶される。なお、顔識別部２２０により登録顔であるとは識別されていない顔については、特定人物識別番号２３１は記憶されない。   Among the faces detected by the face detection unit 210, the specific person identification number 231 (shown in FIG. 5) of the specific person for the face identified by the face identification unit 220 as a registered face is included in the specific person number 254. Is memorized. Note that the specific person identification number 231 is not stored for a face that is not identified as a registered face by the face identification unit 220.

なお、選択操作支援画像保持部２５０の保持内容は、例えば、選択操作内容決定部２４０によりフレーム毎に順次更新される。例えば、選択操作支援画像保持部２５０に保持された顔に関する顔情報は、選択操作内容決定部２４０による追尾処理により追尾されて更新される。   Note that the content held in the selection operation support image holding unit 250 is sequentially updated for each frame by the selection operation content determination unit 240, for example. For example, the face information related to the face held in the selection operation support image holding unit 250 is tracked and updated by the tracking process by the selection operation content determination unit 240.

［リング型操作部材の操作例］
図７は、本発明の第１の実施の形態における撮像装置１００の外観と、リング型操作部材１４３の操作領域とを示す図である。図７（ａ）には、撮像装置１００の背面側の外観を示す。図７（ａ）に示す撮像装置１００は、図２（ｂ）に示す撮像装置１００に、正面側に設けられているリング型操作部材１４３を破線で示したものである。例えば、図３に示すように、撮影時には、撮影者１５０の顔は撮像装置１００の背面側と向き合うことになる。そこで、図７では、撮影時における撮影者からの視線を考慮して、撮像装置１００の背面側から見た場合におけるリング型操作部材１４３の選択操作内容を例にして説明する。また、図７では、説明の容易のため、リング型操作部材１４３の１２時の位置（撮像装置１００の垂直方向における上端部の位置）を基準位置１７０として説明する。また、図７において、矢印１６１および１６２は、リング型操作部材１４３の操作方向を示す矢印である。例えば、図３に示すように、撮影者１５０がリング型操作部材１４３を左手１５２で握っている状態で、リング型操作部材１４３を矢印１６１または１６２の方向に回転させることができる。 [Example of operation of ring type operation member]
FIG. 7 is a diagram illustrating the appearance of the imaging apparatus 100 and the operation region of the ring-type operation member 143 according to the first embodiment of the present invention. FIG. 7A shows an appearance of the back side of the imaging apparatus 100. The imaging device 100 shown in FIG. 7A is a diagram in which the ring type operation member 143 provided on the front side of the imaging device 100 shown in FIG. For example, as shown in FIG. 3, at the time of shooting, the face of the photographer 150 faces the back side of the imaging device 100. Therefore, in FIG. 7, the content of selection operation of the ring-type operation member 143 when viewed from the back side of the imaging apparatus 100 will be described as an example in consideration of the line of sight from the photographer at the time of shooting. In FIG. 7, for ease of explanation, the 12 o'clock position of the ring type operation member 143 (the position of the upper end portion in the vertical direction of the imaging apparatus 100) will be described as the reference position 170. In FIG. 7, arrows 161 and 162 are arrows indicating the operating direction of the ring-type operating member 143. For example, as shown in FIG. 3, the ring type operation member 143 can be rotated in the direction of the arrow 161 or 162 while the photographer 150 is holding the ring type operation member 143 with the left hand 152.

図７（ｂ）には、リング型操作部材１４３の操作領域を円状に模式的に示す。図７（ｂ）に示す円状のリング型操作部材１４３の操作領域は、例えば、図７（ａ）に示す基準位置１７０の移動経路に対応する。ここで、本発明の第１の実施の形態では、図６に示すように、５種類の選択操作支援画像２５５乃至２５９を表示させる。そこで、選択操作支援画像２５５乃至２５９により表される操作方向および操作範囲に対応するように、リング型操作部材１４３の操作領域が設定される。リング型操作部材１４３の操作領域として、例えば、不感領域１７１および１７２と、操作領域１７３乃至１７５とが設定される。ここで、不感領域１７１および１７２と、操作領域１７３乃至１７５とは、リング型操作部材１４３の基準位置１７０の移動経路に対応する領域である。また、不感領域１７１に対応する角度を角度θ１とし、不感領域１７２に対応する角度を角度θ２とし、操作領域１７３に対応する角度を角度θ３とし、操作領域１７４に対応する角度を角度θ４とする。なお、図７（ｂ）では、リング型操作部材１４３の基準位置１７０の移動経路において、操作領域１７３および１７４に対応する部分を太線で示す。また、リング型操作部材１４３の基準位置１７０の移動経路において、操作領域１７５に対応する部分の外側を太線で示す。なお、リング型操作部材１４３の操作範囲と、図６に示す選択操作支援画像２５５乃至２５９との関係を図８に示す。   FIG. 7B schematically shows the operation area of the ring-type operation member 143 in a circular shape. The operation area of the circular ring-shaped operation member 143 shown in FIG. 7B corresponds to the movement path of the reference position 170 shown in FIG. 7A, for example. Here, in the first embodiment of the present invention, as shown in FIG. 6, five types of selection operation support images 255 to 259 are displayed. Therefore, the operation region of the ring-type operation member 143 is set so as to correspond to the operation direction and the operation range represented by the selection operation support images 255 to 259. For example, insensitive areas 171 and 172 and operation areas 173 to 175 are set as operation areas of the ring-type operation member 143. Here, the insensitive areas 171 and 172 and the operation areas 173 to 175 are areas corresponding to the movement path of the reference position 170 of the ring type operation member 143. In addition, an angle corresponding to the insensitive area 171 is an angle θ1, an angle corresponding to the insensitive area 172 is an angle θ2, an angle corresponding to the operation area 173 is an angle θ3, and an angle corresponding to the operation area 174 is an angle θ4. . In FIG. 7B, portions corresponding to the operation areas 173 and 174 in the movement path of the reference position 170 of the ring-type operation member 143 are indicated by bold lines. Further, in the movement route of the reference position 170 of the ring type operation member 143, the outside of the portion corresponding to the operation region 175 is indicated by a bold line. FIG. 8 shows the relationship between the operation range of the ring-type operation member 143 and the selection operation support images 255 to 259 shown in FIG.

図８は、本発明の第１の実施の形態におけるリング型操作部材１４３の操作範囲と、選択操作支援画像保持部２５０に保持されている選択操作支援画像２５５乃至２５９との関係を示す図である。なお、図８では、リング型操作部材１４３の基準位置１７０の移動経路を示す円上において、リング型操作部材１４３の操作範囲１８１乃至１８５を太線で示す。また、リング型操作部材１４３の操作範囲と、選択操作支援画像２５５乃至２５９との関係については、図７を参照して詳細に説明する。   FIG. 8 is a diagram illustrating a relationship between the operation range of the ring-type operation member 143 and the selection operation support images 255 to 259 held in the selection operation support image holding unit 250 according to the first embodiment of the present invention. is there. In FIG. 8, the operation ranges 181 to 185 of the ring type operation member 143 are indicated by bold lines on the circle indicating the movement path of the reference position 170 of the ring type operation member 143. In addition, the relationship between the operation range of the ring-type operation member 143 and the selection operation support images 255 to 259 will be described in detail with reference to FIG.

図７（ｂ）に示す不感領域１７１および１７２は、これらに対応する角度θ１およびθ２の回転が検出されても撮像者による操作とみなさずに操作を受け付けない領域である。なお、不感領域１７１および１７２は、図８（ａ）に示す操作範囲１８１に対応する。ここで、図８（ａ）に示す選択操作支援画像２５５は、撮像画像に含まれる複数の顔のうち、基準顔として選択されている顔に付される選択操作支援画像である。この選択操作支援画像２５５を構成する実線の楕円には、１２時の位置に、実線の線幅よりも直径の大きな黒丸を付す。この黒丸は、例えば、リング型操作部材１４３の基準位置１７０を模式的に示すものである。   Insensitive areas 171 and 172 shown in FIG. 7B are areas in which even if rotations of the angles θ1 and θ2 corresponding thereto are detected, they are not regarded as operations by the photographer and operations are not accepted. Note that the insensitive areas 171 and 172 correspond to the operation range 181 shown in FIG. Here, the selection operation support image 255 illustrated in FIG. 8A is a selection operation support image attached to the face selected as the reference face among the plurality of faces included in the captured image. A black circle having a diameter larger than the line width of the solid line is attached to the solid oval constituting the selection operation support image 255 at the 12 o'clock position. This black circle schematically shows the reference position 170 of the ring type operating member 143, for example.

ここで、不感領域１７１および１７２に対応する角度θ１およびθ２として、例えば、１、２度程度の比較的小さい値を設定することができる。ただし、リング型操作部材の回転トルクやリング径等の操作部材自体の機能や、撮影者の操作能力によって適切な範囲が変わるため、それぞれに応じた適切な不感領域の範囲を設定することが望ましい。また、不感領域の範囲を撮影者の手動操作により設定するようにしてもよい。例えば、リング型操作部材の回転トルクが軽い場合には、撮像者が意図していなくても若干の回転が発生することが想定される。このため、不感領域の範囲を比較的大きく設定することが好ましい。また、リング型操作部材のリング径が比較的小さい場合には、撮影者の指の動きだけでもリングが動くことが想定される。このため、不感領域の範囲を比較的大きく設定することが好ましい。一方、リング型操作部材のリング径が比較的大きい場合には、撮影者の手首を使わないと回転が発生しないことも想定される。そこで、このような場合には、不感領域の範囲を比較的小さく設定することが好ましい。   Here, as the angles θ1 and θ2 corresponding to the insensitive areas 171 and 172, for example, a relatively small value of about 1 or 2 degrees can be set. However, since the appropriate range varies depending on the function of the operation member itself such as the rotational torque and ring diameter of the ring-type operation member and the operation ability of the photographer, it is desirable to set an appropriate insensitive range corresponding to each. . Further, the range of the insensitive area may be set by a manual operation of the photographer. For example, when the rotational torque of the ring-type operation member is light, it is assumed that slight rotation occurs even if the photographer does not intend. For this reason, it is preferable to set the range of the insensitive area relatively large. Further, when the ring diameter of the ring type operation member is relatively small, it is assumed that the ring moves only by the movement of the photographer's finger. For this reason, it is preferable to set the range of the insensitive area relatively large. On the other hand, when the ring diameter of the ring-type operation member is relatively large, it is assumed that rotation does not occur unless the photographer's wrist is used. Therefore, in such a case, it is preferable to set the range of the insensitive area to be relatively small.

操作領域１７３は、図８（ｂ）に示す選択操作支援画像２５６に対応する操作を実行するための操作範囲１８２に対応する領域である。例えば、選択操作支援画像２５６が付されている顔を基準顔として選択するための選択操作を撮影者が行う場合には、基準位置１７０が操作範囲１８２の範囲内となるようにリング型操作部材１４３を矢印１６１方向に回転させて停止させる。ここで、図８（ｂ）に示す選択操作支援画像２５６は、撮像画像に含まれる複数の顔のうち、基準顔以外の顔に付される選択操作支援画像である。この選択操作支援画像２５６を構成する楕円には、選択操作支援画像２５５と同様に、１２時の位置に、リング型操作部材１４３の基準位置１７０を模式的に示す黒丸を付す。また、選択操作支援画像２５６を構成する楕円には、その黒丸を基点として、ＣＣＷ（Counter ClockWise：反時計回り）方向に略１０時の位置に向かって伸びる実線の矢印を付す。この矢印は、例えば、選択操作支援画像２５５の楕円と同じ太さとする。また、選択操作支援画像２５６を構成する楕円上における矢印部分以外の他の部分は、矢印よりも細い点線で構成する。このように、選択操作支援画像２５６を構成する楕円に付された矢印により、選択操作支援画像２５６が付された顔を選択するために必要なリング型操作部材１４３の操作方向と操作範囲を表すことができる。   The operation area 173 is an area corresponding to an operation range 182 for executing an operation corresponding to the selection operation support image 256 illustrated in FIG. For example, when the photographer performs a selection operation for selecting the face with the selection operation support image 256 as the reference face, the ring-type operation member is set so that the reference position 170 is within the operation range 182. 143 is rotated in the direction of arrow 161 to stop. Here, the selection operation support image 256 shown in FIG. 8B is a selection operation support image attached to a face other than the reference face among a plurality of faces included in the captured image. As with the selection operation support image 255, a black circle schematically showing the reference position 170 of the ring type operation member 143 is attached to the ellipse constituting the selection operation support image 256 at the 12 o'clock position. The ellipse constituting the selection operation support image 256 is attached with a solid arrow extending from the black circle as a base point toward the approximately 10 o'clock position in the CCW (Counter ClockWise) direction. For example, the arrow has the same thickness as the ellipse of the selection operation support image 255. In addition, the other part other than the arrow part on the ellipse constituting the selection operation support image 256 is constituted by a dotted line thinner than the arrow. As described above, the operation direction and the operation range of the ring type operation member 143 necessary for selecting the face to which the selection operation support image 256 is attached are represented by the arrows attached to the ellipses constituting the selection operation support image 256. be able to.

具体的には、撮影者が選択操作支援画像２５６に対応する操作を実行する場合には、図７（ｂ）に示すように、リング型操作部材１４３を矢印１６１方向にθ（θ１＋θ３≧θ＞θ１）度回転させて停止させる。この回転操作がユーザにより行われると、その操作方向および操作量が選択操作受付部３００から基準対象物選択部２８０に出力される。そして、基準対象物選択部２８０は、その操作方向および操作量に基づいて、選択操作支援画像保持部２５０に顔情報が保持されている顔から、基準顔として選択すべき顔を選択する。すなわち、選択操作支援画像２５６が付された顔が基準顔として選択される。そして、新たに選択された基準顔に関する選択情報（例えば、その選択された顔情報に関連付けられている選択操作支援画像識別番号）が選択操作内容決定部２４０に出力され、選択操作内容決定部２４０はその基準顔に基づいて他の顔の選択操作内容を決定する。そして、選択操作内容決定部２４０は、決定された新たな基準顔および他の顔の選択操作内容に基づいて、選択操作支援画像保持部２５０の内容を更新する。   Specifically, when the photographer performs an operation corresponding to the selection operation support image 256, as shown in FIG. Rotate to stop by θ1) degrees. When the rotation operation is performed by the user, the operation direction and the operation amount are output from the selection operation reception unit 300 to the reference object selection unit 280. Then, the reference object selection unit 280 selects a face to be selected as the reference face from the faces whose face information is held in the selection operation support image holding unit 250 based on the operation direction and the operation amount. That is, the face with the selection operation support image 256 is selected as the reference face. Then, selection information related to the newly selected reference face (for example, a selection operation support image identification number associated with the selected face information) is output to the selection operation content determination unit 240, and the selection operation content determination unit 240 is selected. Determines the operation of selecting another face based on the reference face. Then, the selection operation content determination unit 240 updates the content of the selection operation support image holding unit 250 based on the determined new reference face and other face selection operation content.

ここで、基準対象物選択部２８０により行われるリング型操作部材１４３の回転操作の停止判断について説明する。例えば、撮像部２００により生成される撮像画像が、１フレーム＝３０ｆｐｓ（frame per second）とする。この場合において、リング型操作部材１４３が矢印１６１方向に回転操作された後に、１ｆｐｓ当たりの回転検出量（操作量）が１度以内となった場合に、撮像者による回転操作が停止したと判断することができる。また、例えば、リング型操作部材１４３が矢印１６１方向に回転操作された後に、その逆方向（すなわち、矢印１６２方向）の回転が検出された場合に、撮像者による回転操作が停止したと判断することができる。このように、リング型操作部材１４３の回転操作の停止を判断することにより、撮像者による回転操作の直後に基準顔を迅速に選択させることができる。   Here, the stop determination of the rotation operation of the ring type operation member 143 performed by the reference object selection unit 280 will be described. For example, assume that the captured image generated by the imaging unit 200 is 1 frame = 30 fps (frame per second). In this case, when the rotation detection amount (operation amount) per 1 fps is within 1 degree after the ring-type operation member 143 is rotated in the direction of the arrow 161, it is determined that the rotation operation by the photographer has stopped. can do. Further, for example, when the rotation of the ring-type operation member 143 is rotated in the direction of the arrow 161 and then the rotation in the opposite direction (that is, the direction of the arrow 162) is detected, it is determined that the rotation operation by the photographer has stopped. be able to. Thus, by determining the stop of the rotation operation of the ring-type operation member 143, the reference face can be quickly selected immediately after the rotation operation by the photographer.

操作領域１７４は、図８（ｄ）に示す選択操作支援画像２５８に対応する操作を実行するための操作範囲１８４に対応する領域である。例えば、選択操作支援画像２５８が付されている顔を基準顔として選択するための選択操作を撮影者が行う場合には、基準位置１７０が操作範囲１８４の範囲内となるようにリング型操作部材１４３を矢印１６２方向に回転させて停止させる。ここで、図８（ｄ）に示す選択操作支援画像２５８は、撮像画像に含まれる複数の顔のうち、基準顔以外の顔に付される選択操作支援画像である。この選択操作支援画像２５８を構成する楕円には、選択操作支援画像２５５と同様に、１２時の位置に、リング型操作部材１４３の基準位置１７０を模式的に示す黒丸を付す。また、選択操作支援画像２５８を構成する楕円には、その黒丸を基点として、ＣＷ（ClockWise：時計回り）方向に略２時の位置に向かって伸びる実線の矢印を付す。この矢印は、例えば、選択操作支援画像２５５の楕円と同じ太さとする。また、選択操作支援画像２５８を構成する楕円上における矢印部分以外の他の部分は、矢印よりも細い点線で構成する。このように、選択操作支援画像２５８を構成する楕円に付された矢印により、選択操作支援画像２５８が付された顔を選択するために必要なリング型操作部材１４３の操作方向と操作範囲を表すことができる。具体的には、撮影者が選択操作支援画像２５８に対応する操作を実行する場合には、図７（ｂ）に示すように、リング型操作部材１４３を矢印１６２方向にθ（θ２＋θ４≧θ＞θ２）度回転させて停止させる。この回転操作がユーザにより行われると、その操作方向および操作量が選択操作受付部３００から基準対象物選択部２８０に出力される。そして、基準対象物選択部２８０による基準顔選択処理および選択操作内容決定部２４０による選択操作内容決定処理が行われる。なお、リング型操作部材１４３の回転操作の停止判断については、操作領域１７３と同様であるため、ここでの説明を省略する。   The operation area 174 is an area corresponding to the operation range 184 for executing an operation corresponding to the selection operation support image 258 shown in FIG. For example, when the photographer performs a selection operation for selecting the face with the selection operation support image 258 as the reference face, the ring type operation member is set so that the reference position 170 is within the operation range 184. 143 is rotated in the direction of the arrow 162 and stopped. Here, the selection operation support image 258 illustrated in FIG. 8D is a selection operation support image attached to a face other than the reference face among the plurality of faces included in the captured image. As with the selection operation support image 255, a black circle schematically showing the reference position 170 of the ring type operation member 143 is attached to the ellipse constituting the selection operation support image 258 at the 12 o'clock position. In addition, the ellipse constituting the selection operation support image 258 is attached with a solid arrow extending toward the approximately 2 o'clock position in the CW (ClockWise) direction with the black circle as a base point. For example, the arrow has the same thickness as the ellipse of the selection operation support image 255. Further, the other part other than the arrow part on the ellipse constituting the selection operation support image 258 is constituted by a dotted line thinner than the arrow. As described above, the operation direction and the operation range of the ring-type operation member 143 necessary for selecting the face to which the selection operation support image 258 is attached are represented by the arrows attached to the ellipses constituting the selection operation support image 258. be able to. Specifically, when the photographer performs an operation corresponding to the selection operation support image 258, as shown in FIG. 7B, the ring type operation member 143 is moved in the direction of the arrow 162 to θ (θ2 + θ4 ≧ θ>). Rotate to stop by θ2) degrees. When the rotation operation is performed by the user, the operation direction and the operation amount are output from the selection operation reception unit 300 to the reference object selection unit 280. Then, a reference face selection process by the reference object selection unit 280 and a selection operation content determination process by the selection operation content determination unit 240 are performed. Note that the determination of stopping the rotation operation of the ring-type operation member 143 is the same as that in the operation region 173, and thus the description thereof is omitted here.

また、図８（ｃ）に示すように、撮影者が選択操作支援画像２５７に対応する操作を実行する場合には、基準位置１７０が操作範囲１８３の範囲内となるようにリング型操作部材１４３を矢印１６１方向に回転させる。ここで、図８（ｃ）に示す選択操作支援画像２５７は、撮像画像に含まれる複数の顔のうち、基準顔以外の顔に付される選択操作支援画像である。この選択操作支援画像２５７を構成する楕円には、選択操作支援画像２５５と同様に、１２時の位置に、リング型操作部材１４３の基準位置１７０を模式的に示す黒丸を付す。また、選択操作支援画像２５７を構成する楕円において、図８（ｂ）に示す選択操作支援画像２５６における矢印のＣＣＷ方向の終端の位置を基点として、ＣＣＷ方向に略８時の位置に向かって伸びる実線の矢印を付す。この矢印は、例えば、選択操作支援画像２５５の楕円と同じ太さとする。また、選択操作支援画像２５７を構成する楕円上における矢印部分以外の他の部分は、矢印よりも細い点線で構成する。このように、選択操作支援画像２５７を構成する楕円に付された矢印により、選択操作支援画像２５７が付された顔を選択するために必要なリング型操作部材１４３の操作方向と操作範囲を表すことができる。具体的には、撮影者が選択操作支援画像２５７に対応する操作を実行する場合には、図７（ｂ）に示すように、リング型操作部材１４３を矢印１６１方向にθ（θ＞θ１＋θ３）度回転させる。この回転操作がユーザにより行われると、その操作方向および操作量が選択操作受付部３００から基準対象物選択部２８０に出力される。そして、基準対象物選択部２８０による基準顔選択処理および選択操作内容決定部２４０による選択操作内容決定処理が行われる。   Further, as shown in FIG. 8C, when the photographer performs an operation corresponding to the selection operation support image 257, the ring type operation member 143 so that the reference position 170 is within the operation range 183. Is rotated in the direction of arrow 161. Here, the selection operation support image 257 illustrated in FIG. 8C is a selection operation support image attached to a face other than the reference face among the plurality of faces included in the captured image. As with the selection operation support image 255, a black circle schematically showing the reference position 170 of the ring type operation member 143 is attached to the ellipse constituting the selection operation support image 257 at the 12 o'clock position. Further, in the ellipse constituting the selection operation support image 257, the selection operation support image 256 shown in FIG. 8B extends from the end position of the arrow in the CCW direction as a base point toward the approximately 8 o'clock position in the CCW direction. A solid arrow is attached. For example, the arrow has the same thickness as the ellipse of the selection operation support image 255. Further, the other part other than the arrow part on the ellipse constituting the selection operation support image 257 is constituted by a dotted line thinner than the arrow. As described above, the operation direction and the operation range of the ring-type operation member 143 necessary for selecting the face to which the selection operation support image 257 is attached are represented by the arrows attached to the ellipses constituting the selection operation support image 257. be able to. Specifically, when the photographer performs an operation corresponding to the selection operation support image 257, as shown in FIG. 7B, the ring type operation member 143 is moved in the direction of the arrow 161 to θ (θ> θ1 + θ3). Rotate degrees. When the rotation operation is performed by the user, the operation direction and the operation amount are output from the selection operation reception unit 300 to the reference object selection unit 280. Then, a reference face selection process by the reference object selection unit 280 and a selection operation content determination process by the selection operation content determination unit 240 are performed.

ここで、基準対象物選択部２８０により行われるリング型操作部材１４３の回転操作の判断について説明する。撮影者が選択操作支援画像２５７に対応する操作を実行する場合には、例えば、リング型操作部材１４３の回転操作の停止を判断せずに、基準位置１７０が図７（ｂ）に示す操作領域１７３の範囲外となったことを条件に、その回転操作の操作量を判断する。すなわち、撮像者による回転操作の操作量が、矢印１６１方向にθ（θ＞θ１＋θ３）度を超えたと判断された場合に、回転操作の停止を判断することなく、基準顔を選択させることができる。例えば、矢印１６１方向に回転された状態で、図８（ｃ）に示す操作範囲１８３の範囲外となった場合でも、選択操作支援画像２５７に対応する操作であると判断するようにしてもよい。これにより、撮像者の回転操作に対して、遅延無く迅速な応答が可能である。   Here, determination of the rotation operation of the ring-type operation member 143 performed by the reference object selection unit 280 will be described. When the photographer performs an operation corresponding to the selection operation support image 257, for example, the reference position 170 is the operation region shown in FIG. 7B without determining stop of the rotation operation of the ring type operation member 143. On the condition that it is out of the range of 173, the operation amount of the rotation operation is determined. That is, when it is determined that the operation amount of the rotation operation by the photographer exceeds θ (θ> θ1 + θ3) in the arrow 161 direction, the reference face can be selected without determining the stop of the rotation operation. . For example, it may be determined that the operation corresponds to the selection operation support image 257 even when the operation is outside the range of the operation range 183 shown in FIG. . Thereby, a quick response can be made without delay to the rotation operation of the photographer.

ここで、撮像者による回転操作の操作量が、矢印１６１方向にθ（θ＞θ１＋θ３）度を超えたことを判断する判断方法について説明する。例えば、撮影者による回転操作状態が、次の（１）および（２）の何れの条件も満たした状態を維持しつつ、その操作量が矢印１６１方向にθ（θ＞θ１＋θ３）度を超えたことを判断条件とすることができる。
（１）逆方向（すなわち、矢印１６２方向）の回転が検出されないこと。
（２）撮像部２００により生成される撮像画像が、１フレーム＝３０ｆｐｓとする場合に、１ｆｐｓあたりに検出された回転量（操作量）が１度よりも小さくならないこと。 Here, a determination method for determining that the operation amount of the rotation operation by the photographer exceeds θ (θ> θ1 + θ3) in the arrow 161 direction will be described. For example, while the rotation operation state by the photographer maintains the state satisfying both of the following conditions (1) and (2), the operation amount exceeds θ (θ> θ1 + θ3) in the arrow 161 direction. This can be a judgment condition.
(1) The rotation in the reverse direction (that is, the direction of the arrow 162) is not detected.
(2) When the captured image generated by the imaging unit 200 is 1 frame = 30 fps, the rotation amount (operation amount) detected per 1 fps should not be smaller than 1 degree.

なお、回転操作状態は、単位時間当たりの回転検出量が、例えば、１度／ｆｐｓ以上の状態で、回転検出量が角度θ１よりも大きくなった状態とすることができる。また、この回転操作状態と判断された場合に、単位時間当たりの回転検出量が、例えば、１度／ｆｐｓ以上となった時点からの回転量を操作量とみなすようにしてもよい。   The rotation operation state can be a state in which the rotation detection amount per unit time is, for example, 1 degree / fps or more and the rotation detection amount is larger than the angle θ1. In addition, when it is determined that the rotation operation state is present, the rotation amount from the time when the rotation detection amount per unit time becomes, for example, 1 degree / fps or more may be regarded as the operation amount.

また、図８（ｅ）に示すように、撮影者が選択操作支援画像２５９に対応する操作を実行する場合には、基準位置１７０が操作範囲１８５の範囲内となるようにリング型操作部材１４３を矢印１６２方向に回転させる。ここで、図８（ｅ）に示す選択操作支援画像２５９は、撮像画像に含まれる複数の顔のうち、基準顔以外の顔に付される選択操作支援画像である。この選択操作支援画像２５９を構成する楕円には、選択操作支援画像２５５と同様に、１２時の位置に、リング型操作部材１４３の基準位置１７０を模式的に示す黒丸を付す。また、選択操作支援画像２５９を構成する楕円において、図８（ｄ）に示す選択操作支援画像２５８における矢印のＣＷ方向の終端の位置を基点として、ＣＷ方向に略４時の位置に向かって伸びる実線の矢印を付す。この矢印は、例えば、選択操作支援画像２５５の楕円と同じ太さとする。また、選択操作支援画像２５９を構成する楕円上における矢印部分以外の他の部分は、矢印よりも細い点線で構成する。このように、選択操作支援画像２５９を構成する楕円に付された矢印により、選択操作支援画像２５９が付された顔を選択するために必要なリング型操作部材１４３の操作方向と操作範囲を表すことができる。具体的には、撮影者が選択操作支援画像２５９に対応する操作を実行する場合には、図７（ｂ）に示すように、リング型操作部材１４３を矢印１６２方向にθ（θ＞θ２＋θ４）度回転させる。この回転操作がユーザにより行われると、その操作方向および操作量が選択操作受付部３００から基準対象物選択部２８０に出力される。そして、基準対象物選択部２８０による基準顔選択処理および選択操作内容決定部２４０による選択操作内容決定処理が行われる。   As shown in FIG. 8E, when the photographer performs an operation corresponding to the selection operation support image 259, the ring-type operation member 143 is set so that the reference position 170 is within the operation range 185. Is rotated in the direction of arrow 162. Here, the selection operation support image 259 shown in FIG. 8E is a selection operation support image attached to a face other than the reference face among a plurality of faces included in the captured image. As with the selection operation support image 255, a black circle schematically showing the reference position 170 of the ring type operation member 143 is attached to the ellipse constituting the selection operation support image 259 at the 12 o'clock position. Further, in the ellipse constituting the selection operation support image 259, the selection operation support image 258 shown in FIG. 8D extends from the end position of the arrow in the CW direction as a base point toward the approximately 4 o'clock position in the CW direction. A solid arrow is attached. For example, the arrow has the same thickness as the ellipse of the selection operation support image 255. Further, the other part other than the arrow part on the ellipse constituting the selection operation support image 259 is constituted by a dotted line thinner than the arrow. As described above, the operation direction and the operation range of the ring type operation member 143 necessary for selecting the face to which the selection operation support image 259 is attached are represented by the arrows attached to the ellipses constituting the selection operation support image 259. be able to. Specifically, when the photographer performs an operation corresponding to the selection operation support image 259, as shown in FIG. 7B, the ring-type operation member 143 is moved in the direction of the arrow 162 by θ (θ> θ2 + θ4). Rotate degrees. When the rotation operation is performed by the user, the operation direction and the operation amount are output from the selection operation reception unit 300 to the reference object selection unit 280. Then, a reference face selection process by the reference object selection unit 280 and a selection operation content determination process by the selection operation content determination unit 240 are performed.

なお、これらの回転操作の判断は一例であり、例えば、単位時間あたりの回転検出量の閾値は、リング型操作部材の設定トルクや回転検出分解能によって適切な数値が変わる可能性がある。このため、回転操作の判断に用いられる閾値として、撮像装置に応じて適切な値を設定することが好ましい。また、逆方向の回転が検出された場合に、回転停止と判断する設定についても、リング型操作部材の設定トルクや回転検出分解能によって適切に判断することができる場合と、適切に判断することができない場合とが想定される。このため、撮像装置に応じて適切に設定することが好ましい。   Note that the determination of these rotation operations is an example, and for example, the threshold value of the rotation detection amount per unit time may vary depending on the set torque of the ring type operation member and the rotation detection resolution. For this reason, it is preferable to set an appropriate value according to an imaging device as a threshold value used for determination of rotation operation. In addition, when the rotation in the reverse direction is detected, the setting for determining that the rotation is stopped can be appropriately determined when it can be appropriately determined based on the set torque of the ring-type operation member and the rotation detection resolution. It is assumed that this is not possible. For this reason, it is preferable to set appropriately according to an imaging device.

ここで、図７（ｂ）に示す操作領域１７３および１７４を特定するための角度（θ１＋θ３、θ２＋θ４）について説明する。例えば、操作領域１７３および１７５の境界となる角度（θ１＋θ３）と、操作領域１７４および１７５の境界となる角度（θ２＋θ４）については、撮像者の各操作の使い分けを実施し易くするため、例えば、１５度程度とすることができる。ただし、リング型操作部材の回転トルクやリング径等の操作部材自体の機能や、撮影者の操作能力によって適切な角度が変わるため、それぞれに応じた適切な角度を設定することが望ましい。また、これらの角度を撮影者の手動操作により設定するようにしてもよい。また、本発明の第１の実施の形態では、角度θ１およびθ２を同一とし、角度θ３およびθ４を同一とする例について説明する。しかしながら、角度θ１およびθ２を異なる値とするようにしてもよく、また、角度θ３およびθ４についても異なる値とするようにしてもよい。   Here, the angles (θ1 + θ3, θ2 + θ4) for specifying the operation areas 173 and 174 shown in FIG. 7B will be described. For example, with respect to the angle (θ1 + θ3) serving as the boundary between the operation regions 173 and 175 and the angle (θ2 + θ4) serving as the boundary between the operation regions 174 and 175, for example, 15 Degree. However, since the appropriate angle varies depending on the function of the operation member itself such as the rotational torque and ring diameter of the ring type operation member and the operation ability of the photographer, it is desirable to set an appropriate angle corresponding to each. Further, these angles may be set manually by the photographer. In the first embodiment of the present invention, an example in which the angles θ1 and θ2 are the same and the angles θ3 and θ4 are the same will be described. However, the angles θ1 and θ2 may be different values, and the angles θ3 and θ4 may be different values.

［選択操作支援画像の表示制御例］
以下では、選択操作支援画像２５５乃至２５９を、撮像画像に含まれる複数の顔に付す場合について図面を参照して詳細に説明する。 [Selection support image display control example]
Hereinafter, a case where the selection operation support images 255 to 259 are attached to a plurality of faces included in the captured image will be described in detail with reference to the drawings.

図９は、本発明の第１の実施の形態における表示部２６１に表示される撮像画像の一例を示す図である。図９（ａ）には、サッカーの試合を撮像している場合における撮像画像４００を示す。この撮像画像４００は、撮像部２００により生成された撮像画像であり、サッカー選手４０１乃至４０５が含まれるものとする。この例では、説明の容易のため、サッカー選手４０１乃至４０５が撮像装置１００に対して正面向きまたは側面向きであるものとして説明する。   FIG. 9 is a diagram illustrating an example of a captured image displayed on the display unit 261 according to the first embodiment of the present invention. FIG. 9A shows a captured image 400 when a soccer game is being captured. The captured image 400 is a captured image generated by the imaging unit 200 and includes soccer players 401 to 405. In this example, for ease of explanation, it is assumed that the soccer players 401 to 405 are facing front or side with respect to the imaging device 100.

図９（ｂ）には、撮像画像４００において、サッカー選手４０１乃至４０５の各顔が顔検出部２１０により検出された場合を模式的に示す。図９（ｂ）では、撮像画像４００において検出された各顔の大きさを破線の矩形４１１乃至４１５で示す。例えば、撮像画像において、１人の顔が検出された場合には、その顔に最適なカメラパラメータを決定することができる。また、撮像画像から複数の顔が検出された場合には、例えば、１人の顔を基準顔として選択し、この基準顔に最適なカメラパラメータを決定することができる。この場合に、例えば、水平方向において最も真中に近い顔を基準顔として決定することができる。また、例えば、撮像画像全体において、最も中心位置に近い顔を基準顔として決定するようにしてよく、撮像画像において最も大きい顔を基準顔として決定するようにしてよい。また、カメラ制御処理において測定される各顔までの被写体距離を用いて、最も撮像装置１００に近い顔を基準顔として決定するようにしてもよい。また、例えば、特定人物情報記憶部２３０に記憶されている特定人物情報に、予め優先度を設定しておき、この優先度が最も高い顔を基準顔として決定するようにしてよい。このように、撮像画像から複数の顔が検出された場合には、例えば、撮像画像における各顔の位置等に基づいて基準顔を設定することができる。しかしながら、例えば、サッカーの試合を撮像している状態で、撮像画像における各顔の位置とは無関係に、撮像範囲に含まれる所望のサッカー選手を最も綺麗に撮像したいと考える場合も想定される。また、例えば、撮像画像の中心位置に存在するサッカー選手の顔を基準顔としている状態で、その選手がボールをパスしたような場合には、そのパスが出された選手に基準顔を迅速に移動させたい場合も想定される。そこで、本発明の第１の実施の形態では、基準顔以外の顔を迅速に選択することができるように、基準顔以外の顔には、基準顔として選択するための選択操作内容を視覚的に表す選択操作支援画像２５６乃至２５９を付す。また、基準顔にはその旨を表す選択操作支援画像２５５を付す。この選択操作支援画像の配置方法については、図１０を参照して詳細に説明する。   FIG. 9B schematically shows a case where each face of the soccer players 401 to 405 is detected by the face detection unit 210 in the captured image 400. In FIG. 9B, the size of each face detected in the captured image 400 is indicated by dashed rectangles 411 to 415. For example, when one person's face is detected in the captured image, it is possible to determine camera parameters that are optimal for that face. In addition, when a plurality of faces are detected from the captured image, for example, one person's face can be selected as a reference face, and camera parameters optimal for this reference face can be determined. In this case, for example, the face closest to the center in the horizontal direction can be determined as the reference face. Further, for example, in the entire captured image, the face closest to the center position may be determined as the reference face, and the largest face in the captured image may be determined as the reference face. Further, the face closest to the imaging apparatus 100 may be determined as the reference face using the subject distance to each face measured in the camera control process. Further, for example, priority may be set in advance for the specific person information stored in the specific person information storage unit 230, and the face with the highest priority may be determined as the reference face. Thus, when a plurality of faces are detected from the captured image, for example, the reference face can be set based on the position of each face in the captured image. However, for example, in a state where a soccer game is being imaged, it may be assumed that the desired soccer player included in the imaging range is most clearly imaged regardless of the position of each face in the captured image. Also, for example, when the soccer player's face present at the center position of the captured image is used as the reference face and the player passes the ball, the reference face is quickly displayed to the player who has passed the pass. The case where it wants to move is also assumed. Therefore, in the first embodiment of the present invention, in order to quickly select a face other than the reference face, the selection operation content for selecting as the reference face is visually applied to a face other than the reference face. The selection operation support images 256 to 259 shown in FIG. Further, a selection operation support image 255 indicating that is attached to the reference face. A method for arranging the selection operation support images will be described in detail with reference to FIG.

図１０は、本発明の第１の実施の形態における選択操作内容決定部２４０により決定される選択操作内容を模式的に示す図である。図１０（ａ）に示す例では、撮像部２００により生成された撮像画像４００における左下隅を原点とし、水平方向をｘ軸とし、垂直方向をｙ軸とする。この場合において、撮像画像４００から検出された複数の顔のｘ軸方向の位置関係に基づいて、選択操作内容を決定する例を示す。なお、図１０（ａ）に示す例では、説明の容易のため、撮像画像４００におけるｘ軸方向の大きさを２０とし、ｙ軸方向の大きさを１５とした場合を例にして示す。すなわち、（Ｘ，Ｙ）＝（０，０），（２０，０），（０，１５），（２０，１５）の４点を四隅とする座標により撮像画像４００に含まれる各顔を特定する場合を例にして示す。   FIG. 10 is a diagram schematically illustrating the selection operation content determined by the selection operation content determination unit 240 according to the first embodiment of the present invention. In the example shown in FIG. 10A, the lower left corner in the captured image 400 generated by the imaging unit 200 is the origin, the horizontal direction is the x axis, and the vertical direction is the y axis. In this case, an example in which the content of the selection operation is determined based on the positional relationship in the x-axis direction of a plurality of faces detected from the captured image 400 is shown. In the example shown in FIG. 10A, for ease of explanation, the case where the size in the x-axis direction of the captured image 400 is 20 and the size in the y-axis direction is 15 is shown as an example. That is, each face included in the captured image 400 is specified by coordinates having four corners of (X, Y) = (0, 0), (20, 0), (0, 15), (20, 15). This is shown as an example.

最初に、撮像画像４００から複数の顔（サッカー選手４０１乃至４０５の各顔）が検出され、これらの各顔が特定人物情報記憶部２３０に特定人物情報が記憶されている顔であるため、これらの各顔の中から基準顔が決定される。例えば、撮像画像４００におけるｘ軸方向の中心位置に最も近い顔を決定する。図１０（ａ）に示す例では、サッカー選手４０１の顔の中心位置を座標（３，６）とし、サッカー選手４０２の顔の中心位置を座標（７，１０）とし、サッカー選手４０３の顔の中心位置を座標（１０，１２）とする。また、サッカー選手４０４の顔の中心位置を座標（１５，８）とし、サッカー選手４０５の顔の中心位置を座標（１８，５）とする。この場合には、サッカー選手４０３の顔の中心位置の座標（１０，１２）が、撮像画像４００におけるｘ軸方向の中心位置に最も近い顔である。そこで、サッカー選手４０３の顔が基準顔として決定される。なお、既に基準顔が決定されている場合には、このような決定処理を行わない。また、基準顔に関する顔情報は、図６に示す選択操作支援画像保持部２５０の選択操作支援画像識別番号２５１「＃１１」に関連付けて記憶される。   First, a plurality of faces (each face of soccer players 401 to 405) are detected from the captured image 400, and each of these faces is a face for which specific person information is stored in the specific person information storage unit 230. A reference face is determined from each face. For example, the face closest to the center position in the x-axis direction in the captured image 400 is determined. In the example shown in FIG. 10A, the center position of the face of the soccer player 401 is set as coordinates (3, 6), the center position of the face of the soccer player 402 is set as coordinates (7, 10), and the face position of the soccer player 403 is changed. Let the center position be coordinates (10, 12). The center position of the face of the soccer player 404 is set as coordinates (15, 8), and the center position of the face of the soccer player 405 is set as coordinates (18, 5). In this case, the coordinate (10, 12) of the center position of the face of the soccer player 403 is the face closest to the center position in the x-axis direction in the captured image 400. Therefore, the face of the soccer player 403 is determined as the reference face. Note that when the reference face has already been determined, such determination processing is not performed. The face information related to the reference face is stored in association with the selection operation support image identification number 251 “# 11” of the selection operation support image holding unit 250 shown in FIG.

続いて、基準顔と、他の顔との撮像画像４００におけるｘ軸方向の位置関係に基づいて選択操作内容が決定される。例えば、基準顔（サッカー選手４０３の顔）の座標（１０，１２）のｘ座標を基準とする。この場合に、基準顔の右側方向（ｘ座標の増加方向）において、基準顔からのｘ座標における距離が最も近い顔には、リング型操作部材１４３をＣＷ方向に小さく回転させる選択操作内容が決定される。例えば、図１０（ｂ）に示すように、基準顔の右側方向において、基準顔からのｘ座標における距離は、サッカー選手４０４の顔の距離Ｋ３が最も近い。このため、サッカー選手４０４の顔には、リング型操作部材１４３をＣＷ方向に小さく回転させる選択操作内容が決定される。すなわち、サッカー選手４０４の顔には選択操作支援画像２５８を付すことが決定される。   Subsequently, the selection operation content is determined based on the positional relationship between the reference face and another face in the captured image 400 in the x-axis direction. For example, the x coordinate of the coordinates (10, 12) of the reference face (the face of the soccer player 403) is used as a reference. In this case, the selection operation content for rotating the ring type operation member 143 small in the CW direction is determined for the face closest to the x coordinate from the reference face in the right direction of the reference face (in the x coordinate increasing direction). Is done. For example, as shown in FIG. 10B, the distance K3 of the face of the soccer player 404 is the closest to the x coordinate from the reference face in the right direction of the reference face. For this reason, the selection operation content for rotating the ring type operation member 143 small in the CW direction is determined on the face of the soccer player 404. That is, it is determined that the selection operation support image 258 is attached to the face of the soccer player 404.

また、基準顔の右側方向において、基準顔からのｘ座標における距離が２番目に近い顔には、リング型操作部材１４３をＣＷ方向に大きく回転させる選択操作内容が決定される。例えば、図１０（ｂ）に示すように、基準顔の右側方向において、基準顔からのｘ座標における距離は、サッカー選手４０５の顔の距離Ｋ４が２番目に近い。このため、サッカー選手４０５の顔には、リング型操作部材１４３をＣＷ方向に大きく回転させる選択操作内容が決定される。すなわち、サッカー選手４０５の顔には選択操作支援画像２５９を付すことが決定される。   Further, in the right direction of the reference face, the selection operation content for greatly rotating the ring type operation member 143 in the CW direction is determined for the face having the second closest distance in the x coordinate from the reference face. For example, as shown in FIG. 10B, the distance K4 of the soccer player 405 face is the second closest to the x coordinate from the reference face in the right direction of the reference face. Therefore, the selection operation content for rotating the ring type operation member 143 greatly in the CW direction is determined on the face of the soccer player 405. That is, it is determined that the selection operation support image 259 is attached to the face of the soccer player 405.

また、基準顔の左側方向（ｘ座標の減少方向）において、基準顔からのｘ座標における距離が最も近い顔には、リング型操作部材１４３をＣＣＷ方向に小さく回転させる選択操作内容が決定される。例えば、図１０（ｂ）に示すように、基準顔の左側方向において、基準顔からのｘ座標における距離は、サッカー選手４０２の顔の距離Ｋ１が最も近い。このため、サッカー選手４０２の顔には、リング型操作部材１４３をＣＣＷ方向に小さく回転させる選択操作内容が決定される。すなわち、サッカー選手４０２の顔には選択操作支援画像２５６を付すことが決定される。   Further, in the left direction of the reference face (in the direction of decreasing the x coordinate), the selection operation content for rotating the ring type operation member 143 small in the CCW direction is determined for the face that is closest to the x coordinate from the reference face. . For example, as shown in FIG. 10B, in the left direction of the reference face, the distance in the x coordinate from the reference face is the closest to the face K1 of the soccer player 402. For this reason, the selection operation content for rotating the ring-type operation member 143 small in the CCW direction is determined on the face of the soccer player 402. That is, it is determined that the selection operation support image 256 is attached to the face of the soccer player 402.

また、基準顔の左側方向において、基準顔からのｘ座標における距離が２番目に近い顔には、リング型操作部材１４３をＣＣＷ方向に大きく回転させる選択操作内容が決定される。例えば、図１０（ｂ）に示すように、基準顔の左側方向において、基準顔からのｘ座標における距離は、サッカー選手４０１の顔の距離Ｋ２が２番目に近い。このため、サッカー選手４０１の顔には、リング型操作部材１４３をＣＣＷ方向に大きく回転させる選択操作内容が決定される。すなわち、サッカー選手４０１の顔には選択操作支援画像２５７を付すことが決定される。   Further, in the left direction of the reference face, the selection operation content for greatly rotating the ring type operation member 143 in the CCW direction is determined for the face having the second closest x coordinate distance from the reference face. For example, as shown in FIG. 10B, in the left direction of the reference face, the distance K2 from the reference face is the second closest to the face K2 of the soccer player 401. Therefore, the selection operation content for rotating the ring type operation member 143 greatly in the CCW direction is determined on the face of the soccer player 401. That is, it is determined that the selection operation support image 257 is attached to the face of the soccer player 401.

このように選択操作内容決定部２４０により決定された選択操作内容は、選択操作支援画像保持部２５０に保持される。すなわち、決定された選択操作内容に応じて、各顔に関する顔情報が顔情報２５３に保持され、各顔に関する顔識別情報が特定人物番号２５４に保持される。また、選択操作内容決定部２４０により決定処理が行われる毎に、選択操作支援画像保持部２５０に保持されている内容が順次更新される。これにより、選択操作支援画像２５５乃至２５９の配置が決定される。   The selection operation content determined by the selection operation content determination unit 240 in this way is held in the selection operation support image holding unit 250. That is, according to the determined selection operation content, face information related to each face is held in the face information 253, and face identification information related to each face is held in the specific person number 254. Further, every time the selection operation content determination unit 240 performs the determination process, the content held in the selection operation support image holding unit 250 is sequentially updated. Thereby, the arrangement of the selection operation support images 255 to 259 is determined.

図１１は、本発明の第１の実施の形態における選択操作内容決定部２４０により決定された選択操作内容を表す選択操作支援画像が撮像画像に重畳された場合における表示例を示す図である。図１１（ａ）には、図９に示す撮像画像４００に、図１０で示した決定方法により決定された選択操作支援画像２５５乃至２５９が重畳された撮像画像４２０を示す。また、図１１（ｂ）には、撮像画像４２０に含まれる各顔と、撮像画像４２０に重畳される選択操作支援画像２５５乃至２５９との関係を模式的に示す。図１１（ｂ）に示す例では、撮像画像４２０に含まれる各顔を含む画像４２１乃至４２５の下側に、これらの各顔に付される選択操作支援画像２５５乃至２５９を並べて示す。また、この例では、図１１（ｂ）に示すように、円環（サイクル）状に選択操作支援画像２５５乃至２５９を決定する例について説明する。   FIG. 11 is a diagram illustrating a display example when the selection operation support image representing the selection operation content determined by the selection operation content determination unit 240 according to the first embodiment of the present invention is superimposed on the captured image. FIG. 11A shows a captured image 420 in which selection operation support images 255 to 259 determined by the determination method illustrated in FIG. 10 are superimposed on the captured image 400 illustrated in FIG. FIG. 11B schematically shows a relationship between each face included in the captured image 420 and the selection operation support images 255 to 259 superimposed on the captured image 420. In the example shown in FIG. 11B, selection operation support images 255 to 259 attached to the faces are shown side by side below the images 421 to 425 including the faces included in the captured image 420. In this example, as shown in FIG. 11B, an example in which selection operation support images 255 to 259 are determined in a ring shape (cycle) will be described.

例えば、図３に示すように、撮影者１５０が撮像装置１００を両手で持って撮影をしている場合には、ファインダ１３５に順次表示される撮像画像を見ながらシャッターチャンスを待つことが多い。このファインダ１３５には、例えば、図１１（ａ）に示すように、選択操作支援画像２５５乃至２５９が重畳された撮像画像４２０が表示される。この撮像画像４２０が表示されている場合において、撮像画像４２０に含まれる複数の顔の中から所望の顔を撮影者１５０が選択する場合には、各顔に付された選択操作支援画像２５５乃至２５９を見て、その選択操作内容に従って選択操作を行うことができる。すなわち、所望の顔に付された選択操作支援画像を見て、その選択操作内容に従ったリング型操作部材１４３の一度の回転操作により選択操作を行うことができるため、選択操作が容易である。このため、撮影者１５０は撮影姿勢を崩すことなく、容易に所望の顔を選択することができる。   For example, as shown in FIG. 3, when the photographer 150 is photographing with both hands of the imaging device 100, the photographer 150 often waits for a photo opportunity while viewing the captured images sequentially displayed on the viewfinder 135. For example, as shown in FIG. 11A, the finder 135 displays a captured image 420 on which selection operation support images 255 to 259 are superimposed. If the photographer 150 selects a desired face from a plurality of faces included in the captured image 420 when the captured image 420 is displayed, the selection operation support images 255 to 255 attached to the faces are selected. 259, the selection operation can be performed according to the content of the selection operation. That is, since the selection operation support image attached to the desired face can be viewed and the selection operation can be performed by a single rotation operation of the ring type operation member 143 according to the selection operation content, the selection operation is easy. . Therefore, the photographer 150 can easily select a desired face without losing the shooting posture.

例えば、サッカー選手４０３がサッカー選手４０５にボール４０６をパスした場合を想定する。この場合には、ボール４０６をパスされたサッカー選手４０５が綺麗になるように撮影を行いたい場合が多い。そこで、このような場合には、サッカー選手４０５の顔に付された選択操作支援画像４２９の選択操作内容に従って、撮影者１５０が選択操作を行うことにより、サッカー選手４０５の顔を基準顔として選択することができる。この選択方法については、図１２を参照して詳細に示す。   For example, it is assumed that the soccer player 403 passes the ball 406 to the soccer player 405. In this case, there are many cases where it is desired to shoot so that the soccer player 405 passed the ball 406 is beautiful. Therefore, in such a case, the photographer 150 performs the selection operation according to the selection operation content of the selection operation support image 429 attached to the face of the soccer player 405, thereby selecting the face of the soccer player 405 as the reference face. can do. This selection method will be described in detail with reference to FIG.

図１２は、本発明の第１の実施の形態における表示部２６１に表示される撮像画像の表示例と、リング型操作部材１４３との関係を示す図である。図１２（ａ）には、サッカー選手４０３がサッカー選手４０５にボール４０６をパスした場合における撮像画像４３０を示す。なお、図１２（ａ）では、ボール４０６の軌跡を破線で模式的に示す。図１２（ｂ）には、撮像装置１００の背面側の外観を示す。なお、図１２（ｂ）に示す撮像装置１００は、図７（ａ）に示す撮像装置１００と同様であるため、ここでの説明を省略する。   FIG. 12 is a diagram illustrating a relationship between the display example of the captured image displayed on the display unit 261 and the ring-type operation member 143 according to the first embodiment of the present invention. FIG. 12A shows a captured image 430 when the soccer player 403 passes the ball 406 to the soccer player 405. In FIG. 12A, the trajectory of the ball 406 is schematically shown by a broken line. FIG. 12B shows an appearance of the back side of the imaging apparatus 100. Note that the imaging apparatus 100 illustrated in FIG. 12B is the same as the imaging apparatus 100 illustrated in FIG.

ここで、表示部２６１に撮像画像４３０が表示されている場合において、基準顔をサッカー選手４０３の顔からサッカー選手４０５の顔に変更する場合について説明する。撮像装置１００を用いて撮影を行っている場合には、例えば、撮影者が液晶モニタ１３０またはファインダ１３５により撮像画像４３０を見ている。このため、撮影者は、基準顔とすべきサッカー選手４０５の顔に付されている選択操作支援画像４２９の選択操作内容を見て、リング型操作部材１４３を回転操作することができる。例えば、図３に示すように、撮影者１５０がリング型操作部材１４３を左手１５２で握っている状態で、選択操作支援画像４２９の選択操作内容に従って、リング型操作部材１４３を矢印４３１の方向に大きく回転させる。このように、リング型操作部材１４３を矢印４３１の方向に大きく回転させることにより、基準位置１７０が、図７（ｂ）に示す操作領域１７５の範囲内となるように回転させることができる。そして、この回転に応じた操作方向および操作量が、選択操作受付部３００から基準対象物選択部２８０に出力される。この操作方向および操作量を受けた基準対象物選択部２８０は、選択操作支援画像保持部２５０の保持内容に基づいて、この操作方向および操作量に応じた顔を選択する。すなわち、選択操作支援画像２５９が付されたサッカー選手４０５の顔が基準顔として選択される。そして、新たに選択された基準顔に関する選択情報（例えば、サッカー選手４０５の顔に関連付けられている選択操作支援画像識別番号２５１「＃１５」）が選択操作内容決定部２４０に出力される。このように、例えば、図１２（ｂ）に示すように、リング型操作部材１４３を矢印４３１の方向に大きく回転させた場合には、サッカー選手４０５の顔が基準顔として選択され、この基準顔に基づいて他の顔を選択するための選択操作内容が決定される。この例では、図１１（ｂ）に示すように、１つの円環４２６に従って、新たに選択された基準顔に対応する他の顔の選択操作内容を決定する例を示す。また、この例では、説明の容易のため、撮像画像におけるサッカー選手４０１乃至４０５の位置が変更してない場合を例にして説明する。   Here, a case where the reference face is changed from the face of the soccer player 403 to the face of the soccer player 405 when the captured image 430 is displayed on the display unit 261 will be described. When photographing using the imaging apparatus 100, for example, the photographer views the captured image 430 with the liquid crystal monitor 130 or the viewfinder 135. Therefore, the photographer can rotate the ring-type operation member 143 while viewing the selection operation content of the selection operation support image 429 attached to the face of the soccer player 405 to be the reference face. For example, as shown in FIG. 3, in the state where the photographer 150 is holding the ring type operation member 143 with the left hand 152, the ring type operation member 143 is moved in the direction of the arrow 431 according to the selection operation content of the selection operation support image 429. Rotate a lot. Thus, by rotating the ring-type operation member 143 greatly in the direction of the arrow 431, the reference position 170 can be rotated so as to be within the operation region 175 shown in FIG. 7B. Then, the operation direction and the operation amount corresponding to the rotation are output from the selection operation receiving unit 300 to the reference object selection unit 280. The reference object selection unit 280 that has received the operation direction and the operation amount selects a face according to the operation direction and the operation amount based on the content held by the selection operation support image holding unit 250. That is, the face of the soccer player 405 with the selection operation support image 259 is selected as the reference face. Then, selection information related to the newly selected reference face (for example, the selection operation support image identification number 251 “# 15” associated with the face of the soccer player 405) is output to the selection operation content determination unit 240. Thus, for example, as shown in FIG. 12B, when the ring-type operation member 143 is greatly rotated in the direction of the arrow 431, the face of the soccer player 405 is selected as the reference face. Based on this, the selection operation content for selecting another face is determined. In this example, as shown in FIG. 11B, an example in which the selection operation content of another face corresponding to the newly selected reference face is determined according to one circular ring 426 is shown. Also, in this example, for ease of explanation, a case where the positions of the soccer players 401 to 405 in the captured image are not changed will be described as an example.

図１３は、本発明の第１の実施の形態における選択操作内容決定部２４０により決定された選択操作内容を表す選択操作支援画像が撮像画像に重畳された場合における表示例を示す図である。図１３（ａ）には、図１２（ａ）に示す撮像画像４３０に、リング型操作部材１４３の回転操作により新たに決定された選択操作支援画像２５５乃至２５９が重畳された撮像画像４４０を示す。また、図１３（ｂ）には、撮像画像４４０に含まれる各顔と、撮像画像４４０に重畳される選択操作支援画像２５５乃至２５９との関係を模式的に示す。   FIG. 13 is a diagram illustrating a display example when the selection operation support image representing the selection operation content determined by the selection operation content determination unit 240 according to the first embodiment of the present invention is superimposed on the captured image. FIG. 13A shows a captured image 440 in which selection operation support images 255 to 259 newly determined by the rotation operation of the ring-type operation member 143 are superimposed on the captured image 430 shown in FIG. . FIG. 13B schematically shows the relationship between each face included in the captured image 440 and the selection operation support images 255 to 259 superimposed on the captured image 440.

例えば、図１２（ｂ）に示すようにリング型操作部材１４３の回転操作が行われた場合には、選択操作内容決定部２４０が、新たに基準顔として選択された顔情報の更新を行う。すなわち、新たに基準顔として選択されたサッカー選手４０５の顔に関する顔情報が、図６に示す選択操作支援画像保持部２５０の選択操作支援画像識別番号２５１「＃１１」に関連付けて記憶される。   For example, as shown in FIG. 12B, when the rotation operation of the ring type operation member 143 is performed, the selection operation content determination unit 240 updates the face information newly selected as the reference face. That is, the face information related to the face of the soccer player 405 newly selected as the reference face is stored in association with the selection operation support image identification number 251 “# 11” of the selection operation support image holding unit 250 shown in FIG.

続いて、選択操作内容決定部２４０が、基準顔と、他の顔との撮像画像４３０におけるｘ軸方向の位置関係に基づいて選択操作内容を決定する。例えば、基準顔（サッカー選手４０５の顔）の座標（１８，５）のｘ座標を基準とする。この場合に、基準顔の右側方向においては、他の顔が存在しない。そこで、例えば、図１１（ｂ）の円環４２６に示すように、各顔が繋がっているものと想定する。そして、基準顔の左側方向において、基準顔からのｘ座標における距離が最も遠い顔に、リング型操作部材１４３をＣＷ方向に小さく回転させる選択操作内容が決定される。例えば、図１２（ａ）に示すように、基準顔の左側方向において、基準顔（サッカー選手４０５の顔）からのｘ座標における距離は、サッカー選手４０１の顔が最も遠い。このため、サッカー選手４０１の顔には、リング型操作部材１４３をＣＷ方向に小さく回転させる選択操作内容が決定される。すなわち、サッカー選手４０１の顔には選択操作支援画像２５８を付すことが決定される。   Subsequently, the selection operation content determination unit 240 determines the selection operation content based on the positional relationship between the reference face and another face in the captured image 430 in the x-axis direction. For example, the x coordinate of the coordinates (18, 5) of the reference face (the face of the soccer player 405) is used as a reference. In this case, no other face exists in the right direction of the reference face. Thus, for example, it is assumed that the faces are connected as shown in a ring 426 in FIG. Then, in the left direction of the reference face, the selection operation content for rotating the ring type operation member 143 small in the CW direction to the face having the longest distance in the x coordinate from the reference face is determined. For example, as shown in FIG. 12A, in the left direction of the reference face, the distance in the x coordinate from the reference face (the face of the soccer player 405) is the farthest from the face of the soccer player 401. Therefore, the selection operation content for rotating the ring-type operation member 143 small in the CW direction is determined on the face of the soccer player 401. That is, it is determined that the selection operation support image 258 is attached to the face of the soccer player 401.

また、基準顔の左側方向において、基準顔からのｘ座標における距離が２番目に遠い顔には、リング型操作部材１４３をＣＷ方向に大きく回転させる選択操作内容が決定される。例えば、図１２（ａ）に示すように、基準顔の左側方向において、基準顔（サッカー選手４０５の顔）からのｘ座標における距離は、サッカー選手４０２の顔が２番目に遠い。このため、サッカー選手４０２の顔には、リング型操作部材１４３をＣＷ方向に大きく回転させる選択操作内容が決定される。すなわち、サッカー選手４０２の顔には選択操作支援画像２５９を付すことが決定される。   Further, in the left direction of the reference face, the selection operation content for rotating the ring type operation member 143 greatly in the CW direction is determined for the face having the second largest distance in the x coordinate from the reference face. For example, as shown in FIG. 12A, in the left direction of the reference face, the distance in the x coordinate from the reference face (the face of the soccer player 405) is the second most distant from the face of the soccer player 402. For this reason, the selection operation content for rotating the ring-type operation member 143 greatly in the CW direction is determined on the face of the soccer player 402. That is, it is determined that the selection operation support image 259 is attached to the face of the soccer player 402.

また、基準顔の左側方向において、基準顔からのｘ座標における距離が最も近い顔には、リング型操作部材１４３をＣＣＷ方向に小さく回転させる選択操作内容が決定される。例えば、図１２（ａ）に示すように、基準顔の左側方向において、基準顔（サッカー選手４０５の顔）からのｘ座標における距離は、サッカー選手４０４の顔が最も近い。このため、サッカー選手４０４の顔には、リング型操作部材１４３をＣＣＷ方向に小さく回転させる選択操作内容が決定される。すなわち、サッカー選手４０４の顔には選択操作支援画像２５６を付すことが決定される。   Further, in the left direction of the reference face, the selection operation content for rotating the ring type operation member 143 small in the CCW direction is determined for the face having the closest distance in the x coordinate from the reference face. For example, as shown in FIG. 12A, in the left direction of the reference face, the distance in the x coordinate from the reference face (the face of the soccer player 405) is closest to the face of the soccer player 404. For this reason, the selection operation content for rotating the ring type operation member 143 small in the CCW direction is determined on the face of the soccer player 404. That is, it is determined that the selection operation support image 256 is attached to the face of the soccer player 404.

また、基準顔の左側方向において、基準顔からのｘ座標における距離が２番目に近い顔には、リング型操作部材１４３をＣＣＷ方向に大きく回転させる選択操作内容が決定される。例えば、図１２（ａ）に示すように、基準顔の左側方向において、基準顔（サッカー選手４０５の顔）からのｘ座標における距離は、サッカー選手４０３の顔が２番目に近い。このため、サッカー選手４０３の顔には、リング型操作部材１４３をＣＣＷ方向に大きく回転させる選択操作内容が決定される。すなわち、サッカー選手４０３の顔には選択操作支援画像２５７を付すことが決定される。   Further, in the left direction of the reference face, the selection operation content for greatly rotating the ring type operation member 143 in the CCW direction is determined for the face having the second closest x coordinate distance from the reference face. For example, as shown in FIG. 12A, in the left direction of the reference face, the distance in the x coordinate from the reference face (the face of the soccer player 405) is the second closest to the face of the soccer player 403. Therefore, the selection operation content for rotating the ring type operation member 143 greatly in the CCW direction is determined on the face of the soccer player 403. That is, it is determined that the selection operation support image 257 is attached to the face of the soccer player 403.

このように選択操作内容決定部２４０により選択操作内容が決定されると、選択操作支援画像保持部２５０に保持されている内容が更新される。また、更新された選択操作支援画像保持部２５０の内容に基づいて、図１３（ａ）に示すように、選択操作支援画像２５５乃至２５９が重畳された撮像画像４４０が表示される。このように、リング型操作部材１４３の回転操作が行われた後の選択操作支援画像２５５乃至２５９は、例えば、円環４２６に従って、図１１（ｂ）に示す矢印４２７または４２８方向に選択操作支援画像２５５乃至２５９を移動させて決定することができる。例えば、図１３（ａ）に示す撮像画像４４０は、図１１（ｂ）に示す矢印４２７方向に選択操作支援画像２５５乃至２５９を移動させて決定した例である。また、リング型操作部材１４３の回転操作を行うことにより、サッカー選手４０１、４０２、４０４の顔を基準顔として決定する場合についても、同様に、選択操作支援画像２５５乃至２５９を移動させて決定することができる。これらの表示例については、図１４乃至図１６に示す。   When the selection operation content is determined by the selection operation content determination unit 240 as described above, the content held in the selection operation support image holding unit 250 is updated. Further, as shown in FIG. 13A, the captured image 440 on which the selection operation support images 255 to 259 are superimposed is displayed based on the updated content of the selection operation support image holding unit 250. As described above, the selection operation support images 255 to 259 after the rotation operation of the ring type operation member 143 is performed, for example, in the direction of the arrow 427 or 428 shown in FIG. Images 255 to 259 can be moved and determined. For example, the captured image 440 shown in FIG. 13A is an example determined by moving the selection operation support images 255 to 259 in the direction of the arrow 427 shown in FIG. Similarly, when the face of the soccer player 401, 402, 404 is determined as the reference face by rotating the ring type operation member 143, the selection operation support images 255 to 259 are similarly determined by moving. be able to. Examples of these displays are shown in FIGS.

図１４乃至図１６は、本発明の第１の実施の形態における選択操作内容決定部２４０により決定された選択操作内容を表す選択操作支援画像が撮像画像に重畳された場合における表示例を示す図である。図１４（ａ）には、図１１（ａ）に示す撮像画像４２０が表示されている状態で、リング型操作部材１４３の回転操作によりサッカー選手４０４が基準顔として選択された後に表示される撮像画像４５１を示す。図１５（ａ）には、図１１（ａ）に示す撮像画像４２０が表示されている状態で、リング型操作部材１４３の回転操作によりサッカー選手４０２が基準顔として選択された後に表示される撮像画像４５２を示す。図１６（ａ）には、図１１（ａ）に示す撮像画像４２０が表示されている状態で、リング型操作部材１４３の回転操作によりサッカー選手４０１が基準顔として選択された後に表示される撮像画像４５３を示す。なお、図１４（ａ）乃至図１６（ａ）では、ボール４０６の軌跡を破線で模式的に示す。また、図１４（ｂ）乃至図１６（ｂ）には、撮像画像４５１乃至４５３に含まれる各顔と、撮像画像４５１乃至４５３に重畳される選択操作支援画像２５５乃至２５９との関係を模式的に示す。   FIGS. 14 to 16 are diagrams illustrating display examples when the selection operation support image representing the selection operation content determined by the selection operation content determination unit 240 according to the first embodiment of the present invention is superimposed on the captured image. It is. FIG. 14A shows an image displayed after the soccer player 404 is selected as the reference face by rotating the ring-type operation member 143 while the captured image 420 shown in FIG. 11A is displayed. An image 451 is shown. FIG. 15A shows an image displayed after the soccer player 402 is selected as the reference face by rotating the ring-type operation member 143 while the captured image 420 shown in FIG. 11A is displayed. An image 452 is shown. FIG. 16A shows an image displayed after the soccer player 401 is selected as the reference face by the rotation operation of the ring-type operation member 143 in a state where the captured image 420 shown in FIG. 11A is displayed. An image 453 is shown. In FIGS. 14A to 16A, the locus of the ball 406 is schematically indicated by a broken line. 14B to 16B schematically show the relationship between each face included in the captured images 451 to 453 and the selection operation support images 255 to 259 superimposed on the captured images 451 to 453. Shown in

［選択操作支援画像の表示制御の変形例］
図１１乃至図１６に示す例では、基準顔が変更される毎に、円環４２６に従って選択操作支援画像２５５乃至２５９を決定する例を示した。このように、円環４２６に従って選択操作支援画像を決定する場合には、撮影者の左右方向と、選択操作支援画像により表される操作方向とが異なるように、選択操作支援画像が配置されることがある。例えば、図１３に示す撮像画像４４０では、基準顔（サッカー選手４０５の顔）の左側方向において、リング型操作部材１４３をＣＣＷ方向に回転させる選択操作内容を表す選択操作支援画像２５７および２５６が配置されている。しかしながら、選択操作支援画像２５７および２５６の左側方向においては、リング型操作部材１４３をＣＷ方向に回転させる選択操作内容を表す選択操作支援画像２５８および２５９が配置されている。このように、撮影者の左右方向と、選択操作支援画像により表される操作方向とが異なる場合には、その選択操作内容を容易に認識することができないと感じる撮影者も想定される。そこで、例えば、基準顔には選択操作支援画像２５５を付すとともに、基準顔以外の顔については、ｘ座標の値の小さい顔から順番に、選択操作支援画像２５６乃至２５９を配置して付すようにしてもよい。具体的には、基準顔以外の顔について、ｘ座標の値の小さい顔から、選択操作支援画像２５７、２５６、２５８、２５９の順番で割り振るようにする。これらの表示例については、図１７乃至図２０に示す。 [Modified example of display control of selection operation support image]
In the example illustrated in FIGS. 11 to 16, the selection operation support images 255 to 259 are determined according to the ring 426 every time the reference face is changed. Thus, when the selection operation support image is determined according to the ring 426, the selection operation support image is arranged so that the left-right direction of the photographer is different from the operation direction represented by the selection operation support image. Sometimes. For example, in the captured image 440 shown in FIG. 13, selection operation support images 257 and 256 representing the selection operation content for rotating the ring type operation member 143 in the CCW direction are arranged on the left side of the reference face (the face of the soccer player 405). Has been. However, in the left direction of the selection operation support images 257 and 256, selection operation support images 258 and 259 representing the selection operation contents for rotating the ring type operation member 143 in the CW direction are arranged. Thus, if the photographer's left-right direction and the operation direction represented by the selection operation support image are different, a photographer who feels that the content of the selection operation cannot be easily recognized is assumed. Therefore, for example, the selection operation support image 255 is attached to the reference face, and the selection operation support images 256 to 259 are attached to the faces other than the reference face in order from the face having the smallest x coordinate value. May be. Specifically, for the faces other than the reference face, the selection operation support images 257, 256, 258, and 259 are assigned in order from the face having the smallest x coordinate value. Examples of these displays are shown in FIGS.

図１７乃至図２０は、本発明の第１の実施の形態における選択操作内容決定部２４０により決定された選択操作内容を表す選択操作支援画像が撮像画像に重畳された場合における表示例を示す図である。図１７乃至図２０に示す例は、基準顔以外の顔について、ｘ座標の値の小さい顔から、選択操作支援画像２５７、２５６、２５８、２５９の順番で割り振る表示例である。なお、図１７（ａ）に示す表示例は、図１３（ａ）に示す撮像画像４４０の変形例であり、図１８（ａ）に示す表示例は、図１４（ａ）に示す撮像画像４５１の変形例である。また、図１９（ａ）に示す表示例は、図１５（ａ）に示す撮像画像４５２の変形例であり、図２０（ａ）に示す表示例は、図１６（ａ）に示す撮像画像４５３の変形例である。また、図１７（ｂ）乃至図２０（ｂ）には、撮像画像４６１乃至４６４に含まれる各顔と、撮像画像４６１乃至４６４に重畳される選択操作支援画像２５５乃至２５９との関係を模式的に示す。   FIGS. 17 to 20 are diagrams illustrating display examples when the selection operation support image representing the selection operation content determined by the selection operation content determination unit 240 according to the first embodiment of the present invention is superimposed on the captured image. It is. The examples illustrated in FIGS. 17 to 20 are display examples in which selection operation support images 257, 256, 258, and 259 are assigned in order from the face having a small x coordinate value for faces other than the reference face. Note that the display example shown in FIG. 17A is a modification of the captured image 440 shown in FIG. 13A, and the display example shown in FIG. 18A is the captured image 451 shown in FIG. This is a modified example. Further, the display example shown in FIG. 19A is a modification of the captured image 452 shown in FIG. 15A, and the display example shown in FIG. 20A is the captured image 453 shown in FIG. This is a modified example. FIGS. 17B to 20B schematically show the relationship between each face included in the captured images 461 to 464 and the selection operation support images 255 to 259 superimposed on the captured images 461 to 464. Shown in

また、例えば、図１１乃至図１６に示す表示例において、基準顔以外の顔に付される選択操作支援画像のうち、撮影者の左右方向と異なる操作方向となる選択操作支援画像については、表示しないようにしてもよい。これらの表示例については、図２１乃至図２４に示す。   Further, for example, in the display examples shown in FIGS. 11 to 16, among the selection operation support images attached to the faces other than the reference face, the selection operation support image having an operation direction different from the left-right direction of the photographer is displayed. You may make it not. Examples of these displays are shown in FIGS.

図２１乃至図２４は、本発明の第１の実施の形態における選択操作内容決定部２４０により決定された選択操作内容を表す選択操作支援画像が撮像画像に重畳された場合における表示例を示す図である。図２１乃至図２４に示す例は、撮影者の左右方向と異なる操作方向となる選択操作支援画像については表示しない例である。なお、図２１（ａ）に示す表示例は、図１３（ａ）に示す撮像画像４４０の変形例であり、図２２（ａ）に示す表示例は、図１４（ａ）に示す撮像画像４５１の変形例である。また、図２３（ａ）に示す表示例は、図１５（ａ）に示す撮像画像４５２の変形例であり、図２４（ａ）に示す表示例は、図１６（ａ）に示す撮像画像４５３の変形例である。また、図２１（ｂ）乃至図２４（ｂ）には、撮像画像４６５乃至４６８に含まれる各顔と、撮像画像４６５乃至４６８に重畳される選択操作支援画像２５５乃至２５９との関係を模式的に示す。   FIG. 21 to FIG. 24 are diagrams illustrating display examples when a selection operation support image representing the selection operation content determined by the selection operation content determination unit 240 according to the first embodiment of the present invention is superimposed on the captured image. It is. The examples shown in FIGS. 21 to 24 are examples in which a selection operation support image having an operation direction different from the left-right direction of the photographer is not displayed. The display example shown in FIG. 21A is a modification of the captured image 440 shown in FIG. 13A, and the display example shown in FIG. 22A is the captured image 451 shown in FIG. This is a modified example. The display example shown in FIG. 23A is a modification of the captured image 452 shown in FIG. 15A, and the display example shown in FIG. 24A is the captured image 453 shown in FIG. This is a modified example. FIGS. 21B to 24B schematically illustrate the relationship between each face included in the captured images 465 to 468 and the selection operation support images 255 to 259 superimposed on the captured images 465 to 468. Shown in

これらの選択操作支援画像の配置については、例えば、ユーザの手動操作により変更可能とするようにしてもよい。このように、ユーザの好みに応じて選択操作支援画像の配置を変更して表示させることにより、撮像画像に含まれる複数の対象物のうちから、所望の対象物をさらに容易に迅速に選択することができる。   The arrangement of these selection operation support images may be changed by, for example, a user's manual operation. In this way, by changing the arrangement of the selection operation support image according to the user's preference and displaying it, a desired object can be selected more easily and quickly from a plurality of objects included in the captured image. be able to.

以上では、撮像画像に含まれる複数の顔の位置がｘ軸方向においてそれぞれ異なる場合について説明した。しかしながら、例えば、撮像画像に含まれる複数の顔の位置がｘ軸方向において同一となる場合も想定される。このように、ｘ軸方向における位置が同一となる顔については、例えば、ｙ座標の値を用いて選択操作支援画像の配置を決定することができる。例えば、図１１（ａ）に示す円環４２６に従って、選択操作支援画像の配置を決定する場合において、ｘ軸方向における位置が同一となる２つの顔について、ｙ座標の値が大きい顔については円環４２６の左側の選択操作支援画像を配置すると決定する。一方、ｙ座標の値が小さい顔については円環４２６の右側の選択操作支援画像を配置すると決定することができる。また、例えば、基準顔からのｙ座標の差分値に基づいて選択操作支援画像の配置を決定するようにしてもよい。また、ｘ座標の値の小さい顔から、所定の順番で選択操作支援画像を割り振る場合においても、ｘ軸方向における位置が同一となる顔については、ｙ座標の値を用いて選択操作支援画像を割り振ることができる。   The case where the positions of the plurality of faces included in the captured image are different in the x-axis direction has been described above. However, for example, it is assumed that the positions of a plurality of faces included in the captured image are the same in the x-axis direction. As described above, for faces having the same position in the x-axis direction, for example, the arrangement of the selection operation support image can be determined using the value of the y coordinate. For example, in the case where the arrangement of the selection operation support image is determined according to the ring 426 shown in FIG. 11A, for two faces having the same position in the x-axis direction, a face having a large y coordinate value is a circle. It is determined that the selection operation support image on the left side of the ring 426 is to be arranged. On the other hand, for a face with a small y-coordinate value, it can be determined that the selection operation support image on the right side of the ring 426 is arranged. Further, for example, the arrangement of the selection operation support image may be determined based on the difference value of the y coordinate from the reference face. In addition, even when selection operation support images are allocated in a predetermined order from faces having small x coordinate values, for the faces having the same position in the x-axis direction, the selection operation support images are used using the y coordinate values. Can be allocated.

また、例えば、撮像画像に含まれる複数の顔のｘ軸方向における位置と、ｙ軸方向における位置とが略同一となる場合も想定される。このように、ｘ軸方向およびｙ軸方向における位置が略同一となる顔については、撮像画像上において、ほぼ重なっている状態であると考えられる。このため、ｘ軸方向およびｙ軸方向における位置が同一となる複数の顔のうち、少なくとも１つの顔が撮像装置１００側に表示され、何れかの顔が後ろに隠れる状態になっていると考えられる。このような場合には、顔検出部２１０が顔検出処理を行う際に算出される評価値を用いて、選択操作支援画像の配置を決定することができる。例えば、図１１（ａ）に示す円環４２６に従って、選択操作支援画像の配置を決定する場合には、評価値が高い顔については円環４２６の左側の選択操作支援画像の配置を決定することができる。また、例えば、特定人物情報記憶部２３０に記憶されている特定人物情報に予め優先順位を設定しておき、ｘ軸方向およびｙ軸方向における位置が同一となる複数の顔が登録顔である場合には、その優先順位に基づいて選択操作支援画像の配置を決定することができる。   In addition, for example, it is assumed that the positions in the x-axis direction and the positions in the y-axis direction of a plurality of faces included in the captured image are substantially the same. As described above, it is considered that faces whose positions in the x-axis direction and the y-axis direction are substantially the same are substantially overlapped on the captured image. For this reason, it is considered that at least one face is displayed on the imaging device 100 side among a plurality of faces having the same position in the x-axis direction and the y-axis direction, and any one face is hidden behind. It is done. In such a case, the arrangement of the selection operation support image can be determined using the evaluation value calculated when the face detection unit 210 performs the face detection process. For example, when determining the arrangement of the selection operation support image according to the ring 426 shown in FIG. 11A, for the face having a high evaluation value, the arrangement of the selection operation support image on the left side of the ring 426 is determined. Can do. In addition, for example, when priority is set in advance for specific person information stored in the specific person information storage unit 230, and a plurality of faces whose positions in the x-axis direction and the y-axis direction are the same are registered faces. The arrangement of the selection operation support image can be determined based on the priority order.

また、図１１乃至図２４に示す例では、各選択操作支援画像をサッカー選手の顔の位置に重畳して表示する例を示したが、例えば、各顔の背景によっては、各選択操作支援画像が見難くなってしまうおそれがある。そこで、例えば、選択操作支援画像を付す対象となる対象物の背景に応じて、選択操作支援画像の表示形態を変更するようにしてもよい。例えば、選択操作支援画像を付す対象となる対象物の背景に応じて、選択操作支援画像の輝度を高くしたり、点滅させたり、エッジ強調を使用したりすることにより、選択操作支援画像自体を見易くすることができる。また、例えば、選択操作支援画像を付す対象となる対象物の背景に、半透明のグレー画像を重畳させ、この上から選択操作支援画像を重畳させることにより、選択操作支援画像自体を見易くすることができる。   In addition, in the examples illustrated in FIGS. 11 to 24, an example in which each selection operation support image is displayed superimposed on the position of the soccer player's face is shown. May be difficult to see. Therefore, for example, the display form of the selection operation support image may be changed according to the background of the target object to which the selection operation support image is attached. For example, the selection operation support image itself is displayed by increasing the brightness of the selection operation support image, blinking, or using edge enhancement according to the background of the target object to which the selection operation support image is attached. Easy to see. In addition, for example, by superimposing a semi-transparent gray image on the background of the target object to which the selection operation support image is to be attached, and superimposing the selection operation support image thereon, the selection operation support image itself can be easily seen. Can do.

［選択操作補助画像の表示制御例］
図１１乃至図２４に示す例では、撮像画像に含まれるサッカー選手の顔の位置に各選択操作支援画像を重畳して表示する例を示した。しかしながら、例えば、各選択操作支援画像については、撮像画像に重畳するとともに、他の表示領域において各顔に関連付けて表示するようにしてもよい。以下では、撮像画像の表示領域以外の表示領域に選択操作支援画像を表示する例について図面を参照して詳細に示す。 [Selection control auxiliary image display control example]
In the example shown in FIGS. 11 to 24, an example is shown in which each selection operation support image is displayed superimposed on the position of the soccer player's face included in the captured image. However, for example, each selection operation support image may be superimposed on the captured image and displayed in association with each face in another display area. Hereinafter, an example in which the selection operation support image is displayed in a display area other than the display area of the captured image will be described in detail with reference to the drawings.

図２５乃至図２９は、本発明の第１の実施の形態における選択操作内容決定部２４０により決定された選択操作内容を表す選択操作支援画像の表示例を示す図である。図２５乃至図２９に示す例は、各選択操作支援画像を、撮像画像に重畳するとともに、他の表示領域において各顔に関連付けて表示する表示例である。なお、図２５（ｂ）に示す撮像画像４２０は、図１１（ａ）に示す撮像画像４２０と同一である。   25 to 29 are diagrams illustrating display examples of the selection operation support image representing the selection operation content determined by the selection operation content determination unit 240 according to the first embodiment of the present invention. The examples shown in FIGS. 25 to 29 are display examples in which each selection operation support image is superimposed on a captured image and displayed in association with each face in another display area. Note that the captured image 420 illustrated in FIG. 25B is the same as the captured image 420 illustrated in FIG.

図２５（ａ）に示す画像５００は、図２５（ｂ）に示す撮像画像４２０が表示されている状態で、撮像画像４２０の表示領域以外の表示領域に表示される画像である。例えば、カラー液晶表示部１３１またはファインダ１３５における表示領域において、撮像画像４２０を表示する撮像画像表示領域と、画像５００を表示する選択操作補助画像表示領域とを設けことができる。また、カラー液晶表示部１３１およびファインダ１３５以外の他の表示部を撮像装置１００に設け、この表示部において、画像５００を表示するようにしてもよい。このように、図２５乃至図２９に示す例では、撮像画像および選択操作補助画像を同時に表示する例を示す。   An image 500 illustrated in FIG. 25A is an image displayed in a display area other than the display area of the captured image 420 in a state where the captured image 420 illustrated in FIG. For example, in the display area in the color liquid crystal display unit 131 or the finder 135, a captured image display area for displaying the captured image 420 and a selection operation auxiliary image display area for displaying the image 500 can be provided. Further, a display unit other than the color liquid crystal display unit 131 and the finder 135 may be provided in the imaging apparatus 100, and the image 500 may be displayed on the display unit. As described above, in the examples illustrated in FIGS. 25 to 29, the captured image and the selection operation auxiliary image are displayed at the same time.

図２５（ａ）に示す画像５００は、撮像画像４２０に含まれる所望の顔を選択するための選択操作を支援するための選択操作補助画像であり、例えば、撮像画像４２０に含まれる各人物に関する選択操作補助画像５０１乃至５０５により構成される。   An image 500 illustrated in FIG. 25A is a selection operation auxiliary image for supporting a selection operation for selecting a desired face included in the captured image 420. For example, the image 500 relates to each person included in the captured image 420. It consists of selection operation auxiliary images 501 to 505.

選択操作補助画像５０１乃至５０５は、例えば、特定人物情報記憶部２３０に記憶されている特定人物情報と、選択操作支援画像５０６乃至５１０とが関連付けられている画像である。例えば、特定人物情報として、特定人物情報記憶部２３０に記憶されている登録名称２３２および登録顔画像２３４が表示される。この特定人物情報は、例えば、選択操作支援画像保持部２５０に保持されている特定人物番号２５４に基づいて、表示制御部２６０が、特定人物情報記憶部２３０から取得して表示させる。また、選択操作支援画像５０６乃至５１０は、選択操作内容決定部２４０により決定された選択操作内容を表す選択操作支援画像の一例である。すなわち、選択操作支援画像５０６乃至５１０は、同時に表示される撮像画像４２０に含まれるサッカー選手４０１乃至４０５の各顔に付されている選択操作支援画像２５５乃至２５９に対応するものである。また、選択操作補助画像５０１乃至５０５は、同時に表示される撮像画像４２０におけるｘ軸方向の位置に基づいて配置される。すなわち、図２５（ａ）および（ｂ）に示すように、サッカー選手４０１乃至４０５のｘ軸方向における位置が対応している。なお、図２５乃至図２９に示す例では、撮像画像に重畳される選択操作支援画像と、選択操作補助画像に含まれる選択操作支援画像とを異なる形態として示すが、これらを同一の形態として表示するようにしてもよい。   The selection operation auxiliary images 501 to 505 are images in which specific person information stored in the specific person information storage unit 230 and selection operation support images 506 to 510 are associated with each other, for example. For example, a registered name 232 and a registered face image 234 stored in the specific person information storage unit 230 are displayed as specific person information. For example, the display control unit 260 acquires the specific person information from the specific person information storage unit 230 based on the specific person number 254 held in the selection operation support image holding unit 250 and displays the specific person information. The selection operation support images 506 to 510 are examples of the selection operation support image representing the selection operation content determined by the selection operation content determination unit 240. That is, the selection operation support images 506 to 510 correspond to the selection operation support images 255 to 259 attached to the faces of the soccer players 401 to 405 included in the captured image 420 displayed at the same time. Further, the selection operation auxiliary images 501 to 505 are arranged based on the position in the x-axis direction in the captured image 420 that is displayed at the same time. That is, as shown in FIGS. 25A and 25B, the positions of the soccer players 401 to 405 in the x-axis direction correspond to each other. In the example shown in FIGS. 25 to 29, the selection operation support image superimposed on the captured image and the selection operation support image included in the selection operation support image are shown as different forms, but these are displayed as the same form. You may make it do.

ここで、図２５（ｂ）では、図１１乃至図２４に示す例と同様に、撮像画像に選択操作支援画像２５５乃至２５９を重畳した例を示した。ただし、例えば、撮像画像に含まれる各顔に顔マークを付し、これらの顔マークの色と、これに対応する選択操作補助画像の枠の色とを同一とすることにより、各顔と選択操作支援画像とを関連付けるようにしてもよい。例えば、図２６に示すように、撮像画像５２０に含まれる各顔に顔マーク５２１乃至５２５を付し、これらの顔マーク５２１乃至５２５の色と、これに対応する選択操作補助画像５３１乃至５３５の枠の色とを同一とすることができる。なお、図２６では、これらの同一の色を付す部分を太線で示す。また、選択操作補助画像５３１乃至５３５の太線および顔マーク以外については、図２５に示す例と同様である。   Here, FIG. 25B illustrates an example in which selection operation support images 255 to 259 are superimposed on the captured image, as in the examples illustrated in FIGS. 11 to 24. However, for example, by adding a face mark to each face included in the captured image and making the color of these face marks the same as the frame color of the corresponding selection operation auxiliary image, each face is selected. You may make it link | relate with an operation assistance image. For example, as shown in FIG. 26, face marks 521 to 525 are attached to each face included in the captured image 520, and the colors of the face marks 521 to 525 and the selection operation auxiliary images 531 to 535 corresponding thereto are displayed. The frame color can be the same. In FIG. 26, these portions with the same color are indicated by bold lines. Also, the selection operation auxiliary images 531 to 535 other than the thick lines and face marks are the same as the example shown in FIG.

ここで、例えば、撮像装置１００を用いて撮影を行っている場合には、撮像画像に含まれる各人物が頻繁に動いて位置関係が頻繁に変更される可能性がある。また、撮像画像（画枠）に新たな人物が進入したり、現在表示されている人物が撮像画像の範囲外へ移動したりすること等も想定される。このような場合には、選択操作補助画像の配置に変更が発生することになるため、撮影者が選択操作補助画像を見易くすることが重要となる。   Here, for example, when shooting is performed using the imaging apparatus 100, each person included in the captured image may frequently move and the positional relationship may be frequently changed. It is also assumed that a new person enters the captured image (image frame), or that the currently displayed person moves out of the range of the captured image. In such a case, since a change occurs in the arrangement of the selection operation auxiliary image, it is important for the photographer to make the selection operation auxiliary image easy to see.

そこで、図２５（ａ）および図２６（ａ）に示すように、同時に表示される撮像画像におけるｘ軸方向の位置に基づいた選択操作補助画像の配置以外に、例えば、規定時間以上位置が不変だった場合にのみ選択操作補助画像の配置を変更するようにしてもよい。また、選択操作補助画像の配置の変更をさらに少なくしたい場合には、例えば、顔識別部２２０により識別された順番に選択操作補助画像の配置を決定し、この配置を変更しないようにしてもよい。この場合に、例えば、既に配置された選択操作補助画像に対応する人物が撮像画像の範囲外へ移動した場合やその人物を顔識別部２２０が識別できなくなることが想定される。この場合には、選択操作補助画像の枠内には特定人物情報を表示させずに空き状態とし、他の選択操作補助画像については配置状態も変更しないようにすることができる。このように、空き状態となった選択操作補助画像については、撮像画像（画枠）に新たな人物が進入した場合や、新たな人物が顔識別部２２０により識別された場合に、その新たな人物に関する選択操作補助画像として割り当てるようにしてもよい。これにより、選択操作補助画像の配置に変更が発生することを防止することができ、選択操作補助画像を見易くすることができる。また、特定人物情報記憶部２３０に記憶されている特定人物情報に、予め優先度を設定しておき、この優先度の順番に選択操作補助画像を配置するようにしてもよい。   Therefore, as shown in FIGS. 25A and 26A, in addition to the arrangement of the selection operation auxiliary image based on the position in the x-axis direction in the simultaneously displayed captured images, for example, the position remains unchanged for a predetermined time or more. Only in such a case, the arrangement of the selection operation auxiliary image may be changed. Further, when it is desired to further reduce the change in the arrangement of the selection operation auxiliary image, for example, the arrangement of the selection operation auxiliary image may be determined in the order identified by the face identification unit 220 and the arrangement may not be changed. . In this case, for example, it is assumed that the person corresponding to the already selected selection operation auxiliary image has moved out of the range of the captured image or that the person cannot be identified by the face identifying unit 220. In this case, the specific person information is not displayed in the frame of the selection operation auxiliary image, and the empty state is set, and the arrangement state of other selection operation auxiliary images can be prevented from being changed. As described above, when the selection operation auxiliary image is in an empty state, when a new person enters the captured image (image frame) or when a new person is identified by the face identification unit 220, the new operation assistance image is displayed. You may make it allocate as a selection operation auxiliary image regarding a person. Thereby, it is possible to prevent the selection operation auxiliary image from being changed, and to make the selection operation auxiliary image easier to see. Alternatively, priority may be set in advance for the specific person information stored in the specific person information storage unit 230, and the selection operation auxiliary images may be arranged in the order of the priorities.

図２７（ａ）には、選択操作補助画像の配置の変更を少なくした場合における表示例を示す。図２７（ａ）に示す表示例は、例えば、顔識別部２２０により識別された順番に選択操作補助画像の配置を決定した場合を示すものとする。例えば、サッカー選手４０５と、選択操作補助画像５４１とが対応するものとする。なお、この場合には、図２７（ａ）および（ｂ）に示すように、撮像画像５５０に含まれる各顔のｘ軸方向における位置と、選択操作補助画像５４１乃至５４５の配置とが同一とならない場合が生じる。このため、これらの選択操作補助画像の配置については、撮影者の好みに応じて手動操作により変更可能とするようにしてもよい。   FIG. 27A shows a display example when the change in the arrangement of the selection operation auxiliary image is reduced. The display example illustrated in FIG. 27A illustrates, for example, a case where the arrangement of the selection operation auxiliary images is determined in the order identified by the face identifying unit 220. For example, it is assumed that the soccer player 405 corresponds to the selection operation auxiliary image 541. In this case, as shown in FIGS. 27A and 27B, the position of each face included in the captured image 550 in the x-axis direction and the arrangement of the selection operation auxiliary images 541 to 545 are the same. It may not be possible. Therefore, the arrangement of these selection operation auxiliary images may be changed by manual operation according to the photographer's preference.

図２８（ａ）には、図２７に示す表示状態から、撮像画像に含まれる人物が移動して、識別できなくなった人物が生じた場合における表示例を示す。例えば、サッカー選手４０５が移動して撮像装置１００からの距離が遠くなったような場合には、図２８（ｂ）に示すように、撮像画像５７０に含まれるサッカー選手４０５のサイズが小さくなる。このように撮像画像における顔のサイズが小さい場合や焦点が合っていない場合には、顔識別部２２０により識別できない場合も想定される。このような場合にでも、既に特定人物であると識別されているような場合には、例えば、追尾処理により各人物の顔を追尾して同一人物であることが推定し続けられる間は、その特定人物に関する選択操作補助画像を表示し続けることができる。ただし、例えば、顔識別部２２０により識別できなくなった後には、同一人物であることが推定し続けられる場合でも、その特定人物に関する選択操作補助画像の名称および登録顔画像については消去するようにしてもよい。図２８（ａ）に示す例では、撮像画像５７０に含まれるサッカー選手４０５に関する選択操作補助画像５６１を表示し続けるが、その枠内の名称および登録顔画像については消去する例を示す。なお、顔識別部２２０により識別できなくなった後に、再度、顔識別部２２０により識別することができるようになった場合には、その特定人物に関する選択操作補助画像の名称および登録顔画像を追加表示することができる。また、例えば、図２８（ｂ）に示すサッカー選手４０５のように、撮像画像５７０におけるサイズが小さい場合には、撮影者に見易くするため、選択操作支援画像２５７をその顔に応じて小さくせずに、比較的大きいサイズとするようにしてもよい。また、同様に、例えば、撮像画像における顔のサイズが小さい場合等において、既に特定人物であると識別されているような場合には、同一人物であることが推定し続けられる間は、その特定人物に選択操作支援画像を重畳して表示し続けるようにしてもよい。   FIG. 28A shows a display example when a person included in the captured image moves from the display state shown in FIG. 27 and a person who cannot be identified is generated. For example, when the soccer player 405 moves and the distance from the imaging device 100 increases, the size of the soccer player 405 included in the captured image 570 is reduced as illustrated in FIG. In this manner, when the face size in the captured image is small or when the focus is not in focus, it may be assumed that the face identification unit 220 cannot identify the face. Even in such a case, if the person has already been identified as a specific person, for example, while tracking the face of each person by the tracking process and continuing to estimate that the person is the same person, It is possible to continue displaying the selection operation auxiliary image related to the specific person. However, for example, after the face identification unit 220 can no longer be identified, the name of the selection operation auxiliary image and the registered face image related to the specific person are deleted even if the person is continuously estimated to be the same person. Also good. In the example shown in FIG. 28A, the selection operation auxiliary image 561 relating to the soccer player 405 included in the captured image 570 is continuously displayed, but the name and the registered face image in the frame are deleted. In addition, after the face identification unit 220 can no longer identify, when the face identification unit 220 can identify again, the name of the selection operation auxiliary image and the registered face image related to the specific person are additionally displayed. can do. Further, for example, when the size of the captured image 570 is small like a soccer player 405 shown in FIG. 28B, the selection operation support image 257 is not reduced according to the face so that the photographer can easily see. In addition, the size may be relatively large. Similarly, for example, when the face size in the captured image is small, if the person is already identified as the specific person, the identification is performed while the same person is continuously estimated. The selection operation support image may be superimposed and displayed on the person.

以上では、特定人物情報記憶部２３０に記憶されている特定人物情報（登録名称２３２および登録顔画像２３４）を用いて選択操作補助画像を表示する例を示した。しかしながら、例えば、撮像画像に含まれる顔を含む顔画像を撮像装置から取り出し、この取り出された顔画像を用いるようにしてもよい。   The example in which the selection operation auxiliary image is displayed using the specific person information (the registered name 232 and the registered face image 234) stored in the specific person information storage unit 230 has been described above. However, for example, a face image including a face included in the captured image may be extracted from the imaging apparatus, and the extracted face image may be used.

図２９（ａ）には、撮像画像５９０から取り出された顔画像を用いて選択操作補助画像５８１乃至５８５を表示する例を示す。図２９（ａ）および（ｂ）では、撮像画像５９０における取出し元の位置（破線の矩形）と、選択操作補助画像５８１乃至５８５に含まれる顔画像との関係を破線の矢印で結んで示す。ここで、例えば、サッカー選手４０５のように、撮像装置１００からの距離が遠く、撮像画像５９０における顔のサイズが小さい場合には、その顔を含む顔画像を拡大処理して用いるようにすることができる。また、例えば、現在の基準顔と離れていて焦点があっていない顔（いわゆる、ぼやけている顔）については、シャープネス処理して用いるようにすることができる。   FIG. 29A shows an example in which the selection operation auxiliary images 581 to 585 are displayed using the face image extracted from the captured image 590. 29A and 29B, the relationship between the position of the extraction source (broken line rectangle) in the captured image 590 and the face image included in the selection operation auxiliary images 581 to 585 is shown by broken line arrows. Here, for example, when the distance from the imaging device 100 is long and the face size in the captured image 590 is small, such as a soccer player 405, the face image including the face is enlarged and used. Can do. Further, for example, a face that is separated from the current reference face and is not in focus (so-called blurred face) can be used after being subjected to sharpness processing.

ここで、撮像画像から取り出された顔画像を用いて選択操作補助画像を表示する場合には、例えば、順次生成される撮像画像毎に順次顔画像を取り出して選択操作補助画像を表示することができる。ただし、選択操作補助画像に比較的綺麗な顔画像を表示するため、例えば、顔識別部２２０が顔識別処理を行う際に算出される評価値を用いて、この評価値が閾値を超えた場合に、その顔画像を取り出して用いるようにしてもよい。また、現在表示されている顔画像の評価値よりも高い値の評価値が算出されたことを条件に、その評価値に対応する顔画像を新たに表示するようにしてもよい。また、顔識別部２２０により算出される評価値の代わりに、顔検出部２１０が顔検出処理を行う際に算出される評価値を用いるようにしてもよい。このように選択操作補助画像を表示することにより、例えば、正面向きを向いていた特定人物が後ろを向いてしまった場合でも、正面向きの顔画像を表示させておくことができる。   Here, when the selection operation auxiliary image is displayed using the face image extracted from the captured image, for example, the face image may be sequentially extracted and displayed for each captured image that is sequentially generated. it can. However, in order to display a relatively beautiful face image in the selection operation auxiliary image, for example, when the evaluation value exceeds a threshold value using an evaluation value calculated when the face identification unit 220 performs the face identification processing In addition, the face image may be taken out and used. Alternatively, a new face image corresponding to the evaluation value may be displayed on the condition that an evaluation value higher than the evaluation value of the currently displayed face image is calculated. Further, instead of the evaluation value calculated by the face identification unit 220, an evaluation value calculated when the face detection unit 210 performs the face detection process may be used. By displaying the selection operation auxiliary image in this way, for example, even when a specific person who is facing the front is facing the back, a face image facing the front can be displayed.

［選択操作支援画像の表示制御の変形例］
以上では、撮像装置１００の上下方向と、撮影者の上下方向とが同一の場合における撮影時（撮像範囲が横長となる撮影時）の表示例を示した。しかしながら、例えば、図３０（ａ）に示すように、光軸方向に対して９０度回転させた状態で撮像装置１００による撮影が行われることもある。そこで、以下では、このような撮影姿勢による撮影時の表示例を示す。 [Modified example of display control of selection operation support image]
The display example at the time of shooting (when the shooting range is horizontally long) in the case where the vertical direction of the imaging apparatus 100 is the same as the vertical direction of the photographer has been shown. However, for example, as shown in FIG. 30A, photographing by the imaging device 100 may be performed in a state of being rotated 90 degrees with respect to the optical axis direction. Therefore, in the following, a display example at the time of shooting with such a shooting posture will be shown.

図３０は、本発明の第１の実施の形態における撮像装置１００を用いて撮影を行う場合における撮影者の撮影姿勢の一例と、その撮影時（撮像範囲が縦長となる撮影時）における選択操作支援画像の表示例を示す図である。図３０（ａ）には、光軸方向に対して９０度回転させた状態で撮像装置１００を両手で構えた撮影者１５０を撮像装置１００の側面側から示す。図３０（ｂ）には、図３０（ａ）に示す撮影姿勢で撮影が行われた場合における撮像画像の表示例を示す。   FIG. 30 shows an example of the shooting posture of the photographer when shooting is performed using the imaging apparatus 100 according to the first embodiment of the present invention, and a selection operation at the time of shooting (when the shooting range is vertically long). It is a figure showing an example of a display of a support picture. FIG. 30A shows a photographer 150 who holds the imaging apparatus 100 with both hands while being rotated 90 degrees with respect to the optical axis direction from the side of the imaging apparatus 100. FIG. 30B shows a display example of a captured image when shooting is performed with the shooting posture shown in FIG.

図３０（ａ）に示す撮影姿勢で撮影が行われた場合には、図３０（ｂ）に示すように、撮影者は、縦長の撮像画像６００を見ることになる。この撮像画像６００は、撮像装置１００の回転と同様に、光軸方向に対して９０度回転された状態となる。そこで、このような場合には、撮影者の上下方向に合わせて、ＣＷ方向に９０度回転させた選択操作支援画像２５５乃至２５９を各顔に重畳して表示させることができる。例えば、表示制御部２６０は、姿勢検出部２９０により撮像装置１００の回転角度が検出されると、この検出された回転角度に応じて、選択操作支援画像２５５乃至２５９を回転させて表示させる。これにより、撮影者がどのような撮影姿勢であっても、撮像画像に重畳して表示される選択操作支援画像の上下方向の関係が同一となるように表示されるため、撮影者が見易くなる。なお、これらの選択操作支援画像の回転表示については、撮影者の手動操作により変更可能とするようにしてもよい。   When photographing is performed in the photographing posture shown in FIG. 30A, the photographer sees a vertically long captured image 600 as shown in FIG. Similar to the rotation of the imaging apparatus 100, the captured image 600 is in a state of being rotated 90 degrees with respect to the optical axis direction. Therefore, in such a case, the selection operation support images 255 to 259 rotated 90 degrees in the CW direction in accordance with the up and down direction of the photographer can be displayed superimposed on each face. For example, when the rotation angle of the imaging apparatus 100 is detected by the attitude detection unit 290, the display control unit 260 rotates and displays the selection operation support images 255 to 259 according to the detected rotation angle. This makes it easy for the photographer to view because the selection operation support image displayed so as to be superimposed on the captured image is displayed in the same vertical relationship regardless of the photographing posture of the photographer. . The rotation display of these selection operation support images may be changed by a manual operation of the photographer.

また、以上では、主にｘ軸方向における対象物の位置関係に基づいて選択操作支援画像の配置を決定する例を示した。しかしながら、例えば、カーレース等の競走を正面から撮影するような場合には、撮像範囲が横長となる撮影時でも、対象物（例えば、車）の並びが主に縦方向になることが想定される。このような撮影時には、主にｙ軸方向における対象物の位置関係に基づいて選択操作支援画像の配置を決定するようにしてもよい。この場合には、例えば、図３１および図３２に示すように、選択操作支援画像の配置の決定方法に応じて、選択操作支援画像の表示形態を変更するようにしてもよい。   In the above, the example in which the arrangement of the selection operation support image is determined mainly based on the positional relationship of the target object in the x-axis direction has been described. However, for example, when shooting a race such as a car race from the front, it is assumed that the objects (for example, cars) are mainly arranged in the vertical direction even when shooting in which the imaging range is horizontally long. The During such shooting, the arrangement of the selection operation support image may be determined mainly based on the positional relationship of the objects in the y-axis direction. In this case, for example, as shown in FIGS. 31 and 32, the display mode of the selection operation support image may be changed according to the method for determining the arrangement of the selection operation support image.

図３１および図３２は、本発明の第１の実施の形態における選択操作内容決定部２４０により決定された選択操作内容を表す選択操作支援画像の表示例を示す図である。図３１には、各選択操作支援画像の表示形態を変更して撮像画像６０１に重畳する表示例を示す。また、図３２には、各選択操作支援画像の表示形態を変更して撮像画像６０２に重畳するとともに、他の表示領域において選択操作補助画像の表示形態を変更して表示する表示例を示す。図３１および図３２（ｂ）に示すように、例えば、主にｙ軸方向における対象物の位置関係に基づいて選択操作支援画像の配置を決定した場合には、ＣＣＷ方向に９０度回転させた選択操作支援画像２５５乃至２５９を各顔に重畳して表示させることができる。また、選択操作補助画像を表示させる場合には、図３２（ａ）に示すように、例えば、選択操作補助画像を上下方向に並べて表示させることができる。この場合に、選択操作補助画像に含まれる選択操作支援画像の矢印方向についても変更することができる。このように、選択操作支援画像の配置の決定方法に応じて、選択操作支援画像または選択操作補助画像の表示形態を変更することにより、何れの基準によって選択操作支援画像の配置が決定されているのかを撮影者が容易に把握することができる。   FIGS. 31 and 32 are diagrams illustrating display examples of a selection operation support image representing the selection operation content determined by the selection operation content determination unit 240 according to the first embodiment of the present invention. FIG. 31 shows a display example in which the display mode of each selection operation support image is changed and superimposed on the captured image 601. FIG. 32 shows a display example in which the display mode of each selection operation support image is changed and superimposed on the captured image 602, and the display mode of the selection operation auxiliary image is changed and displayed in another display area. As shown in FIG. 31 and FIG. 32 (b), for example, when the arrangement of the selection operation support image is determined based mainly on the positional relationship of the object in the y-axis direction, it is rotated 90 degrees in the CCW direction. The selection operation support images 255 to 259 can be displayed superimposed on each face. Further, when displaying the selection operation auxiliary image, as shown in FIG. 32A, for example, the selection operation auxiliary image can be displayed side by side in the vertical direction. In this case, the arrow direction of the selection operation support image included in the selection operation auxiliary image can also be changed. In this way, by changing the display mode of the selection operation support image or the selection operation support image according to the method for determining the arrangement of the selection operation support image, the arrangement of the selection operation support image is determined based on any criterion. The photographer can easily grasp whether or not.

［撮像装置の動作例］
次に、本発明の第１の実施の形態における撮像装置１００の動作について図面を参照して説明する。 [Operation example of imaging device]
Next, the operation of the imaging apparatus 100 according to the first embodiment of the present invention will be described with reference to the drawings.

図３３は、本発明の実施の形態における撮像装置１００による撮像画像記録処理の処理手順を示すフローチャートである。この例では、撮像画像記録待機状態（例えば、モニタリングモード設定時）である場合に、撮像画像を生成し、この撮像画像に選択操作支援画像を重畳して表示させる表示制御処理を行う例について説明する。   FIG. 33 is a flowchart illustrating a processing procedure of captured image recording processing by the imaging device 100 according to the embodiment of the present invention. In this example, a description is given of an example in which a display control process is performed in which a captured image is generated and a selection operation support image is superimposed on the captured image when the captured image recording standby state is set (for example, when the monitoring mode is set). To do.

最初に、撮像画像記録待機状態であるか否かが判断される（ステップＳ９０１）。撮像画像記録待機状態である場合には（ステップＳ９０１）、撮像部２００が撮像画像を生成し（ステップＳ９０２）、生成された撮像画像について顔検出部２１０が顔検出処理を行う（ステップＳ９０３）。なお、この顔検出処理は各フレームに対して行うようにしてもよく、一定間隔毎のフレームに対して行うようにしてもよい。また、ステップＳ９０３は、特許請求の範囲に記載の対象物検出手順の一例である。一方、撮像画像記録待機状態でない場合には（ステップＳ９０１）、撮像画像記録処理の動作を終了する。   First, it is determined whether or not the captured image recording standby state is set (step S901). If the captured image recording standby state is set (step S901), the imaging unit 200 generates a captured image (step S902), and the face detection unit 210 performs face detection processing on the generated captured image (step S903). This face detection process may be performed for each frame, or may be performed for frames at regular intervals. Step S903 is an example of the object detection procedure described in the claims. On the other hand, when the captured image recording standby state is not set (step S901), the operation of the captured image recording process is terminated.

続いて、撮像画像から顔が検出されたか否かが判断される（ステップＳ９０４）。撮像画像から顔が検出されている場合には（ステップＳ９０４）、検出された顔について顔識別部２２０が顔識別処理を行う（ステップＳ９０５）。続いて、選択操作内容決定部２４０が、選択操作支援画像保持部２５０の保持内容に基づいて、基準顔が存在するか否かを判断する（ステップＳ９０６）。基準顔が存在しない場合には（ステップＳ９０６）、選択操作内容決定部２４０が、予め設定されている条件（一定条件）に基づいて、顔検出部２１０により検出された顔の中から、基準顔を選択する（ステップＳ９０７）。   Subsequently, it is determined whether or not a face has been detected from the captured image (step S904). When a face is detected from the captured image (step S904), the face identification unit 220 performs face identification processing on the detected face (step S905). Subsequently, the selection operation content determination unit 240 determines whether or not a reference face exists based on the content stored in the selection operation support image storage unit 250 (step S906). When the reference face does not exist (step S906), the selection operation content determination unit 240 selects the reference face from the faces detected by the face detection unit 210 based on a preset condition (constant condition). Is selected (step S907).

基準顔が存在する場合には（ステップＳ９０６）、リング型操作部材１４３により他の顔の選択操作が行われた否かが判断される（ステップＳ９０８）。リング型操作部材１４３により他の顔の選択操作が行われた場合には（ステップＳ９０８）、基準対象物選択部２８０が、選択操作支援画像保持部２５０の保持内容に基づいて、その選択操作に対応する基準顔を選択する（ステップＳ９０９）。一方、他の顔の選択操作が行われていない場合には（ステップＳ９０８）、選択操作内容決定部２４０が、選択操作支援画像保持部２５０に保持されている基準顔について追尾処理を行う（ステップＳ９１０）。続いて、選択操作内容決定部２４０が、基準顔に基づいて他の顔の選択操作内容を決定し、この決定された選択操作内容に基づいて選択操作支援画像保持部２５０の保持内容の更新を行う（ステップＳ９１１）。なお、ステップＳ９１１は、特許請求の範囲に記載の選択操作内容決定手順の一例である。   If there is a reference face (step S906), it is determined whether another face selection operation has been performed by the ring-type operation member 143 (step S908). When another face selection operation is performed by the ring-type operation member 143 (step S908), the reference object selection unit 280 performs the selection operation based on the content held in the selection operation support image holding unit 250. A corresponding reference face is selected (step S909). On the other hand, when another face selection operation is not performed (step S908), the selection operation content determination unit 240 performs a tracking process on the reference face held in the selection operation support image holding unit 250 (step S908). S910). Subsequently, the selection operation content determination unit 240 determines the selection operation content of another face based on the reference face, and updates the content held in the selection operation support image holding unit 250 based on the determined selection operation content. This is performed (step S911). Note that step S911 is an example of a selection operation content determination procedure described in the claims.

続いて、表示制御部２６０が、選択操作支援画像保持部２５０の保持内容に基づいて、選択操作支援画像を撮像画像に重畳して表示部２６１に表示させる（ステップＳ９１２）。すなわち、選択操作内容決定部２４０により新たに決定された選択操作内容に対応する各選択操作支援画像が撮像画像に重畳されて表示される。なお、ステップＳ９１２は、特許請求の範囲に記載の表示制御手順の一例である。続いて、撮像制御部２０１が、選択操作支援画像保持部２５０に保持されている基準顔の内容に基づいて、カメラパラメータを決定する（ステップＳ９１３）。例えば、撮像制御部２０１が、基準顔の撮像画像における位置および大きさに基づいて、基準顔に最適なカメラパラメータを決定する。   Subsequently, the display control unit 260 causes the display unit 261 to display the selection operation support image superimposed on the captured image based on the content held by the selection operation support image holding unit 250 (step S912). That is, each selection operation support image corresponding to the selection operation content newly determined by the selection operation content determination unit 240 is displayed superimposed on the captured image. Note that step S912 is an example of a display control procedure described in the claims. Subsequently, the imaging control unit 201 determines camera parameters based on the content of the reference face held in the selection operation support image holding unit 250 (step S913). For example, the imaging control unit 201 determines the optimal camera parameter for the reference face based on the position and size of the reference face in the captured image.

また、撮像画像から顔が検出されていない場合には（ステップＳ９０４）、表示制御部２６０が、撮像部２００により生成された撮像画像を表示部２６１に表示させる（ステップＳ９１４）。続いて、撮像制御部２０１が、予め設定されている条件に基づいてカメラパラメータを決定する（ステップＳ９１５）。   If no face is detected from the captured image (step S904), the display control unit 260 causes the display unit 261 to display the captured image generated by the imaging unit 200 (step S914). Subsequently, the imaging control unit 201 determines camera parameters based on preset conditions (step S915).

続いて、シャッターボタン１４１が押下されたか否かが判断され（ステップＳ９１６）、シャッターボタン１４１が押下された場合には、記録制御部２７０が、生成された撮像画像を記録部２７１に記録させる（ステップＳ９１７）。一方、シャッターボタンが押下されない場合には（ステップＳ９１６）、撮像画像記録処理の動作を終了する。   Subsequently, it is determined whether or not the shutter button 141 has been pressed (step S916). If the shutter button 141 has been pressed, the recording control unit 270 causes the recording unit 271 to record the generated captured image (step S916). Step S917). On the other hand, if the shutter button is not pressed (step S916), the operation of the captured image recording process ends.

このように、本発明の第１の実施の形態では、順次更新される選択操作支援画像保持部２５０の保持内容に基づいて、撮像画像に含まれる顔を基準顔として選択するための操作方向および操作範囲を表す選択操作支援画像が各顔の周りに重畳される。そして、撮影者は、選択したい顔に重畳された選択操作支援画像に従って、リング型操作部材１４３を一度操作するのみで、所望の顔を基準顔として選択することができる。これにより、撮影者は、選択操作内容を確認しながら素早く確実に目的の顔を基準顔として選択することができる。   As described above, in the first embodiment of the present invention, the operation direction for selecting the face included in the captured image as the reference face based on the content stored in the selection operation support image holding unit 250 that is sequentially updated, and A selection operation support image representing the operation range is superimposed around each face. Then, the photographer can select a desired face as a reference face only by operating the ring type operation member 143 once according to the selection operation support image superimposed on the face to be selected. Thus, the photographer can quickly and surely select the target face as the reference face while confirming the selection operation content.

また、本発明の第１の実施の形態では、リング型操作部材１４３の操作範囲として、左右方向のそれぞれに、比較的小さい操作量または比較的大きい操作量の何れかの操作領域を設定する。すなわち、左右方向のそれぞれに２段階の操作領域を設定する。このように、操作領域が限定されているため、撮影者が撮影に集中しているような場合でも、適切な操作を正確に行うことができる。これにより、決定的な瞬間の静止画撮影を成功させる確率を高めることができる。また、リング型操作部材１４３を回転操作するのみでよいため、選択操作による手振れを防止することができる。また、動いている被写体に対しても、選択操作を素早く確実に行うことができる。   In the first embodiment of the present invention, as the operation range of the ring-type operation member 143, an operation region of either a relatively small operation amount or a relatively large operation amount is set in each of the left and right directions. That is, a two-step operation area is set in each of the left and right directions. As described above, since the operation area is limited, an appropriate operation can be accurately performed even when the photographer concentrates on photographing. As a result, the probability of succeeding in taking a still image at a decisive moment can be increased. In addition, since it is only necessary to rotate the ring type operation member 143, camera shake due to the selection operation can be prevented. Further, the selection operation can be quickly and reliably performed on a moving subject.

［操作部材の変形例］
以上では、リング型操作部材１４３を用いて、選択操作支援画像に従って基準顔を選択する選択操作内容を示した。しかしながら、例えば、撮像装置に備えられている他の操作部材（例えば、操作方向および操作量を検出することが可能な操作部材）を用いて基準顔の選択操作を行うようにしてもよい。例えば、図２に示すダイヤル型操作部材１４４乃至１４６を用いて、選択操作支援画像に従って基準顔の選択操作を行うようにしてもよい。また、例えば、マニュアルアイリスリング等の操作部材を用いるようにしてもよい。また、回転操作を行う操作部材以外に、例えば、複数の操作量を検出可能な押下げボタンやシーソー型操作部材等を用いるようにしてもよい。なお、撮像装置に装着可能な外部操作部材からの操作入力を受け付け、この操作入力に基づいて基準顔の選択操作を行うようにしてもよい。また、エンドレス回転タイプではない操作部材（例えば、中点復帰（ゴーホーム）タイプのリング型操作部材）を用いるようにしてもよい。また、回転端や押し下げ端があるスイッチを使用する場合には、２種類の回転量（押し下げ量）による切り替えのみではなく、回転端や押し下げ端に達した場合の操作指示を追加するようにしてもよい。なお、分解能によって端の検出が不正確な場合には、端に達した場合にマイクロスイッチが押されるようにすることにより、端の検出精度を高めることができる。また、押し下げスイッチを操作部材として使用する場合等において、押し下げ量が少なく押し下げ量による切換が困難な場合には、単なる押し下げと端までの押し下げとを使用するようにしてもよい。また、操作部材としてスイッチを用いる場合には、例えば、一般的なカメラのシャッターボタンと同じ２段階の押し下げ式のボタンを用いることができる。このようなボタンでは、連続した押し下げ量を検出することはできないが、半押しと全押しの２種類の押し下げ状態の検出が可能であるため、操作部材として使用可能である。なお、図３４および図３５では、操作部材の例を示す。 [Modification of operation member]
The selection operation content for selecting the reference face according to the selection operation support image using the ring-type operation member 143 has been described above. However, for example, the reference face may be selected using another operation member (for example, an operation member capable of detecting an operation direction and an operation amount) provided in the imaging apparatus. For example, the reference face selection operation may be performed according to the selection operation support image using the dial type operation members 144 to 146 shown in FIG. Further, for example, an operation member such as manual iris ring may be used. In addition to the operation member that performs the rotation operation, for example, a push button that can detect a plurality of operation amounts, a seesaw type operation member, or the like may be used. Note that an operation input from an external operation member that can be attached to the imaging apparatus may be received, and a reference face selection operation may be performed based on the operation input. Further, an operation member that is not an endless rotation type (for example, a ring-type operation member of a midpoint return (go home) type) may be used. In addition, when using a switch with a rotation end or a push-down end, an operation instruction for reaching the rotation end or the push-down end is added in addition to switching by two kinds of rotation amounts (push-down amounts). Also good. If the edge detection is inaccurate due to the resolution, the edge detection accuracy can be improved by pressing the microswitch when the edge is reached. Further, when a push switch is used as an operation member or the like, when the push amount is small and switching by the push amount is difficult, simple push and push to the end may be used. When a switch is used as the operation member, for example, the same two-stage push-down button as a general camera shutter button can be used. With such a button, it is not possible to detect the amount of continuous depression, but it can be used as an operating member because it can detect two types of depressed states, half-pressed and fully-pressed. 34 and 35 show examples of the operation member.

図３４および図３５は、本発明の第１の実施の形態における基準対象物の選択操作を行う際に用いることが可能な操作部材を備える撮像装置の例を示す図である。図３４（ａ）乃至（ｃ）に示す撮像装置６３１乃至６３３は、例えば、デジタルビデオカメラであり、ダイヤル型６３４、リング型操作部材６３５乃至６３７が備えられている。撮像装置６３１乃至６３３により撮影を行う場合において、基準顔の選択操作を行う場合には、例えば、表示部６３８乃至６４０に表示される撮像画像を見ながら、選択操作支援画像に従ってダイヤル型６３４、リング型操作部材６３５乃至６３７の回転操作を行う。これにより、所望の顔を基準顔として選択することができる。   FIG. 34 and FIG. 35 are diagrams illustrating an example of an imaging apparatus including an operation member that can be used when performing a selection operation of a reference object in the first embodiment of the present invention. The imaging devices 631 to 633 shown in FIGS. 34A to 34C are digital video cameras, for example, and are provided with a dial type 634 and ring type operation members 635 to 637. In the case of shooting with the imaging devices 631 to 633, when a reference face selection operation is performed, for example, while looking at the captured images displayed on the display units 638 to 640, the dial type 634 and ring according to the selection operation support image The mold operation members 635 to 637 are rotated. Thereby, a desired face can be selected as a reference face.

図３５には、基準対象物の選択操作を行う際に用いることが可能なタッチパネル６１１を備える撮像装置６１０を示す。撮像装置６１０は、例えば、デジタルスチルカメラであり、タッチパネル６１１が備えられている。例えば、図３５に示すように、左手６１３および右手６１４で撮像装置６１０を持った状態で、タッチパネル６１１に表示される撮像画像を見ながら、撮像装置６１０により撮影を行うことができる。図３５では、タッチパネル６１１に表示される撮像画像には、サッカー選手４０１乃至４０５の各顔に選択操作支援画像６２１乃至６２５を付した場合を示す。選択操作支援画像６２１乃至６２５は、選択操作支援画像２５５乃至２５９の一部を変形したものであり、選択操作支援画像６２２乃至６２５における各矢印は操作量を示す。また、選択操作支援画像６２２および６２４における各矢印の終端には一重丸を付し、選択操作支援画像６２３および６２５における各矢印の終端には二重丸を付す。   FIG. 35 illustrates an imaging device 610 including a touch panel 611 that can be used when performing a reference object selection operation. The imaging device 610 is a digital still camera, for example, and includes a touch panel 611. For example, as illustrated in FIG. 35, the imaging device 610 can capture an image while viewing the captured image displayed on the touch panel 611 while holding the imaging device 610 with the left hand 613 and the right hand 614. FIG. 35 illustrates a case where selection operation support images 621 to 625 are attached to the faces of soccer players 401 to 405 in the captured image displayed on the touch panel 611. The selection operation support images 621 to 625 are obtained by modifying a part of the selection operation support images 255 to 259, and each arrow in the selection operation support images 622 to 625 indicates an operation amount. Also, a single circle is attached to the end of each arrow in the selection operation support images 622 and 624, and a double circle is attached to the end of each arrow in the selection operation support images 623 and 625.

例えば、図３５に示すように、タッチパネル６１１に表示される撮像画像を見ながら、撮像装置６１０により撮影を行う場合において、基準顔の選択操作を行う場合には、タッチパネル６１１を指で触れておく。例えば、左手６１３の親指でタッチパネル６１１を触れておく。このようにタッチパネル６１１を指で触れると、タッチパネル６１１における左手６１３の親指の位置６１２を起点として選択操作画像６１５が表示される。この選択操作画像６１５は、タッチパネル６１１における位置６１２を起点として左右方向に指を滑らせることにより基準顔の選択操作を行うための画像であり、位置６１２を起点として左右方向に指を滑らせる方向および量を表す。また、選択操作画像６１５には、指を滑らせる量の目安となる一重丸および二重丸を付す。この一重丸および二重丸は、選択操作支援画像６２２乃至６２５における各矢印の終端に付されている一重丸および二重丸に対応するものである。例えば、サッカー選手４０１の顔を基準顔として選択する場合には、サッカー選手４０１の顔に付されている選択操作支援画像６２３の矢印方向および二重丸に従って、タッチパネル６１１における左手６１３の親指を左側方向に二重丸６１６の位置まで滑らせる。これにより、所望の顔を基準顔として容易に選択することができる。   For example, as shown in FIG. 35, when photographing with the imaging device 610 while viewing the captured image displayed on the touch panel 611, when the reference face selection operation is performed, the touch panel 611 is touched with a finger. . For example, the touch panel 611 is touched with the thumb of the left hand 613. When the touch panel 611 is touched with a finger in this way, a selection operation image 615 is displayed starting from the position 612 of the thumb of the left hand 613 on the touch panel 611. This selection operation image 615 is an image for performing a reference face selection operation by sliding a finger in the left-right direction starting from a position 612 on the touch panel 611, and a direction in which the finger is slid in the left-right direction starting from the position 612. And represents quantity. In addition, the selection operation image 615 is provided with a single circle and a double circle that serve as a guide for the amount of finger sliding. The single circle and the double circle correspond to the single circle and the double circle attached to the end of each arrow in the selection operation support images 622 to 625. For example, when the face of the soccer player 401 is selected as the reference face, the thumb of the left hand 613 on the touch panel 611 is set to the left according to the arrow direction and double circle of the selection operation support image 623 attached to the face of the soccer player 401. Slide in the direction to the double circle 616 position. Thereby, a desired face can be easily selected as a reference face.

［選択操作支援画像の変形例］
以上で示した選択操作支援画像以外に、例えば、選択操作内容を表すことが可能な他の画像を選択操作支援画像として用いることができる。この選択操作支援画像の例を図３６および図３７に示す。 [Modification of selection operation support image]
In addition to the selection operation support image described above, for example, other images that can represent the selection operation content can be used as the selection operation support image. Examples of this selection operation support image are shown in FIGS.

図３６および図３７は、本発明の第１の実施の形態における基準対象物の選択操作を行うための選択操作内容を表す選択操作支援画像の例を示す図である。なお、図３６（ａ）に示す選択操作支援画像は、図８等に示す選択操作支援画像２５５乃至２５９に対応する。   FIG. 36 and FIG. 37 are diagrams illustrating an example of a selection operation support image representing the selection operation content for performing the selection operation of the reference object in the first embodiment of the present invention. Note that the selection operation support images shown in FIG. 36A correspond to the selection operation support images 255 to 259 shown in FIG.

図３６（ｂ）に示す選択操作支援画像は、操作方向および操作量を表す選択操作支援画像である。すなわち、図３６（ａ）に示す選択操作支援画像における矢印の長さは、操作範囲を表すものであるのに対し、図３６（ｂ）に示す選択操作支援画像における矢印の長さは、操作量（基準位置からの回転角度）を表す。   The selection operation support image shown in FIG. 36B is a selection operation support image representing the operation direction and the operation amount. That is, the length of the arrow in the selection operation support image shown in FIG. 36 (a) represents the operation range, whereas the length of the arrow in the selection operation support image shown in FIG. This represents the amount (rotation angle from the reference position).

図３６（ｃ）に示す選択操作支援画像は、操作方向および操作量を表す選択操作支援画像の変形例であり、図３６（ｂ）に示す円形の選択操作支援画像を、矩形の選択操作支援画像としたものである。   The selection operation support image shown in FIG. 36C is a modification of the selection operation support image representing the operation direction and the operation amount, and the circular selection operation support image shown in FIG. It is an image.

図３６（ｄ）に示す選択操作支援画像は、操作方向および操作量を文字で表す選択操作支援画像である。図３６（ｅ）に示す選択操作補助画像は、操作方向および操作量を文字で表す選択操作支援画像を含むものである。図３６（ｄ）および（ｅ）に示す例では、選択操作内容を日本語で表す例を示すが、英語等の外国語で表すようにしてもよく、日本語と外国語とが混在した文字を表すようにしてもよい。また、選択操作内容を、図３６（ａ）乃至（ｃ）等に示すマークと、文字とで同時に表すようにしてもよい。   The selection operation support image shown in FIG. 36D is a selection operation support image in which the operation direction and the operation amount are represented by characters. The selection operation assistance image shown in FIG. 36 (e) includes a selection operation assistance image in which the operation direction and the operation amount are represented by characters. In the example shown in FIGS. 36D and 36E, the selection operation content is expressed in Japanese. However, the selection operation may be expressed in a foreign language such as English. May be expressed. Further, the contents of the selection operation may be simultaneously represented by marks and characters shown in FIGS. 36 (a) to 36 (c).

また、以上では、左右方向において、それぞれ２つの操作範囲を表す選択操作支援画像について説明した。ここで、上述したように、例えば、複数の操作量を検出することが可能な押し下げボタンを選択操作部材として用いることができる。この押し下げボタンを用いて基準顔の選択操作を行う場合における選択操作支援画像の例を図３７で示す。図３７（ａ）には、押し下げボタンの操作方向および操作量を表す選択操作支援画像を示す。また、図３７（ｂ）には、押し下げボタンの操作方向および操作範囲を表す選択操作支援画像を示す。なお、図３７では、付与の対象となる人物の顔に、選択操作支援画像を重畳させた例を示す。   In the above, the selection operation support image representing two operation ranges in the left-right direction has been described. Here, as described above, for example, a push-down button capable of detecting a plurality of operation amounts can be used as the selection operation member. FIG. 37 shows an example of the selection operation support image when the reference face selection operation is performed using this push-down button. FIG. 37A shows a selection operation support image representing the operation direction and operation amount of the push-down button. FIG. 37B shows a selection operation support image representing the operation direction and operation range of the push-down button. Note that FIG. 37 shows an example in which a selection operation support image is superimposed on the face of a person to be given.

これらの選択操作支援画像については、操作部材の種類やユーザの好みに応じて変更可能とすることができる。例えば、ユーザが設定した操作範囲に対応するように選択操作支援画像の矢印範囲を変更して表示するようにしてもよい。また、選択操作内容を表す他の選択操作支援画像を用いるようにしてもよい。   These selection operation support images can be changed according to the type of operation member and the user's preference. For example, the arrow range of the selection operation support image may be changed and displayed so as to correspond to the operation range set by the user. Further, another selection operation support image representing the selection operation content may be used.

＜２．第２の実施の形態＞
［撮像装置の外観例］
以上では、１つの操作部材を用いて撮像画像に含まれる複数の対象物のうちから基準対象物を選択する例を示した。例えば、撮影時には、撮影に集中するため、細かい操作を行うことが困難であることも想定されるため、本発明の第１の実施の形態では、リング型操作部材１４３の操作範囲を左右方向において２領域に設定する例を示した。これにより、例えば、基準対象物以外の他の４つの対象物を選択することが可能となる。しかしながら、撮像画像に含まれる対象物の数が多く、選択操作の対象となる対象物を多くしたい場合も想定される。そこで、本発明の第２の実施の形態では、簡易的な操作を維持しつつ選択操作の対象となる対象物を多くする例について説明する。 <2. Second Embodiment>
[External appearance of imaging device]
The example in which the reference target object is selected from the plurality of target objects included in the captured image using one operation member has been described above. For example, at the time of shooting, it is assumed that it is difficult to perform a fine operation because it concentrates on shooting, so in the first embodiment of the present invention, the operation range of the ring-type operation member 143 is set in the left-right direction. An example of setting two areas is shown. Thereby, for example, it is possible to select four other objects other than the reference object. However, there may be a case where the number of objects included in the captured image is large and it is desired to increase the number of objects to be selected. Therefore, in the second embodiment of the present invention, an example will be described in which the number of objects to be selected is increased while maintaining a simple operation.

図３８は、本発明の第２の実施の形態における撮像装置７００の外観を示す図である。図３８（ａ）には、撮像装置７００の正面側の斜視図を示す。図３８（ｂ）には、撮像装置７００を用いて撮影を行う場合における撮影者の撮影姿勢の一例を示す。なお、撮像装置７００の内部構成については、図１に示す撮像装置１００と略同様であるため、ここでの説明を省略する。また、撮像装置７００は、例えば、撮像された画像をリアルタイムで表示する機能を有するデジタルビデオカメラ（例えば、カメラ一体型レコーダ）等の撮像装置により実現される。撮像装置７００は、レンズ鏡筒７０１と、リング型操作部材７０２と、補助操作部材７０３と、接眼ユニット７０４と、アイピース７０５とを備える。   FIG. 38 is a diagram illustrating an appearance of an imaging apparatus 700 according to the second embodiment of the present invention. FIG. 38A is a perspective view of the front side of the imaging apparatus 700. FIG. FIG. 38B shows an example of the shooting posture of the photographer when shooting is performed using the imaging apparatus 700. Note that the internal configuration of the imaging apparatus 700 is substantially the same as that of the imaging apparatus 100 shown in FIG. The imaging device 700 is realized by an imaging device such as a digital video camera (for example, a camera-integrated recorder) having a function of displaying captured images in real time. The imaging apparatus 700 includes a lens barrel 701, a ring-type operation member 702, an auxiliary operation member 703, an eyepiece unit 704, and an eyepiece 705.

レンズ鏡筒７０１は、撮像装置７００本体の前部に装着され、光学系を収容するものである。   The lens barrel 701 is attached to the front part of the main body of the imaging apparatus 700 and accommodates the optical system.

リング型操作部材７０２は、レンズ鏡筒７０１の外径部に設けられているリング型操作部材である。リング型操作部材７０２として、例えば、手動によりフォーカス合わせを行うためのマニュアルフォーカスリングを用いることができる。   The ring type operation member 702 is a ring type operation member provided on the outer diameter portion of the lens barrel 701. As the ring type operation member 702, for example, a manual focus ring for performing manual focusing can be used.

補助操作部材７０３は、レンズ鏡筒７０１の外径部に設けられているボタン型操作部材であり、押し下げの有無を検出することができる。   The auxiliary operation member 703 is a button-type operation member provided on the outer diameter portion of the lens barrel 701, and can detect the presence or absence of depression.

接眼ユニット７０４は、拡大された撮像画像を撮影者に提供するためのユニットであり、アイピース７０５を備える。このアイピース７０５は、撮影時において、拡大された撮像画像を撮影者が視認する際に用いられる。   The eyepiece unit 704 is a unit for providing a photographer with an enlarged captured image, and includes an eyepiece 705. The eyepiece 705 is used when a photographer visually recognizes an enlarged captured image during photographing.

ここで、撮像装置７００を用いて撮影を行う場合について説明する。図３８（ｂ）に示すように、撮像装置７００を用いて撮影を行う場合には、撮影者１５５は、撮像装置７００本体を右肩に乗せた状態で、両手によりレンズ鏡筒７０１の外径部を持つ。また、撮影者１５５は、右眼でアイピース７０５を覗くことにより、拡大された撮像画像を視認することができる。このような撮影姿勢では、例えば、左手によりリング型操作部材７０２を操作し、右手により補助操作部材７０３を操作することができる。すなわち、リング型操作部材７０２および補助操作部材７０３を同時に操作することができる。   Here, a case where imaging is performed using the imaging apparatus 700 will be described. As shown in FIG. 38B, when shooting using the imaging device 700, the photographer 155 places the imaging device 700 main body on the right shoulder and uses the outer diameter of the lens barrel 701 with both hands. Have a part. The photographer 155 can visually recognize the enlarged captured image by looking into the eyepiece 705 with the right eye. In such a shooting posture, for example, the ring type operation member 702 can be operated with the left hand, and the auxiliary operation member 703 can be operated with the right hand. That is, the ring type operation member 702 and the auxiliary operation member 703 can be operated simultaneously.

［撮像装置の機能構成例］
図３９は、本発明の第２の実施の形態における撮像装置７００の機能構成例を示すブロック図である。ここで、撮像装置７００は、図４に示す撮像装置１００の変形例であるため、撮像装置１００と共通する部分については、同一の符号を付してこれらの説明を省略し、撮像装置１００と異なる部分を中心に説明する。撮像装置７００は、選択操作内容決定部７１１と、基準対象物選択部７１２と、補助操作受付部７１３と、選択操作受付部７１４と、選択操作支援画像保持部７２０とを備える。 [Functional configuration example of imaging device]
FIG. 39 is a block diagram illustrating a functional configuration example of the imaging apparatus 700 according to the second embodiment of the present invention. Here, since the imaging apparatus 700 is a modification of the imaging apparatus 100 illustrated in FIG. 4, portions common to the imaging apparatus 100 are denoted by the same reference numerals, and description thereof is omitted. The description will focus on the different parts. The imaging apparatus 700 includes a selection operation content determination unit 711, a reference object selection unit 712, an auxiliary operation reception unit 713, a selection operation reception unit 714, and a selection operation support image holding unit 720.

選択操作内容決定部７１１は、顔検出部２１０により検出された複数の顔から所望の顔を基準顔として選択するための選択操作内容を決定するものであり、この決定された選択操作内容に基づいて選択操作支援画像保持部７２０の保持内容を順次更新する。なお、選択操作内容決定部７１１は、選択操作内容の決定対象となる顔が増えた点以外は、選択操作内容決定部２４０と同様である。   The selection operation content determination unit 711 determines selection operation content for selecting a desired face as a reference face from the plurality of faces detected by the face detection unit 210, and based on the determined selection operation content The contents held in the selection operation support image holding unit 720 are sequentially updated. Note that the selection operation content determination unit 711 is the same as the selection operation content determination unit 240 except that the number of selection operation content determination targets has increased.

選択操作支援画像保持部７２０は、選択操作内容決定部７１１により決定された選択操作内容を表す選択操作支援画像およびこれに関連付けられた顔情報等を保持するものであり、保持されている情報を各部に供給する。なお、選択操作支援画像保持部７２０の保持内容については、図４０を参照して詳細に説明する。   The selection operation support image holding unit 720 holds a selection operation support image representing the selection operation content determined by the selection operation content determination unit 711, face information associated therewith, and the like. Supply to each part. The contents held by the selection operation support image holding unit 720 will be described in detail with reference to FIG.

基準対象物選択部７１２は、補助操作受付部７１３および選択操作受付部７１４により受け付けられた操作入力に応じて、選択操作支援画像保持部７２０に顔情報が保持されている複数の対象物のうちから、基準対象物を選択するものである。そして、基準対象物選択部７１２は、選択された基準対象物に関する選択情報を選択操作内容決定部７１１に出力する。この基準対象物の選択方法については、図４１および図４２を参照して詳細に説明する。   The reference object selection unit 712 includes a plurality of objects whose face information is held in the selection operation support image holding unit 720 in accordance with the operation input received by the auxiliary operation receiving unit 713 and the selection operation receiving unit 714. From this, the reference object is selected. Then, the reference object selection unit 712 outputs selection information regarding the selected reference object to the selection operation content determination unit 711. The method for selecting the reference object will be described in detail with reference to FIGS. 41 and 42.

補助操作受付部７１３および選択操作受付部７１４は、表示部２６１に表示されている選択操作支援画像に応じて行われた操作内容を受け付けるものであり、受け付けられた操作内容を基準対象物選択部７１２に出力する。なお、補助操作受付部７１３は、例えば、図３８に示す補助操作部材７０３に対応し、選択操作受付部７１４は、例えば、図３８に示すリング型操作部材７０２に対応する。また、補助操作受付部７１３および選択操作受付部７１４は、特許請求の範囲に記載の操作受付部の一例である。   The auxiliary operation accepting unit 713 and the selection operation accepting unit 714 accept operation details performed in accordance with the selection operation assisting image displayed on the display unit 261, and the accepted operation details are used as the reference object selecting unit. Output to 712. The auxiliary operation reception unit 713 corresponds to, for example, the auxiliary operation member 703 shown in FIG. 38, and the selection operation reception unit 714 corresponds to, for example, the ring type operation member 702 shown in FIG. The auxiliary operation receiving unit 713 and the selection operation receiving unit 714 are examples of the operation receiving unit described in the claims.

図４０は、本発明の第２の実施の形態における選択操作支援画像保持部７２０に保持されている内容を概略的に示す図である。選択操作支援画像保持部７２０は、選択操作支援画像識別番号７２１と、選択操作支援画像７２２と、顔情報７２３と、特定人物番号７２４とが保持されている。なお、選択操作支援画像保持部７２０は、図６に示す選択操作支援画像保持部２５０の一部を変形したものであり、選択操作支援画像７２２に記憶される選択操作支援画像の種類が多くなった点以外は略同一である。そこで、以下では、図６に示す選択操作支援画像保持部２５０と異なる点を中心に説明し、共通する点についての説明を省略する。また、図４０に示す例では、画像に含まれる複数の人物のうち、９人の顔に選択操作支援画像を付して表示する場合における選択操作支援画像保持部７２０について説明する。   FIG. 40 is a diagram schematically showing the contents held in the selection operation support image holding unit 720 in the second embodiment of the present invention. The selection operation support image holding unit 720 holds a selection operation support image identification number 721, a selection operation support image 722, face information 723, and a specific person number 724. Note that the selection operation support image holding unit 720 is obtained by modifying a part of the selection operation support image holding unit 250 illustrated in FIG. 6, and the types of selection operation support images stored in the selection operation support image 722 are increased. It is substantially the same except for the points. Therefore, the following description will focus on differences from the selection operation support image holding unit 250 illustrated in FIG. 6, and a description of common points will be omitted. In the example illustrated in FIG. 40, the selection operation support image holding unit 720 in the case where a selection operation support image is attached to and displayed on nine faces among a plurality of persons included in the image will be described.

選択操作支援画像７２２には、画像に含まれる複数の顔から所望の顔を選択するための選択操作内容を示す選択操作支援画像７３１乃至７３９のテンプレート画像が記憶される。図４０に示す例では、画像に含まれる複数の顔に、９種類のリング型の選択操作支援画像７３１乃至７３９を付す場合を例にして示す。例えば、選択操作支援画像識別番号７２１「＃１１」には、ユーザ操作や予め設定されている条件等に基づいて決定された基準顔に付される選択操作支援画像７３１が記憶されている。また、選択操作支援画像識別番号２５１「＃１２」乃至「＃１５」には、基準顔以外の顔に付される選択操作支援画像７３２乃至７３５が記憶されている。これらの選択操作支援画像７３１乃至７３５は、図６に示す選択操作支援画像２５５乃至２５９に対応するものであり、リング型操作部材７０２を用いて選択操作を行うための選択操作内容を表す。また、選択操作支援画像識別番号２５１「＃１５」乃至「＃１９」には、基準顔以外の顔に付される選択操作支援画像７３６乃至７３９が記憶されている。これらの選択操作支援画像７３６乃至７３９は、リング型操作部材７０２および補助操作部材７０３を用いて選択操作を行うための選択操作内容を表す選択操作支援画像である。   In the selection operation support image 722, template images of selection operation support images 731 to 739 indicating the selection operation content for selecting a desired face from a plurality of faces included in the image are stored. In the example shown in FIG. 40, a case where nine types of ring-type selection operation support images 731 to 739 are attached to a plurality of faces included in the image is shown as an example. For example, the selection operation support image identification number 721 “# 11” stores a selection operation support image 731 attached to the reference face determined based on a user operation, a preset condition, or the like. Further, selection operation support images 732 to 735 attached to faces other than the reference face are stored in the selection operation support image identification numbers 251 “# 12” to “# 15”. These selection operation support images 731 to 735 correspond to the selection operation support images 255 to 259 shown in FIG. 6 and represent the selection operation contents for performing the selection operation using the ring type operation member 702. Further, selection operation support images 736 to 739 attached to faces other than the reference face are stored in the selection operation support image identification numbers 251 “# 15” to “# 19”. These selection operation support images 736 to 739 are selection operation support images representing selection operation contents for performing a selection operation using the ring-type operation member 702 and the auxiliary operation member 703.

このように、選択操作支援画像７３２乃至７３５と、選択操作支援画像７３６乃至７３９とは、選択操作を行う際に用いられる操作部材が異なるため、異なる表示形態として表示する。この例では、選択操作支援画像７３１乃至７３５には、基準位置を示す白丸を楕円上に付す。また、選択操作支援画像７３６乃至７３９には、基準位置を示す黒丸を楕円上に付す。このように、選択操作を行う際に用いられる操作部材が異なる選択操作支援画像同士を容易に識別することができるように、それぞれの表示形態を変更して表示する。なお、選択操作支援画像の表示例および選択方法については、図４１および図４２を参照して詳細に説明する。   As described above, the selection operation support images 732 to 735 and the selection operation support images 736 to 739 are displayed in different display forms because the operation members used when performing the selection operation are different. In this example, the selection operation support images 731 to 735 are marked with a white circle indicating the reference position on the ellipse. In addition, in the selection operation support images 736 to 739, a black circle indicating a reference position is added on the ellipse. In this way, the respective display forms are changed and displayed so that the selection operation support images with different operation members used when performing the selection operation can be easily identified. Note that a display example and selection method of the selection operation support image will be described in detail with reference to FIGS. 41 and 42.

［選択操作支援画像の表示制御例］
図４１は、本発明の第２の実施の形態における選択操作内容決定部７１１により決定された選択操作内容を表す選択操作支援画像が撮像画像に重畳された場合における表示例を示す図である。図４１に示す撮像画像７５０は、選択操作内容決定部７１１により決定された選択操作支援画像７３１乃至７３９が、サッカー選手７５１乃至７５９の各顔に重畳された撮像画像である。ここで、選択操作支援画像７３１乃至７３５については、例えば、本発明の第１の実施の形態と同様に配置を決定することができる。また、選択操作支援画像７３６乃至７３９については、選択操作支援画像７３１が付される顔の位置を基準として、選択操作支援画像７３１乃至７３５が付された顔以外の顔に、本発明の第１の実施の形態と同様に配置を決定することができる。すなわち、選択操作支援画像７３１が付される顔の位置を基準として、選択操作支援画像７３１乃至７３５の配置を優先的に決定した後に、選択操作支援画像７３６乃至７３９の配置を決定することができる。 [Selection support image display control example]
FIG. 41 is a diagram illustrating a display example when the selection operation support image representing the selection operation content determined by the selection operation content determination unit 711 according to the second embodiment of the present invention is superimposed on the captured image. A captured image 750 illustrated in FIG. 41 is a captured image in which the selection operation support images 731 to 739 determined by the selection operation content determination unit 711 are superimposed on the faces of the soccer players 751 to 759. Here, for the selection operation support images 731 to 735, for example, the arrangement can be determined in the same manner as in the first embodiment of the present invention. In addition, regarding the selection operation support images 736 to 739, the first position of the present invention is applied to a face other than the face to which the selection operation support images 731 to 735 are attached with reference to the position of the face to which the selection operation support image 731 is attached. The arrangement can be determined in the same manner as in the embodiment. That is, the arrangement of the selection operation support images 736 to 739 can be determined after the arrangement of the selection operation support images 731 to 735 is preferentially determined based on the position of the face to which the selection operation support image 731 is attached. .

ここで、図４１に示す撮像画像７５０が表示されている場合において、選択操作支援画像７３２乃至７３９が付されている顔を基準顔として選択するための選択操作内容について説明する。なお、選択操作支援画像７３２乃至７３５が付されている顔を基準顔として選択する選択操作については、リング型操作部材７０２を用いる点以外は、本発明の第１の実施の形態と同様である。例えば、選択操作支援画像７３２乃至７３５の操作方向および操作範囲に従ってリング型操作部材７０２の回転操作を行う。   Now, description will be made regarding the selection operation content for selecting the face with the selection operation support images 732 to 739 as the reference face when the captured image 750 shown in FIG. 41 is displayed. The selection operation for selecting the face with the selection operation support images 732 to 735 as the reference face is the same as that of the first embodiment of the present invention except that the ring type operation member 702 is used. . For example, the ring type operation member 702 is rotated according to the operation direction and the operation range of the selection operation support images 732 to 735.

選択操作支援画像７３６乃至７３９が付されている顔を基準顔として選択する場合には、リング型操作部材７０２の回転操作とともに、補助操作部材７０３の押下操作を行う。例えば、補助操作部材７０３を押した状態で、選択操作支援画像７３６乃至７３９の操作方向および操作範囲に従ってリング型操作部材７０２の回転操作を行うことにより、所望の顔を基準顔として選択することができる。または、例えば、補助操作部材７０３を１度押した後に、選択操作支援画像７３６乃至７３９の操作方向および操作範囲に従ってリング型操作部材７０２の回転操作を行うことにより、所望の顔を基準顔として選択するようにしてもよい。   When the face with the selection operation support images 736 to 739 is selected as the reference face, the auxiliary operation member 703 is pressed together with the rotation of the ring type operation member 702. For example, a desired face can be selected as a reference face by rotating the ring type operation member 702 according to the operation direction and operation range of the selection operation support images 736 to 739 while the auxiliary operation member 703 is pressed. it can. Alternatively, for example, after pressing the auxiliary operation member 703 once, the ring-type operation member 702 is rotated according to the operation direction and operation range of the selection operation support images 736 to 739 to select a desired face as a reference face. You may make it do.

これらの補助操作部材７０３の押下げ操作の判定は、例えば、リング型操作部材７０２の回転操作が終了するまでに行う必要がある。例えば、リング型操作部材７０２の回転操作の停止が検出される前で、かつ、リング型操作部材７０２の回転操作により特定される操作範囲に達するまでに補助操作部材７０３の押下操作が行われた場合に、その押下げ操作が行われたと判定することができる。   The determination of the push-down operation of the auxiliary operation member 703 needs to be performed before the rotation operation of the ring-type operation member 702 is completed, for example. For example, the pressing operation of the auxiliary operation member 703 is performed before the operation range specified by the rotation operation of the ring type operation member 702 is reached before the stop of the rotation operation of the ring type operation member 702 is detected. In this case, it can be determined that the pressing operation has been performed.

また、補助操作部材７０３を１度押した後に、リング型操作部材７０２の回転操作を行うことにより、所望の顔を基準顔として選択する場合には、補助操作部材７０３の押下操作の解除設定を行う必要がある。この解除設定として、例えば、リング型操作部材７０２の回転操作の終了後に解除する設定、補助操作部材７０３をもう一度押下げて解除する設定、または、補助操作部材７０３の押下げ操作後一定時間後に解除する設定等の設定条件を用いることができる。   In addition, when a desired face is selected as a reference face by rotating the ring-type operation member 702 after pressing the auxiliary operation member 703 once, a setting for canceling the operation of pressing the auxiliary operation member 703 is performed. There is a need to do. As the release setting, for example, a setting for releasing after the rotation operation of the ring-type operation member 702 is completed, a setting for releasing the auxiliary operation member 703 by pressing it down again, or a release after a certain time after the operation of pressing the auxiliary operation member 703 Setting conditions such as setting to be used can be used.

また、本発明の第１の実施の形態では、図２１乃至図２４において、基準顔以外の顔に付される選択操作支援画像のうち、撮影者の左右方向と異なる操作方向となる選択操作支援画像については、表示しない例を示した。本発明の第２の実施の形態では、例えば、同一方向について４種類の選択操作支援画像を表示させることができるため、図２１乃至図２４において選択操作支援画像が付されなかった顔についても選択操作支援画像を表示させることができる。この表示例を図４２に示す。   Further, in the first embodiment of the present invention, in FIG. 21 to FIG. 24, among the selection operation support images attached to the faces other than the reference face, the selection operation support having an operation direction different from the left-right direction of the photographer. An example of not displaying the image is shown. In the second embodiment of the present invention, for example, since four types of selection operation support images can be displayed in the same direction, selection is also performed on the face to which no selection operation support image is attached in FIGS. An operation support image can be displayed. An example of this display is shown in FIG.

図４２は、本発明の第２の実施の形態における選択操作内容決定部７１１により決定された選択操作内容を表す選択操作支援画像が撮像画像に重畳された場合における表示例を示す図である。図４２に示す撮像画像７６０は、選択操作内容決定部７１１により決定された選択操作支援画像７３１乃至７３３、７３６、７３７が、サッカー選手７６１乃至７６５の各顔に重畳された撮像画像である。ここで、選択操作支援画像７３１乃至７３３については、例えば、図２１乃至図２４において示した配置と同様に配置を決定することができる。また、選択操作支援画像７３６および７３７については、選択操作支援画像７３６乃至７３９のうち、基準顔からの方向が同一方向となる選択操作支援画像が選択され、配置が決定される。なお、図４２に示す撮像画像７６０が表示されている場合において、選択操作支援画像７３１乃至７３３、７３６、７３７が付されている顔を基準顔として選択するための選択操作内容については、図４１に示す例と同様である。   FIG. 42 is a diagram illustrating a display example when the selection operation support image representing the selection operation content determined by the selection operation content determination unit 711 according to the second embodiment of the present invention is superimposed on the captured image. A captured image 760 illustrated in FIG. 42 is a captured image in which the selection operation support images 731 to 733, 736, and 737 determined by the selection operation content determination unit 711 are superimposed on each face of the soccer players 761 to 765. Here, for the selection operation support images 731 to 733, for example, the arrangement can be determined similarly to the arrangement shown in FIGS. As for the selection operation support images 736 and 737, the selection operation support images having the same direction from the reference face are selected from the selection operation support images 736 to 739, and the arrangement is determined. Note that when the captured image 760 shown in FIG. 42 is displayed, the selection operation content for selecting the face to which the selection operation support images 731 to 733, 736, and 737 are attached as the reference face is shown in FIG. It is the same as the example shown in FIG.

このように、現在の基準顔が撮像画像に含まれる複数の顔の中で最も右側に存在している場合でも、撮影者の左右方向と同一の操作方向となる選択操作支援画像を４人に付して表示させることができる。これにより、選択操作が直感的にわかりやすい上に、選択対象者の数を増やすことができる。   As described above, even when the current reference face is present on the rightmost side among the plurality of faces included in the captured image, four selection operation support images having the same operation direction as the left and right direction of the photographer are provided. Can be displayed. Thus, the selection operation can be intuitively understood and the number of selection subjects can be increased.

このように、本発明の第２の実施の形態によれば、補助操作部材の押下げ操作を組み合わせることにより、簡易的な操作を維持しつつ選択操作の対象となる対象物を多くすることができる。   As described above, according to the second embodiment of the present invention, by combining the pressing operation of the auxiliary operation member, it is possible to increase the number of objects to be selected by the selection operation while maintaining a simple operation. it can.

なお、本発明の第２の実施の形態では、円状の選択操作支援画像を表示して、選択操作部材としてリング型操作部材を用いる例を示したが、他の操作部材を用いる場合についても同様に適用することができる。例えば、内部の可変抵抗等により押し下げ量を検出することが可能なシーソー型操作部材を用いることができる。このシーソー型操作部材を用いる場合には、例えば、シーソー型操作部材の形状に応じた選択操作支援画像を表示するようにしてもよい。また、例えば、補助操作部材の使用により選択操作支援画像７３６乃至７３９が付された顔が選択可能となったことを撮像画像上に表示させるようにしてもよい。例えば、補助操作部材の押下げ操作時に選択可能となった顔に付された選択操作支援画像を異なる形態（例えば、点滅表示や色の変更により異なる表示形態とする）で表示させることができる。   In the second embodiment of the present invention, an example in which a circular selection operation support image is displayed and a ring type operation member is used as the selection operation member has been described. The same can be applied. For example, a seesaw-type operation member that can detect the amount of depression by an internal variable resistor or the like can be used. When this seesaw type operation member is used, for example, a selection operation support image corresponding to the shape of the seesaw type operation member may be displayed. Further, for example, it may be displayed on the captured image that the face with the selection operation support images 736 to 739 can be selected by using the auxiliary operation member. For example, the selection operation support image attached to the face that can be selected during the pressing operation of the auxiliary operation member can be displayed in different forms (for example, different display forms by blinking display or color change).

＜３．第３の実施の形態＞
以上では、画像処理装置の一例として撮像装置を例にして説明した。以下では、他の画像処理装置について図面を参照して詳細に説明する。 <3. Third Embodiment>
In the above, an imaging apparatus has been described as an example of an image processing apparatus. Hereinafter, another image processing apparatus will be described in detail with reference to the drawings.

［印刷装置の機能構成例］
図４３は、本発明の第３の実施の形態における印刷装置８００の機能構成例を示すブロック図である。ここで、印刷装置８００は、図４に示す撮像装置１００の変形例であるため、撮像装置１００と共通する部分については、同一の符号を付してこれらの説明を省略し、撮像装置１００と異なる部分を中心に説明する。印刷装置８００は、コンテンツ入力部８０１と、印刷処理部８０２とを備える。 [Functional configuration example of printing device]
FIG. 43 is a block diagram illustrating a functional configuration example of the printing apparatus 800 according to the third embodiment of the present invention. Here, since the printing apparatus 800 is a modification of the imaging apparatus 100 illustrated in FIG. 4, portions common to the imaging apparatus 100 are denoted by the same reference numerals, and description thereof is omitted. The description will focus on the different parts. The printing apparatus 800 includes a content input unit 801 and a print processing unit 802.

コンテンツ入力部８０１は、操作受付部３１０により受け付けられた操作入力に応じて、動画（ビデオデータ）や静止画等のコンテンツを入力するものである。そして、このコンテンツが顔検出部２１０、顔識別部２２０、選択操作内容決定部２４０、表示制御部２６０および印刷処理部８０２に出力される。   The content input unit 801 inputs content such as a moving image (video data) or a still image in accordance with the operation input received by the operation receiving unit 310. Then, this content is output to the face detection unit 210, the face identification unit 220, the selection operation content determination unit 240, the display control unit 260, and the print processing unit 802.

印刷処理部８０２は、操作受付部３１０により受け付けられた操作入力に応じて、コンテンツ入力部８０１から出力されたコンテンツに対応する画像を印刷する処理を行うものである。例えば、印刷処理部８０２は、選択操作支援画像保持部２５０の保持内容に基づいて、印刷対象となる画像における所定領域を拡大して印刷する。なお、印刷処理部８０２は、特許請求の範囲に記載の出力制御部の一例である。   The print processing unit 802 performs processing for printing an image corresponding to the content output from the content input unit 801 in accordance with the operation input received by the operation receiving unit 310. For example, the print processing unit 802 enlarges and prints a predetermined area in an image to be printed based on the content held by the selection operation support image holding unit 250. The print processing unit 802 is an example of an output control unit described in the claims.

［選択操作支援画像の表示制御例］
図４４は、本発明の第３の実施の形態における印刷装置８００の外観および印刷装置８００のタッチパネル８１１に表示される画像を示す図である。図４４（ａ）には、印刷装置８００のタッチパネル８１１に表示される画像４２０を示し、図４４（ｂ）には、印刷装置８００の正面側の外観を簡略化して示す。なお、図４４（ａ）に示す画像４２０は、図１１（ａ）に示す画像と同様である。 [Selection support image display control example]
FIG. 44 is a diagram illustrating an appearance of the printing apparatus 800 and an image displayed on the touch panel 811 of the printing apparatus 800 according to the third embodiment of the present invention. 44A shows an image 420 displayed on the touch panel 811 of the printing apparatus 800, and FIG. 44B shows a simplified appearance of the front side of the printing apparatus 800. Note that an image 420 illustrated in FIG. 44A is the same as the image illustrated in FIG.

印刷装置８００は、タッチパネル８１１およびダイヤル型操作部材８１２を備える。なお、タッチパネル８１１は、例えば、図４３に示す表示部２６１および操作受付部３１０に対応し、ダイヤル型操作部材８１２は、例えば、図４３に示す選択操作受付部３００に対応する。   The printing apparatus 800 includes a touch panel 811 and a dial type operation member 812. The touch panel 811 corresponds to, for example, the display unit 261 and the operation receiving unit 310 shown in FIG. 43, and the dial type operation member 812 corresponds to, for example, the selection operation receiving unit 300 shown in FIG.

印刷装置８００は、例えば、コンテンツ入力部８０１から出力されたコンテンツに対応する画像を印刷処理する前に、その画像をタッチパネル８１１に表示させて確認することができる。また、例えば、印刷装置８００は、タッチパネル８１１に表示されている画像の一部の領域を拡大して印刷することができる。例えば、タッチパネル８１１に表示されている画像に顔が含まれている場合には、その顔を含む画像領域を拡大して印刷することができる。例えば、タッチパネル８１１に表示されている画像において、所望の顔を押下して選択することができる。しかしながら、例えば、図４４（ｂ）に示すように、タッチパネル８１１のサイズが小さい場合には、タッチパネル８１１に表示されている画像に含まれる顔が小さくなり、見難い場合が想定される。また、この場合には、所望の顔を適切に選択することができない場合も想定される。   For example, the printing apparatus 800 can display and confirm the image on the touch panel 811 before printing the image corresponding to the content output from the content input unit 801. Further, for example, the printing apparatus 800 can enlarge and print a partial area of the image displayed on the touch panel 811. For example, when a face is included in the image displayed on the touch panel 811, the image area including the face can be enlarged and printed. For example, a desired face can be pressed and selected in the image displayed on the touch panel 811. However, for example, as illustrated in FIG. 44B, when the size of the touch panel 811 is small, it is assumed that the face included in the image displayed on the touch panel 811 is small and difficult to see. In this case, it may be assumed that a desired face cannot be selected appropriately.

そこで、本発明の第３の実施の形態では、例えば、タッチパネル８１１に表示されている選択操作支援画像２５５乃至２５９に従って、ダイヤル型操作部材８１２の回転操作を行うことにより、所望の顔の選択操作を行う。これにより、印刷装置８００に大きいサイズのタッチパネルを設ける必要がなく、印刷装置８００に既に備えられているダイヤル型操作部材８１２を用いて所望の顔の選択操作を適切に行うことができる。   Therefore, in the third embodiment of the present invention, for example, a desired face selection operation is performed by rotating the dial type operation member 812 according to the selection operation support images 255 to 259 displayed on the touch panel 811. I do. Accordingly, it is not necessary to provide a large touch panel on the printing apparatus 800, and a desired face selection operation can be appropriately performed using the dial-type operation member 812 that is already provided in the printing apparatus 800.

図４５は、本発明の第３の実施の形態における印刷装置８２０の外観を示す図である。この印刷装置８２０は、図４４に示す印刷装置８００の変形例であり、機能構成については印刷装置８００と同様であるため、ここでの説明を省略する。印刷装置８２０は、ダイヤル型操作部材８２１およびリモートコントローラー８３０を備える。このリモートコントローラー８３０には、ボタン型操作部材８３１およびダイヤル型操作部材８３２が設けられている。また、印刷装置８２０は、表示装置８２２と接続され、印刷対象となる画像を表示装置８２２に表示させることができる。なお、表示装置８２２は、例えば、図４３に示す表示部２６１に対応し、ボタン型操作部材８３１は、例えば、図４３に示す操作受付部３１０に対応し、ダイヤル型操作部材８２１および８３２は、例えば、図４３に示す選択操作受付部３００に対応する。印刷装置８２０は、例えば、コンテンツとして動画を入力し、この動画を構成する各画像を印刷処理する印刷装置（例えば、ビデオプリンタ）とすることができる。   FIG. 45 is a diagram illustrating an appearance of a printing apparatus 820 according to the third embodiment of the present invention. The printing apparatus 820 is a modification of the printing apparatus 800 shown in FIG. 44, and the functional configuration is the same as that of the printing apparatus 800, and thus the description thereof is omitted here. The printing apparatus 820 includes a dial type operation member 821 and a remote controller 830. The remote controller 830 is provided with a button type operation member 831 and a dial type operation member 832. The printing device 820 is connected to the display device 822 and can display an image to be printed on the display device 822. The display device 822 corresponds to, for example, the display unit 261 shown in FIG. 43, the button type operation member 831 corresponds to, for example, the operation reception unit 310 shown in FIG. 43, and the dial type operation members 821 and 832 For example, it corresponds to the selection operation accepting unit 300 shown in FIG. For example, the printing apparatus 820 can be a printing apparatus (for example, a video printer) that inputs a moving image as content and prints each image constituting the moving image.

印刷装置８２０は、印刷装置８００と同様に、例えば、コンテンツ入力部８０１から出力されたコンテンツに対応する画像を印刷処理する前に、その画像を表示装置８２２に表示させて確認することができる。また、例えば、印刷装置８２０は、表示装置８２２に表示されている画像の一部の領域を拡大して印刷することができる。そして、例えば、表示装置８２２に表示されている選択操作支援画像２５５乃至２５９に従って、ダイヤル型操作部材８２１または８３２の回転操作を行うことにより、所望の顔の選択操作を行う。また、例えば、ボタン型操作部材８３１を補助操作部材として使用して、顔の選択操作を行うようにしてもよい。これにより、表示装置８２２がタッチパネルでない場合でも、印刷装置８２０に既に備えられている各操作部材を用いて所望の顔の選択操作を適切に行うことができる。   Similar to the printing apparatus 800, the printing apparatus 820 can display and confirm the image on the display apparatus 822 before printing the image corresponding to the content output from the content input unit 801, for example. Further, for example, the printing device 820 can enlarge and print a partial region of the image displayed on the display device 822. Then, for example, a desired face selection operation is performed by rotating the dial-type operation member 821 or 832 according to the selection operation support images 255 to 259 displayed on the display device 822. Further, for example, the face selection operation may be performed using the button-type operation member 831 as an auxiliary operation member. Accordingly, even when the display device 822 is not a touch panel, a desired face selection operation can be appropriately performed using each operation member already provided in the printing device 820.

＜４．第４の実施の形態＞
［再生装置の機能構成例］
図４６は、本発明の第４の実施の形態における再生装置８５０の機能構成例を示すブロック図である。ここで、再生装置８５０は、図４３に示す印刷装置８００の変形例であるため、印刷装置８００と共通する部分については、同一の符号を付してこれらの説明を省略し、印刷装置８００と異なる部分を中心に説明する。再生装置８５０は、コンテンツ入力部８０１および表示制御部８５１を備える。 <4. Fourth Embodiment>
[Functional configuration example of playback device]
FIG. 46 is a block diagram illustrating a functional configuration example of the playback device 850 according to the fourth embodiment of the present invention. Here, since the reproduction apparatus 850 is a modification of the printing apparatus 800 shown in FIG. 43, portions common to the printing apparatus 800 are denoted by the same reference numerals, and description thereof is omitted. The description will focus on the different parts. The playback device 850 includes a content input unit 801 and a display control unit 851.

表示制御部８５１は、操作受付部３１０により受け付けられた操作入力に応じて、コンテンツ入力部８０１から出力されたコンテンツに対応する画像を表示部２６１に表示させるものである。例えば、表示制御部８５１は、選択操作支援画像保持部２５０の保持内容に基づいて、表示対象となる画像における所定領域を拡大して表示する。なお、表示制御部８５１は、特許請求の範囲に記載の出力制御部の一例である。   The display control unit 851 causes the display unit 261 to display an image corresponding to the content output from the content input unit 801 in response to the operation input received by the operation receiving unit 310. For example, the display control unit 851 enlarges and displays a predetermined area in the image to be displayed based on the content held by the selection operation support image holding unit 250. The display control unit 851 is an example of an output control unit described in the claims.

［選択操作支援画像の表示制御例］
図４７および図４８は、本発明の第４の実施の形態における再生装置８５０の外観を示す図である。図４７および図４８に示す例では、再生装置８５０の正面側の外観を簡略化して示す。また、図４７に示す画像４２０は、図１１（ａ）に示す画像と同様である。また、図４８に示す画像８８０は、図４７に示す画像４２０の一部の領域を拡大表示した画像である。 [Selection support image display control example]
47 and 48 are views showing the appearance of the playback device 850 in the fourth embodiment of the present invention. In the example shown in FIGS. 47 and 48, the appearance of the front side of the playback device 850 is simplified. An image 420 shown in FIG. 47 is the same as the image shown in FIG. An image 880 shown in FIG. 48 is an image obtained by enlarging and displaying a partial region of the image 420 shown in FIG.

再生装置８５０は、ダイヤル型操作部材８６１およびリモートコントローラー８７０を備える。このリモートコントローラー８７０には、ボタン型操作部材８７１およびダイヤル型操作部材８７２が設けられている。また、再生装置８５０は、表示装置８６２と接続され、入力されたコンテンツに対応する画像を表示装置８６２に表示させる。なお、表示装置８６２は、例えば、図４６に示す表示部２６１に対応し、ボタン型操作部材８７１は、例えば、図４６に示す操作受付部３１０に対応し、ダイヤル型操作部材８６１および８７２は、例えば、図４６に示す選択操作受付部３００に対応する。   The playback device 850 includes a dial type operation member 861 and a remote controller 870. The remote controller 870 is provided with a button type operation member 871 and a dial type operation member 872. Further, the playback device 850 is connected to the display device 862 and causes the display device 862 to display an image corresponding to the input content. The display device 862 corresponds to, for example, the display unit 261 shown in FIG. 46, the button type operation member 871 corresponds to, for example, the operation reception unit 310 shown in FIG. 46, and the dial type operation members 861 and 872 For example, it corresponds to the selection operation accepting unit 300 shown in FIG.

再生装置８５０は、コンテンツ入力部８０１から出力されたコンテンツに対応する画像を表示装置８６２に表示させる場合に、例えば、表示されている画像の一部の領域を指定して拡大表示させることができる。例えば、図４８に示すように、サッカー選手４０３の顔の周辺画像を拡大して表示させることができる。しかしながら、例えば、サッカーの試合の動画を再生中に、所望の選手を選択して拡大表示させる場合には、各選手が動きまわっていることが多いため、その選択操作が困難であることが想定される。そこで、例えば、表示装置８６２に表示されている選択操作支援画像２５５乃至２５９に従って、ダイヤル型操作部材８６１または８７２の回転操作を行うことにより、所望の顔の選択操作を行う。また、例えば、ボタン型操作部材８７１を補助操作部材として使用して、顔の選択操作を行うようにしてもよい。これにより、再生装置８５０に既に備えられている各操作部材を用いて所望の顔の選択操作を適切に容易に行うことができる。   When the playback device 850 displays an image corresponding to the content output from the content input unit 801 on the display device 862, for example, a part of the displayed image can be specified and enlarged. . For example, as shown in FIG. 48, the peripheral image of the face of the soccer player 403 can be enlarged and displayed. However, for example, when a video of a soccer game is being played and a desired player is selected and enlarged for display, it is assumed that the selection operation is difficult because each player often moves around. Is done. Therefore, for example, a desired face selection operation is performed by rotating the dial type operation member 861 or 872 in accordance with the selection operation support images 255 to 259 displayed on the display device 862. In addition, for example, the face-type operation member 871 may be used as an auxiliary operation member to perform a face selection operation. This makes it possible to appropriately and easily perform a desired face selection operation using each operation member already provided in the playback device 850.

なお、本発明の第３および第４の実施の形態では、コンテンツ入力部８０１から入力されたコンテンツについて顔検出処理および顔識別処理を行い、これらの処理により取得された情報を用いて選択操作内容決定処理を行う例を示した。しかしながら、例えば、撮影時に行われた顔検出処理または顔識別処理等により取得された情報を用いるようにしてもよい。例えば、撮影時に顔検出処理または顔識別処理等を行い、これらの処理により取得された情報（顔情報、顔識別情報等）をメタデータとしてコンテンツに関連付けて記憶しておく。そして、メタデータが関連付けられたコンテンツをコンテンツ入力部８０１から入力し、そのメタデータを用いて選択操作内容決定処理を行うようにしてもよい。   In the third and fourth embodiments of the present invention, face detection processing and face identification processing are performed on the content input from the content input unit 801, and the details of the selection operation are performed using information acquired by these processing. An example of performing the determination process was shown. However, for example, information acquired by face detection processing or face identification processing performed at the time of shooting may be used. For example, face detection processing or face identification processing is performed at the time of shooting, and information (face information, face identification information, etc.) acquired by these processing is stored in association with content as metadata. Then, the content associated with the metadata may be input from the content input unit 801, and the selection operation content determination process may be performed using the metadata.

ここで、画像から検出された顔の数が、選択操作支援画像の数よりも多い場合には、予め決められた割り当て方法により、一定の顔についてのみ選択操作支援画像を付すようにしてもよい。この割り当て方法として、例えば、次の（１）および（２）の何れかの割り当て方法を用いることができる。また、（１）および（２）を組み合せた割り当て方法を用いるようにしてもよい。
（１）顔検出処理または顔識別処理により算出される評価値が高い顔から順番に割り当てる。なお、顔識別処理により算出される評価値を優先して用いる。
（２）特定人物情報毎に優先度を登録しておき、優先度の高い顔から順番に割り当てる。 Here, when the number of faces detected from the image is larger than the number of selection operation support images, the selection operation support image may be attached only to a certain face by a predetermined allocation method. . As this allocation method, for example, any one of the following allocation methods (1) and (2) can be used. Further, an allocation method combining (1) and (2) may be used.
(1) The faces are assigned in order from the face with the highest evaluation value calculated by the face detection process or the face identification process. The evaluation value calculated by the face identification process is used with priority.
(2) Priorities are registered for each specific person information and assigned in order from the face with the highest priority.

ただし、サッカーの試合のように各選手が動き回るような場合には、選択操作支援画像の割り当て対象となる顔が頻繁に変更される可能性がある。そこで、例えば、顔検出処理または顔識別処理により算出される評価値が規定時間以上、選択操作支援画像の割り当て対象となる順位以内の値となった場合にのみ、その評価値に対応する顔を割り当て対象とするようにしてもよい。   However, when each player moves around as in a soccer game, the face to which the selection operation support image is assigned may be frequently changed. Therefore, for example, only when the evaluation value calculated by the face detection process or the face identification process becomes a value within the rank that is the allocation target of the selection operation support image for a specified time or longer, the face corresponding to the evaluation value is selected. You may make it be allocation object.

また、例えば、他の補助操作部材を用いて、その補助操作部材が押下げられた場合にのみ、選択操作支援画像を撮像画像に重畳して表示するようにしてもよい。ただし、その補助操作部材が押されていない状態でも、選択操作内容の決定処理は継続して行われる。その補助操作部材により選択操作支援画像が重畳された後には、例えば、リング型操作部材の回転操作の終了後に選択操作支援画像の表示を解除することができる。また、例えば、その補助操作部材をもう一度押下げることによる解除、または、その補助操作部材の押下げ後、一定時間経過後に解除する等の設定をするようにしてもよい。また、例えば、選択操作支援画像の付与対象となる顔の動き予想（例えば、特開２００８−９８７５５号参照。）により、その顔の位置関係が押し下げ後すぐに（例えば、１秒以内）入れ替わることが想定される場合には、入れ替え後の位置関係に基づいて重畳するようにしてもよい。これにより、撮像画像に重畳される選択操作支援画像が頻繁に変更されることを防止してユーザの好みに応じて表示を行うことができる。   Further, for example, the selection operation support image may be superimposed on the captured image and displayed only when another auxiliary operation member is used and the auxiliary operation member is pressed down. However, even when the auxiliary operation member is not pressed, the selection operation content determination process is continuously performed. After the selection operation support image is superimposed by the auxiliary operation member, for example, the display of the selection operation support image can be canceled after the end of the rotation operation of the ring type operation member. Further, for example, the setting may be made such that the auxiliary operation member is released by pressing it down again, or the auxiliary operation member is released after a certain time has elapsed after the auxiliary operation member is pressed down. In addition, for example, due to a motion estimation of a face to which a selection operation support image is to be applied (see, for example, Japanese Patent Application Laid-Open No. 2008-98755), the positional relationship of the face is changed immediately after being pushed down (for example, within one second). May be superposed based on the positional relationship after replacement. Thereby, it is possible to prevent the selection operation support image superimposed on the captured image from being frequently changed and display according to the user's preference.

また、顔識別処理を行う際に用いられる特定人物情報は、例えば、撮像装置１００により取得された画像に基づいて登録しておくことができるが、例えば、他の撮像装置により撮影された画像や、インターネットに掲載された情報等を利用するようにしてもよい。   The specific person information used when performing the face identification processing can be registered based on an image acquired by the imaging device 100, for example. Alternatively, information posted on the Internet may be used.

また、本発明の実施の形態では、人の顔を対象物として検出する例について説明したが、例えば、自動車等の乗り物や動物等を対象物とする場合についても本発明の実施の形態を適用することができる。例えば、動くものを対象物としても容易に選択操作を行うことができる。また、本発明の実施の形態では、サッカーの試合を撮像している場合を例にして説明したが、例えば、陸上のゴールの正面シーンや競馬の横から見たシーン等を撮像する場合に本発明の実施の形態を適用することができる。   Further, in the embodiment of the present invention, an example in which a human face is detected as an object has been described. can do. For example, the selection operation can be easily performed even if a moving object is used as the object. Further, in the embodiment of the present invention, the case where a soccer game is imaged has been described as an example. Embodiments of the invention can be applied.

また、本発明の実施の形態では、人物の顔を用いて個人識別処理を行う例を示した。ここで、例えば、２チームで対戦する試合（サッカーやバレーボール等）の場合には、ユニフォームがチーム毎に統一（例えば、色や模様）されていることが多い。また、ユニフォームには、背番号等の個人を識別可能な番号が付されていることが多い。そこで、ユニフォームおよび背番号を用いて、個人識別処理を行うようにしてもよい。また、人物の顔を用いた個人識別処理と、ユニフォームおよび背番号を用いた個人識別処理とを同時に行うようにしてもよい。例えば、正面向きの人物の場合には、これらの各処理を同時に行うことにより、個人識別の精度を向上させることができる。また、例えば、後ろ向きの人物の場合には、ユニフォームおよび背番号を用いた個人識別処理を行うことにより、一度識別された人物を継続的に追従することができる。背番号の認識技術として、例えば、文字認識技術（例えば、ＯＣＲ（Optical Character Recognition）技術）を用いることができる。また、カーレース等を撮像する場合には、カーナンバー等の文字画像を利用することも可能である。   In the embodiment of the present invention, an example in which personal identification processing is performed using a human face has been described. Here, for example, in the case of a game (such as soccer or volleyball) where two teams play against each other, the uniform is often unified (for example, color or pattern) for each team. Further, in many cases, a number such as a back number is identifiable to the uniform. Therefore, personal identification processing may be performed using a uniform and a uniform number. Further, the personal identification process using the person's face and the personal identification process using the uniform and the uniform number may be performed simultaneously. For example, in the case of a person facing the front, the accuracy of personal identification can be improved by performing these processes simultaneously. In addition, for example, in the case of a person facing backward, the person once identified can be continuously followed by performing personal identification processing using a uniform and a uniform number. For example, a character recognition technology (for example, OCR (Optical Character Recognition) technology) can be used as the identification number recognition technology. Further, when imaging a car race or the like, it is possible to use a character image such as a car number.

また、例えば、撮像装置１００からの被写体距離が基準顔と近い他の顔に付す選択操作支援画像については、ピントが合っている旨を通知するため、他の選択操作支援画像と異なる形態（例えば、色を変更する）に変更して表示するようにしてもよい。この被写体距離の推定は、例えば、顔の大きさに基づいて推定するようにしてもよく、コントラストに基づいて推定するようにしてもよい。   In addition, for example, a selection operation support image attached to another face whose subject distance from the imaging device 100 is close to the reference face is notified of the fact that it is in focus, so that it has a different form from other selection operation support images (for example, , Change the color) to display. For example, the subject distance may be estimated based on the size of the face or may be estimated based on the contrast.

また、本発明の実施の形態では、左右方向の２段階の操作領域を設定する例を示したが、例えば、ユーザの操作の能力に応じて、３段階以上の操作領域を設定するようにしてもよい。この操作領域は、ユーザにより適宜設定可能とすることができる。   In the embodiment of the present invention, an example in which two-step operation areas in the left-right direction are set has been described. Also good. This operation area can be appropriately set by the user.

また、撮像機能付き携帯電話機、パーソナルコンピュータ等の画像処理装置に本発明の実施の形態を適用することができる。また、例えば、撮像装置および画像処理装置が装置間インターフェースで接続されている画像処理システムにおいて、撮像装置により生成された画像を画像処理装置が表示装置に表示させる場合に本発明の実施の形態を適用することができる。このシステムにおいて、例えば、画像処理装置において受け付けられた選択操作に基づいて、撮像装置自体を可動させる制御を行い、撮影範囲を変更しながら撮影を行うようにしてもよい。例えば、基準対象物に選択された対象物が撮像範囲の中心となるように撮像装置を可動させることができる。   Further, the embodiment of the present invention can be applied to an image processing apparatus such as a mobile phone with an imaging function and a personal computer. Further, for example, in an image processing system in which an imaging device and an image processing device are connected by an inter-device interface, the embodiment of the present invention is used when an image generated by the imaging device is displayed on a display device. Can be applied. In this system, for example, based on a selection operation received by the image processing apparatus, control may be performed to move the imaging apparatus itself, and imaging may be performed while changing the imaging range. For example, the imaging apparatus can be moved so that the object selected as the reference object is the center of the imaging range.

なお、本発明の実施の形態は本発明を具現化するための一例を示したものであり、上述のように特許請求の範囲における発明特定事項とそれぞれ対応関係を有する。ただし、本発明は実施の形態に限定されるものではなく、本発明の要旨を逸脱しない範囲において種々の変形を施すことができる。   The embodiment of the present invention is an example for embodying the present invention, and has a corresponding relationship with the invention-specific matters in the claims as described above. However, the present invention is not limited to the embodiments, and various modifications can be made without departing from the scope of the present invention.

また、本発明の実施の形態において説明した処理手順は、これら一連の手順を有する方法として捉えてもよく、また、これら一連の手順をコンピュータに実行させるためのプログラム乃至そのプログラムを記憶する記録媒体として捉えてもよい。この記録媒体として、例えば、ＣＤ（Compact Disc）、ＭＤ（MiniDisc）、ＤＶＤ（Digital Versatile Disk）、メモリカード、ブルーレイディスク（Blu-ray Disc（登録商標））等を用いることができる。   The processing procedure described in the embodiment of the present invention may be regarded as a method having a series of these procedures, and a program for causing a computer to execute the series of procedures or a recording medium storing the program May be taken as As this recording medium, for example, a CD (Compact Disc), an MD (MiniDisc), a DVD (Digital Versatile Disk), a memory card, a Blu-ray Disc (registered trademark), or the like can be used.

１００ 撮像装置
１１１ 光学ブロック
１１２ レンズアイリスドライバ
１１３ ＣＣＤ
１１４ タイミング生成回路
１１５ ＣＣＤドライバ
１１６ 前処理回路
１１７ ＤＳＰ
１１８ ＳＤＲＡＭ
１１９ ＣＰＵ
１２０ ＲＡＭ
１２１ フラッシュＲＯＭ
１２２ 表示コントローラ
１２３ 操作部
１２４ ドライブコントローラ
１２５ リムーバブルメディア
１２６ 記録メディアインターフェース
１２７ 記録メディア
１２８ バス
１３０ 液晶モニタ
１３１ カラー液晶表示部
１３２ タッチパネル
１３５ ファインダ
１４１ シャッターボタン
１４２ レンズ
１４３ リング型操作部材
１４４〜１４６ ダイヤル型操作部材
２００ 撮像部
２０１ 撮像制御部
２１０ 顔検出部
２２０ 顔識別部
２３０ 特定人物情報記憶部
２４０ 選択操作内容決定部
２５０ 選択操作支援画像保持部
２６０ 表示制御部
２６１ 表示部
２７０ 記録制御部
２７１ 記録部
２８０ 基準対象物選択部
２９０ 姿勢検出部
３００ 選択操作受付部
３１０ 操作受付部
６１１ タッチパネル
７００ 撮像装置
７０１ レンズ鏡筒
７０２ リング型操作部材
７０３ 補助操作部材
７０４ 接眼ユニット
７０５ アイピース
７１１ 選択操作内容決定部
７１２ 基準対象物選択部
７１３ 補助操作受付部
７１４ 選択操作受付部
７２０ 選択操作支援画像保持部
８００ 印刷装置
８５０ 再生装置 100 Imaging Device 111 Optical Block 112 Lens Iris Driver 113 CCD
114 Timing generation circuit 115 CCD driver 116 Pre-processing circuit 117 DSP
118 SDRAM
119 CPU
120 RAM
121 Flash ROM
122 display controller 123 operation unit 124 drive controller 125 removable media 126 recording media interface 127 recording media 128 bus 130 liquid crystal monitor 131 color liquid crystal display unit 132 touch panel 135 finder 141 shutter button 142 lens 143 ring type operation members 144 to 146 dial type operation members DESCRIPTION OF SYMBOLS 200 Imaging part 201 Imaging control part 210 Face detection part 220 Face identification part 230 Specific person information storage part 240 Selection operation content determination part 250 Selection operation assistance image holding part 260 Display control part 261 Display part 270 Recording control part 271 Recording part 280 Reference | standard Object selection unit 290 Attitude detection unit 300 Selection operation reception unit 310 Operation reception unit 611 Touch panel 700 Imaging device 701 Lens barrel 70 Ring-type operation member 703 auxiliary operation member 704 eyepiece unit 705 eyepiece 711 selection operation content determining unit 712 reference object selection unit 713 assisting the operation accepting unit 714 selecting operation receiving unit 720 selects operation support image holding unit 800 the printing apparatus 850 reproducing apparatus

Claims (18)

画像に含まれる複数の対象物を検出する対象物検出部と、
前記検出された各対象物を選択するための選択操作内容を前記対象物毎に決定する選択操作内容決定部と、
前記決定された選択操作内容を前記対象物毎に関連付けて表示させる表示制御部と
を具備する画像処理装置。 An object detection unit for detecting a plurality of objects included in the image;
A selection operation content determination unit for determining the selection operation content for selecting each detected object for each object;
An image processing apparatus comprising: a display control unit configured to display the determined selection operation content in association with each object. 前記選択操作内容決定部は、前記複数の対象物のうちの少なくとも１つの対象物を基準対象物とし、前記複数の対象物のうちの前記基準対象物以外の他の対象物を選択するための前記選択操作内容を前記他の対象物毎に決定し、
前記表示制御部は、前記決定された選択操作内容を前記他の対象物毎に関連付けて表示させる
請求項１記載の画像処理装置。 The selection operation content determination unit is configured to select at least one object among the plurality of objects as a reference object, and to select an object other than the reference object among the plurality of objects. The selection operation content is determined for each of the other objects,
The image processing apparatus according to claim 1, wherein the display control unit displays the determined selection operation content in association with each of the other objects. 複数の操作位置を検出することが可能な操作部材による操作入力を受け付ける操作受付部と、
前記受け付けられた操作入力に対応する前記他の対象物を前記決定された選択操作内容に基づいて特定して当該特定された他の対象物を新たな基準対象物として選択する基準対象物選択部と
をさらに具備する請求項２記載の画像処理装置。 An operation accepting unit that accepts an operation input by an operation member capable of detecting a plurality of operation positions;
A reference object selection unit that specifies the other object corresponding to the accepted operation input based on the determined selection operation content and selects the specified other object as a new reference object. The image processing apparatus according to claim 2, further comprising: 前記操作受付部は、前記操作部材による操作入力と、少なくとも１つの操作位置を検出することが可能な他の操作部材による操作入力とを受け付け、
前記選択操作内容決定部は、前記操作部材および前記他の操作部材の組合せにより前記新たな基準対象物を選択するための選択操作内容を前記他の対象物毎に決定する
請求項３記載の画像処理装置。 The operation receiving unit receives an operation input by the operation member and an operation input by another operation member capable of detecting at least one operation position;
The image according to claim 3, wherein the selection operation content determination unit determines a selection operation content for selecting the new reference object by a combination of the operation member and the other operation member for each of the other objects. Processing equipment. 前記選択操作内容決定部は、前記操作部材の操作方向および操作量と、前記他の操作部材の操作の要否とを前記他の対象物毎に前記選択操作内容として決定し、
前記表示制御部は、前記決定された選択操作内容を表す選択操作支援画像を前記他の対象物毎に関連付けて表示させる
請求項４記載の画像処理装置。 The selection operation content determination unit determines the operation direction and operation amount of the operation member and necessity of operation of the other operation member as the selection operation content for each of the other objects,
The image processing apparatus according to claim 4, wherein the display control unit displays a selection operation support image representing the determined selection operation content in association with each of the other objects. 前記操作部材は、前記画像を表示する表示面における接触操作を検出するタッチパネルであり、
前記選択操作内容決定部は、前記選択操作内容として前記表示面における基準位置からの操作方向および操作量を前記他の対象物毎に決定し、
前記基準対象物選択部は、前記画像が表示されている状態で前記タッチパネルにおける最初の接触操作が検出された位置を前記基準位置として当該基準位置からの連続した接触操作の方向および移動量に基づいて前記新たな基準対象物を選択する
請求項３記載の画像処理装置。 The operation member is a touch panel that detects a contact operation on a display surface that displays the image,
The selection operation content determination unit determines an operation direction and an operation amount from a reference position on the display surface as the selection operation content for each of the other objects,
The reference object selection unit is based on the direction and amount of movement of a continuous contact operation from the reference position, with the position where the first contact operation on the touch panel is detected in the state where the image is displayed as the reference position. The image processing apparatus according to claim 3, wherein the new reference object is selected. 被写体を撮像して画像を生成する撮像部と、
前記選択された基準対象物に基づいて撮像制御を行う撮像制御部と
をさらに具備する請求項３記載の画像処理装置。 An imaging unit that images a subject and generates an image;
The image processing apparatus according to claim 3, further comprising an imaging control unit that performs imaging control based on the selected reference object. 前記選択された基準対象物に基づいて前記画像に関する出力制御を行う出力制御部をさらに具備する請求項３記載の画像処理装置。   The image processing apparatus according to claim 3, further comprising an output control unit that performs output control on the image based on the selected reference object. 前記選択操作内容決定部は、前記選択操作内容として前記操作部材の操作方向および操作量を前記他の対象物毎に決定し、
前記表示制御部は、前記決定された選択操作内容を表す選択操作支援画像を前記他の対象物毎に関連付けて表示させる
請求項３記載の画像処理装置。 The selection operation content determination unit determines an operation direction and an operation amount of the operation member as the selection operation content for each of the other objects,
The image processing apparatus according to claim 3, wherein the display control unit displays a selection operation support image representing the determined selection operation content in association with each of the other objects. 前記選択操作内容決定部は、前記画像における前記基準対象物と前記他の対象物との位置関係に基づいて当該他の対象物の前記選択操作内容を決定する請求項２記載の画像処理装置。   The image processing apparatus according to claim 2, wherein the selection operation content determination unit determines the selection operation content of the other object based on a positional relationship between the reference object and the other object in the image. 前記表示制御部は、前記画像において前記基準対象物にはその旨および前記決定された選択操作内容を表す選択操作支援画像を関連付けて表示させるとともに前記他の対象物には選択対象である旨および前記決定された選択操作内容を表す選択操作支援画像を関連付けて表示させる請求項２記載の画像処理装置。   The display control unit causes the reference object in the image to be displayed in association with a selection operation support image representing the selection object and the determined selection operation content, and indicates that the other object is a selection object and The image processing apparatus according to claim 2, wherein a selection operation support image representing the determined selection operation content is displayed in association with each other. 前記表示制御部は、前記決定された選択操作内容を表す選択操作支援画像を前記画像における前記対象物の位置を示す標識として前記対象物毎に関連付けて表示させる請求項１記載の画像処理装置。   The image processing apparatus according to claim 1, wherein the display control unit displays a selection operation support image representing the determined selection operation content in association with each object as a mark indicating the position of the object in the image. 前記表示制御部は、前記検出された対象物を含む対象物画像と当該対象物について決定された前記選択操作内容とを関連付けて前記画像の表示領域とは異なる表示領域に表示させる請求項１記載の画像処理装置。   The display control unit associates an object image including the detected object with the selection operation content determined for the object and displays the image in a display area different from the display area of the image. Image processing apparatus. 前記検出された対象物が特定対象物であるか否かを識別する識別部をさらに具備し、
前記選択操作内容決定部は、前記検出された複数の対象物のうち前記特定対象物であると識別された対象物について前記選択操作内容を決定し、
前記表示制御部は、前記決定された選択操作内容を前記特定対象物であると識別された対象物毎に関連付けて表示させる
請求項１記載の画像処理装置。 An identification unit for identifying whether or not the detected object is a specific object;
The selection operation content determination unit determines the selection operation content for an object identified as the specific object among the plurality of detected objects,
The image processing apparatus according to claim 1, wherein the display control unit displays the determined selection operation content in association with each target object identified as the specific target object. 前記特定対象物を表す特定対象物画像を前記特定対象物毎に記憶する特定対象物画像記憶部をさらに具備し、
前記表示制御部は、前記特定対象物であると識別された対象物に対応する前記特定対象物画像と当該対象物について決定された前記選択操作内容とを関連付けて前記画像の表示領域とは異なる表示領域に表示させる
請求項１４記載の画像処理装置。 A specific object image storage unit that stores a specific object image representing the specific object for each specific object;
The display control unit associates the specific object image corresponding to the object identified as the specific object with the selection operation content determined for the object and is different from the display area of the image. The image processing apparatus according to claim 14, wherein the image processing apparatus is displayed in a display area. 画像に含まれる複数の対象物のそれぞれを選択するための選択操作内容を前記対象物毎に決定する選択操作内容決定部と、
前記決定された選択操作内容を前記対象物毎に関連付けて表示させる表示制御部と
を具備する画像処理装置。 A selection operation content determination unit that determines, for each target object, a selection operation content for selecting each of a plurality of objects included in the image;
An image processing apparatus comprising: a display control unit configured to display the determined selection operation content in association with each object. 画像に含まれる複数の対象物を検出する対象物検出手順と、
前記検出された各対象物を選択するための選択操作内容を前記対象物毎に決定する選択操作内容決定手順と、
前記決定された選択操作内容を前記対象物毎に関連付けて表示させる表示制御手順と
を具備する画像処理方法。 An object detection procedure for detecting a plurality of objects included in the image;
A selection operation content determination procedure for determining, for each object, a selection operation content for selecting each detected object;
An image processing method comprising: a display control procedure for displaying the determined selection operation content in association with each object. 画像に含まれる複数の対象物を検出する対象物検出手順と、
前記検出された各対象物を選択するための選択操作内容を前記対象物毎に決定する選択操作内容決定手順と、
前記決定された選択操作内容を前記対象物毎に関連付けて表示させる表示制御手順と
をコンピュータに実行させるプログラム。 An object detection procedure for detecting a plurality of objects included in the image;
A selection operation content determination procedure for determining, for each object, a selection operation content for selecting each detected object;
A program for causing a computer to execute a display control procedure for displaying the determined selection operation content in association with each object.
JP2009029225A 2009-02-12 2009-02-12 Image processing apparatus, image processing method, and program Expired - Fee Related JP5272773B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2009029225A JP5272773B2 (en) 2009-02-12 2009-02-12 Image processing apparatus, image processing method, and program

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2009029225A JP5272773B2 (en) 2009-02-12 2009-02-12 Image processing apparatus, image processing method, and program

Publications (2)

Publication Number Publication Date
JP2010187145A true JP2010187145A (en) 2010-08-26
JP5272773B2 JP5272773B2 (en) 2013-08-28

Family

ID=42767533

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2009029225A Expired - Fee Related JP5272773B2 (en) 2009-02-12 2009-02-12 Image processing apparatus, image processing method, and program

Country Status (1)

Country Link
JP (1) JP5272773B2 (en)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012230498A (en) * 2011-04-25 2012-11-22 Casio Comput Co Ltd Electronic device, icon display method, and program
JP2015537276A (en) * 2012-09-18 2015-12-24 クアルコム，インコーポレイテッド Method and system for preventing the use of a head mounted display from being seen by non-users
JP2018197806A (en) * 2017-05-24 2018-12-13 キヤノン株式会社 Display control unit and imaging apparatus

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11735614B2 (en) * 2018-07-31 2023-08-22 Sony Semiconductor Solutions Corporation Stacked light-receiving sensor and electronic device

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH11146317A (en) * 1997-11-12 1999-05-28 Fuji Photo Film Co Ltd Digital still camera
JP2005151349A (en) * 2003-11-18 2005-06-09 Fuji Photo Film Co Ltd Digital camera
JP2005197965A (en) * 2004-01-06 2005-07-21 Fuji Photo Film Co Ltd Digital camera
JP2008277903A (en) * 2007-04-25 2008-11-13 Sony Corp Imaging apparatus and object to be focused determination method

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH11146317A (en) * 1997-11-12 1999-05-28 Fuji Photo Film Co Ltd Digital still camera
JP2005151349A (en) * 2003-11-18 2005-06-09 Fuji Photo Film Co Ltd Digital camera
JP2005197965A (en) * 2004-01-06 2005-07-21 Fuji Photo Film Co Ltd Digital camera
JP2008277903A (en) * 2007-04-25 2008-11-13 Sony Corp Imaging apparatus and object to be focused determination method

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012230498A (en) * 2011-04-25 2012-11-22 Casio Comput Co Ltd Electronic device, icon display method, and program
JP2015537276A (en) * 2012-09-18 2015-12-24 クアルコム，インコーポレイテッド Method and system for preventing the use of a head mounted display from being seen by non-users
JP2018197806A (en) * 2017-05-24 2018-12-13 キヤノン株式会社 Display control unit and imaging apparatus
US10638049B2 (en) 2017-05-24 2020-04-28 Canon Kabushiki Kaisha Display control apparatus and imaging apparatus

Also Published As

Publication number Publication date
JP5272773B2 (en) 2013-08-28

Similar Documents

Publication Publication Date Title
US10225469B2 (en) Imaging apparatus, imaging method, and program
US10116864B2 (en) Imaging apparatus, imaging display control method, and program
JP4929630B2 (en) Imaging apparatus, control method, and program
US8831282B2 (en) Imaging device including a face detector
JP5652652B2 (en) Display control apparatus and method
JP5251215B2 (en) Digital camera
JP4645685B2 (en) Camera, camera control program, and photographing method
US20110013034A1 (en) Method for operating digital camera and digital camera using the same
JP2008270896A (en) Imaging device and program thereof
JP2013070164A (en) Imaging device and imaging method
WO2010073619A1 (en) Image capture device
JP2012133523A (en) Display control device, display control method and program
JP2011139282A (en) Image processing apparatus, imaging apparatus, image processing method, and program
JP5030022B2 (en) Imaging apparatus and program thereof
JP5885395B2 (en) Image capturing apparatus and image data recording method
JP6414218B2 (en) Control device, control method and program
US9992405B2 (en) Image capture control apparatus and control method of the same
JP5272773B2 (en) Image processing apparatus, image processing method, and program
JP5181841B2 (en) Imaging apparatus, imaging control program, image reproducing apparatus, and image reproducing program
JP2013183185A (en) Imaging apparatus, and imaging control method and program
US20200336665A1 (en) Display control apparatus, control method, and storage medium
JP6693071B2 (en) Imaging device, imaging control method, and program
JP5448868B2 (en) IMAGING DEVICE AND IMAGING DEVICE CONTROL METHOD
JP4632417B2 (en) Imaging apparatus and control method thereof
JP2011193066A (en) Image sensing device

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20120206

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20130124

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20130129

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20130325

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20130416

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20130429

LAPS Cancellation because of no payment of annual fees