JP2008098954A - Imaging apparatus, method, and program - Google Patents

Imaging apparatus, method, and program Download PDF

Info

Publication number
JP2008098954A
JP2008098954A JP2006278262A JP2006278262A JP2008098954A JP 2008098954 A JP2008098954 A JP 2008098954A JP 2006278262 A JP2006278262 A JP 2006278262A JP 2006278262 A JP2006278262 A JP 2006278262A JP 2008098954 A JP2008098954 A JP 2008098954A
Authority
JP
Japan
Prior art keywords
person
detection
frame image
imaging
tracking
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2006278262A
Other languages
Japanese (ja)
Other versions
JP4876836B2 (en
Inventor
Yusuke Inuzuka
祐介 犬塚
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
NEC Corp
Original Assignee
NEC Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by NEC Corp filed Critical NEC Corp
Priority to JP2006278262A priority Critical patent/JP4876836B2/en
Publication of JP2008098954A publication Critical patent/JP2008098954A/en
Application granted granted Critical
Publication of JP4876836B2 publication Critical patent/JP4876836B2/en
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Automatic Focus Adjustment (AREA)
  • Studio Devices (AREA)
  • Exposure Control For Cameras (AREA)
  • Focusing (AREA)

Abstract

<P>PROBLEM TO BE SOLVED: To provide an imaging apparatus which can improve operability of a user suppressing a processing load. <P>SOLUTION: The imaging apparatus includes: an image acquisition means which acquires frame image data in an imaging range; a figure detection means which detects a human part based on the acquired frame image data; a tracing means which traces the detected human part on other succeeding frame image data; a focus means to focus on the figure part; and an imaging means which receives an input of an imaging instruction, and performs imaging processing in a condition that the figure part is focused by the focus means. The figure detection means detects a predetermined position in the imaging range, for example, the figure part which is the nearest to a center position of the imaging range. <P>COPYRIGHT: (C)2008,JPO&INPIT

Description

本発明は、撮像装置にかかり、特に、オートフォーカス機能を有する撮像装置に関する。   The present invention relates to an imaging apparatus, and more particularly to an imaging apparatus having an autofocus function.

標準的なカメラでは、オートフォーカスの対象となるフォーカスエリアが撮影画像の中心となる。従って、例えば、旅行先での記念撮影の際に、中央に風景、脇のほうに人物という構図で撮影しようとしたときに、構図の中央に位置する遠方の風景にフォーカスし、人物がピンボケになるという問題があった。この問題を回避するためには、まず人物を中心とした構図でフォーカスをロックした状態で風景を中央とした構図に変更することで、人物にフォーカスした状態で撮影することができる。しかし、カメラの操作に慣れていないユーザは、このような操作方法を把握していないことが多いため、適切な写真撮影を行うことが困難であった。   In a standard camera, the focus area that is the target of autofocus is the center of the captured image. Therefore, for example, when taking a commemorative photo at a travel destination, when you try to shoot a landscape with a landscape in the center and a person in the side, focus on a distant landscape located in the center of the composition, and the person will be out of focus. There was a problem of becoming. In order to avoid this problem, it is possible to shoot in a state where the person is focused by first changing the composition to the composition centered on the landscape while the focus is locked with the composition centered on the person. However, users who are not used to operating the camera often do not know such an operation method, and thus it has been difficult to take appropriate photographs.

そして、上記問題を解決するために、フォーカスエリアを画面内の複数点に配置し、最も適切なフォーカスエリアを選択してフォーカス動作を行う方法が従来より用いられている。しかし、かかる方法では、複数のフォーカスエリアでフォーカス動作を行う必要があるため処理時間がかかり、また、固定的に配置されているフォーカスエリアから被写体が外れた場合は、ユーザが希望する被写体をフォーカスすることができない、という問題が生じていた。   In order to solve the above problem, a method in which focus areas are arranged at a plurality of points in the screen and the most appropriate focus area is selected to perform a focus operation has been conventionally used. However, in this method, since it is necessary to perform the focus operation in a plurality of focus areas, it takes time to process, and when the subject is out of the fixedly arranged focus area, the user wants to focus on the desired subject. The problem of being unable to do so has arisen.

そして、被写体の多くは人物であるが、人物撮影時に人物の顔のピンぼけを防ぐために、顔を検出してフォーカスの対象として作動するカメラが存在しうる。例えば、特許文献1,2には、撮影範囲内から被写体となる人物の顔部分を検出し、検出した顔部分を対象にオートフォーカスする技術を搭載したカメラが開示されている。さらに、特許文献3には、目標被写体を自動追尾する技術が開示されている。   Many of the subjects are people, but there may be a camera that detects a face and operates as a focus target in order to prevent the defocusing of the person's face when photographing a person. For example, Patent Documents 1 and 2 disclose a camera equipped with a technique for detecting a face portion of a person as a subject from within a shooting range and performing autofocus on the detected face portion. Further, Patent Document 3 discloses a technique for automatically tracking a target subject.

特開2005−318554号公報JP 2005-318554 A 特開2006−145629号公報JP 2006-145629 A 特開平6−268894号公報JP-A-6-268894

しかしながら、上記特許文献に開示されている技術では、複数の顔を検出した場合に、いずれをフォーカスして、かつ、自動追尾するか、という技術については開示されていない。例えば、特許文献2には、複数の人物の顔部分が存在する場合には、各顔部分を検出し、ユーザがカメラの操作部を操作して目的とする人物の顔部分をプレビュー画面で選択し、任意の顔部分を明示的にフォーカスする方法が開示されている。特に、顔部分の面積に応じてカメラからの距離を調べ、かかる距離に基づいてユーザによる選択対象を移動する。ところが、上記技術では、ユーザがプレビュー画面を見て操作部を操作して選択する必要があり、操作に手間がかかる、という問題が生じる。特に、カメラからの距離に応じた順でプレビュー画面上で顔部分の選択対象の移動操作を行う必要があり、操作時の手間が増加しうる。さらに、仮に検出した複数の顔を同時に追尾することも考えられるが、処理負担が増加し、処理能力の限られる携帯電話などの小型電子機器では処理が困難である、という問題が生じる。   However, the technique disclosed in the above-described patent document does not disclose a technique for focusing and automatically tracking when a plurality of faces are detected. For example, in Patent Document 2, when there are a plurality of human face portions, each face portion is detected, and the user operates the operation unit of the camera to select the desired human face portion on the preview screen. A method of explicitly focusing an arbitrary face portion is disclosed. In particular, the distance from the camera is checked according to the area of the face portion, and the selection target by the user is moved based on the distance. However, in the above technique, it is necessary for the user to operate the operation unit while viewing the preview screen, and there is a problem that the operation is troublesome. In particular, it is necessary to perform an operation for moving the selection target of the face portion on the preview screen in the order corresponding to the distance from the camera, which may increase the time and effort during the operation. Furthermore, although it is conceivable to simultaneously track a plurality of detected faces, there is a problem that the processing load increases and it is difficult to process in a small electronic device such as a mobile phone with limited processing capability.

このため、本発明では、上記従来例の有する不都合を改善し、特に、処理負荷を抑制しつつ、ユーザの操作性の向上を図ることができる撮像装置を提供する、ことをその目的とする。   Therefore, an object of the present invention is to provide an imaging apparatus that can improve the inconvenience of the above-described conventional example, and in particular, can improve the operability of the user while suppressing the processing load.

そこで、本発明の一形態である撮像装置は、
撮影範囲のフレーム画像データを取得するフレーム画像取得手段と、
取得したフレーム画像データに基づいて人物部分を検出する人物検出手段と、
検出された人物部分を後続する他のフレーム画像データ上にて追跡する追跡手段と、
人物部分に焦点を合わせるフォーカス手段と、
撮影指令の入力を受け付けて、フォーカス手段にて人物部分に焦点が合わせられた状態で撮像処理を行う撮像手段と、を備えた撮像装置であって、
人物検出手段は、撮影範囲のうち予め設定された位置、例えば、撮影範囲の中心位置、に最も近い1つの人物部分を検出する、
ことを特徴としている。
Therefore, an imaging apparatus which is one embodiment of the present invention is
Frame image acquisition means for acquiring frame image data of the shooting range;
Person detecting means for detecting a person portion based on the acquired frame image data;
Tracking means for tracking the detected person part on other subsequent frame image data;
Focusing means to focus on the person part,
An imaging device that receives an input of a shooting command and performs an imaging process in a state in which the person portion is focused on the focus unit,
The person detection means detects one person part closest to a preset position in the shooting range, for example, the center position of the shooting range.
It is characterized by that.

上記発明によると、まず、撮像装置では、一定の時間間隔にて、常時、レンズから撮影範囲の画像データであるフレーム画像データが取り込まれ、例えば、撮像装置に装備された表示部にプレビュー表示される。そして、このフレーム画像データに対して、人物部分を検出する処理が行われる。このとき、撮影範囲のうち、予め設定された位置、例えば、撮影範囲の中心位置に最も近い1つの人物部分を検出する。そして、この検出された1つの人物部分を、後続するフレーム画像データ上にて追跡処理を行う。その後、撮影指令の入力があると、追跡している人物部分に焦点を合わせて、あるいは、追跡時にフォーカスされた状態で、撮像処理を行い、撮影範囲の画像データを取得して記憶する。   According to the above invention, first, in the imaging device, frame image data that is image data of the imaging range is always captured from the lens at a constant time interval, and is previewed on, for example, a display unit provided in the imaging device. The Then, a process for detecting a person portion is performed on the frame image data. At this time, one person part closest to a preset position, for example, the center position of the shooting range, is detected in the shooting range. Then, the detected one person portion is tracked on the subsequent frame image data. Thereafter, when an imaging command is input, imaging processing is performed while focusing on the person portion being tracked or in a focused state during tracking, and image data in the imaging range is acquired and stored.

これにより、仮に撮影範囲に人物部分が複数存在する場合であっても、設定された位置に最も近い1つの人物部分が検出対象及び追跡対象とされるため、自動的にフォーカス対象を設定でき操作性の向上を図ることができると共に、処理時間の短縮化及び処理の負荷の軽減を図ることができる。また、取得されたフレーム画像データ上にて人物検出を行っているため、撮影指令入力(シャッターボタン押下)以降は人物検出処理などを行う必要がなく、撮影指令から撮像処理までの処理時間の短縮化を図ることができ、ユーザはシャッターチャンスを逃すことを抑制できる。   As a result, even if there are a plurality of person parts in the shooting range, the one person part closest to the set position is set as the detection target and tracking target, so that the focus target can be set automatically. In addition, the processing time can be shortened and the processing load can be reduced. In addition, since person detection is performed on the acquired frame image data, it is not necessary to perform person detection processing after the shooting command is input (shutter button pressed), and the processing time from shooting command to imaging processing is reduced. Therefore, the user can suppress missing a photo opportunity.

また、人物検出手段に対して人物部分の再検出指令を入力する再検出指令手段を備えると共に、人物検出手段は、再検出指令に応じて前記フレーム画像データに基づいて人物部分の再検出を行う、ことを特徴としている。これにより、ユーザが再検出指令を入力すると、その時点におけるフレーム画像データにて撮影範囲の設定箇所に最も近い位置にいる人物部分が再検出される。従って、ユーザ操作によるタイミングで、画面の中心位置などの設定箇所に近い人物部分へフォーカス対象となる追跡対象を切り替えことができ、ユーザが目的とする任意の人物を追跡して撮像することができるため、操作性の向上を図ることができる。   In addition, re-detection instruction means for inputting a person part re-detection command to the person detection means is provided, and the person detection means performs re-detection of the person part based on the frame image data in response to the re-detection instruction. It is characterized by that. Thereby, when the user inputs a redetection command, the person portion that is closest to the set position of the shooting range is redetected in the frame image data at that time. Therefore, the tracking target to be focused can be switched to a person portion close to the set location such as the center position of the screen at the timing of the user operation, and the user can track and capture any desired person. Therefore, operability can be improved.

また、人物検出手段は、一定の時間間隔にてフレーム画像に基づいて人物部分の検出を行う、ことを特徴としている。このとき、人物検出手段に対して人物部分の検出停止指令を入力する検出停止指令手段を備えると共に、人物検出手段は、検出停止指令に応じて人物部分の検出処理を停止する、ことを特徴としている。これにより、一定の時間間隔にて自動的に人物部分が再検出されるため、ユーザが目的とする人物の撮影が容易となる。そして、さらに、ユーザが検出停止指令を入力すると、人物部分の検出処理が停止される。すると、その時点で検出されている人物部分がその後追跡されることとなる。つまり、追跡対象を固定することができ、目的の人物を撮像することができるため、操作性の向上を図ることができる。   Further, the person detecting means is characterized in that a person portion is detected based on the frame image at a constant time interval. At this time, it is provided with detection stop command means for inputting a person part detection stop command to the person detection means, and the person detection means stops the human part detection process in response to the detection stop command. Yes. As a result, since the person portion is automatically re-detected at regular time intervals, it is easy to photograph the person intended by the user. Further, when the user inputs a detection stop command, the human part detection process is stopped. Then, the person portion detected at that time is subsequently tracked. That is, the tracking target can be fixed and the target person can be imaged, so that the operability can be improved.

また、フォーカス手段は、撮影指令の入力を受け付けたときに作動する、ことを特徴としている。これにより、撮影指令が入力されると、そのときに追跡されている人物部分に対するフォーカス処理が実行され、撮像処理が行われる。従って、撮像直前にのみフォーカス処理が実行されるため、フォーカス動作時に必要なレンズの駆動などが撮影直前のみに作動することになり、消費電力の低減を図ることができる。   Further, the focusing means operates when it receives an input of a shooting command. Thus, when a shooting command is input, a focus process is performed on the person portion being tracked at that time, and an imaging process is performed. Accordingly, since the focus process is executed only immediately before imaging, the lens driving necessary for the focusing operation is activated only immediately before imaging, and power consumption can be reduced.

あるいは、フォーカス手段は、人物部分の検出処理後、かつ/あるいは、追跡処理後に作動する、ことを特徴としている。これにより、各フレーム画像に対する追跡処理時に、常時、人物部分に対するフォーカス処理が実行される。従って、撮像処理時にフォーカス処理を実行する必要がないため、撮影指令から撮像処理までの処理時間の短縮化を図ることができる。   Alternatively, the focusing means is characterized in that it operates after the human part detection process and / or after the tracking process. Thereby, the focus process for the person portion is always executed during the tracking process for each frame image. Accordingly, since it is not necessary to execute the focus process during the imaging process, it is possible to shorten the processing time from the imaging command to the imaging process.

そして、上述した撮像装置は、操作性が向上し、また、処理の負荷の軽減を図ることができるため、携帯電話などの携帯型電子機器に装備すると望ましい。   The above-described imaging device is preferably provided in a portable electronic device such as a cellular phone because operability is improved and processing load can be reduced.

また、本発明の他の形態であるプログラムは、
所定の範囲の画像を撮像する撮像装置の制御部に、
撮影範囲のフレーム画像データを取得するフレーム画像取得手段と、
取得したフレーム画像データに基づいて人物部分を検出する人物検出手段と、
検出された人物部分を後続する他のフレーム画像データ上にて追跡する追跡手段と、
撮影指令の入力を受け付けて、人物部分に焦点が合わせられた状態で撮像処理を行う撮像手段と、
を実現させるためのプログラムであって、
人物検出手段は、撮影範囲のうち予め設定された位置に最も近い1つの人物部分を検出する、
ことを特徴としている。
Moreover, the program which is the other form of this invention is:
In the control unit of the imaging device that captures an image of a predetermined range,
Frame image acquisition means for acquiring frame image data of the shooting range;
Person detecting means for detecting a person portion based on the acquired frame image data;
Tracking means for tracking the detected person part on other subsequent frame image data;
An imaging unit that receives an input of a shooting command and performs an imaging process in a state where the person part is focused;
Is a program for realizing
The person detecting means detects one person part closest to a preset position in the photographing range.
It is characterized by that.

さらに、本発明の他の形態である撮像方法は、
撮像装置にて所定範囲の画像を撮像する方法であって、
撮影範囲のフレーム画像データを取得するフレーム画像取得工程と、
取得したフレーム画像データに基づいて人物部分を検出する人物検出工程と、
検出された前人物部分を後続する他のフレーム画像データ上にて追跡する追跡工程と、
撮影指令の入力を受け付けて、人物部分に焦点が合わせられた状態で撮像処理を行う撮像工程と、を有し、
人物検出工程は、撮影範囲のうち予め設定された位置(例えば、撮影範囲の中心位置)に最も近い1つの人物部分を検出する、
ことを特徴としている。
Furthermore, an imaging method according to another aspect of the present invention includes:
A method of capturing an image of a predetermined range with an imaging device,
A frame image acquisition step of acquiring frame image data of the shooting range;
A person detection step of detecting a person portion based on the acquired frame image data;
A tracking step of tracking the detected previous person portion on other subsequent frame image data;
Receiving an input of a shooting command, and performing an imaging process in a state in which the person portion is focused,
The person detection step detects one person part closest to a preset position (for example, the center position of the shooting range) in the shooting range.
It is characterized by that.

そして、人物検出工程は、人物部分の再検出指令を受け付けたときにフレーム画像データに基づいて人物部分の再検出を行う。あるいは、人物検出工程は、一定の時間間隔にてフレーム画像に基づいて人物部分の検出を行う。このとき、人物検出工程は、人物部分の検出停止指令の入力を受け付けたときに人物部分の検出処理を停止する。   In the person detection step, when a person part redetection command is received, the person part is redetected based on the frame image data. Alternatively, the person detection step detects a person portion based on the frame image at a constant time interval. At this time, in the person detection step, when the input of the person part detection stop command is accepted, the person part detection process is stopped.

また、撮像工程は、撮影指令の入力を受け付けたときに人物部分に焦点を合わせて撮像する。あるいは、人物検出工程は人物部分を検出した後に、かつ/あるいは、追跡工程は人物部分を追跡した後に、人物部分に焦点を合わせる、ことを特徴としている。   Further, in the imaging process, when an input of a shooting command is received, the person portion is focused and imaged. Alternatively, the person detection step focuses on the person portion after detecting the person portion and / or the tracking step tracks the person portion.

上記構成のプログラム及び方法の発明であっても、上述した撮像装置と同様に作用するため、上記本発明の目的を達成することができる。   Even the invention of the program and method having the above-described configuration can achieve the object of the present invention because it operates in the same manner as the imaging apparatus described above.

本発明は、以上のように構成され機能するので、これによると、撮影範囲内において設定された位置に最も近い1つの人物部分のみが検出対象及び追跡対象とされるため、自動的にフォーカス対象を設定でき操作性の向上を図ることができると共に、処理時間の短縮化及び処理の負荷の軽減を図ることができる、という従来にない優れた効果を有する。   Since the present invention is configured and functions as described above, according to this, since only one person portion closest to the position set in the photographing range is set as the detection target and the tracking target, the focus target is automatically set. And the operability can be improved, and the processing time can be shortened and the processing load can be reduced.

本発明は、撮像装置で人物を撮影しようとする際に、プレビュー表示用などに取得したフレーム画像にて被写体の顔を検出・追跡し、撮影時に顔の位置でオートフォーカス動作を行うことで、ピンボケを防ぐ、ことを特徴としている。以下、撮像装置として、携帯電話機に搭載されたデジタルカメラを一例に挙げて説明する。但し、本発明にかかる撮像装置は、他の電子機器に搭載されているものであってもよく、デジタルカメラ自体であってもよい。   The present invention detects and tracks the face of a subject in a frame image acquired for preview display or the like when shooting a person with an imaging device, and performs an autofocus operation at the position of the face during shooting. It is characterized by preventing blurring. Hereinafter, a digital camera mounted on a mobile phone will be described as an example of the imaging device. However, the imaging apparatus according to the present invention may be mounted on another electronic device, or may be a digital camera itself.

本発明の第1の実施例を、図1乃至図4を参照して説明する。図1は、撮像装置が装備された携帯電話機の外観を示す図であり、図2は、撮像装置部分の構成を示す機能ブロック図である。図3は、撮像装置の動作を示すフローチャートであり、図4は、撮像時のプレビュー画面の一例を示す図である。   A first embodiment of the present invention will be described with reference to FIGS. FIG. 1 is a diagram showing the appearance of a mobile phone equipped with an imaging device, and FIG. 2 is a functional block diagram showing the configuration of the imaging device portion. FIG. 3 is a flowchart illustrating the operation of the imaging apparatus, and FIG. 4 is a diagram illustrating an example of a preview screen during imaging.

[構成]
図1に示す携帯電話機1は、折り畳み式の一般的な携帯電話機1であり、上側の筐体1Aには液晶ディスプレイである表示部15が装備され、下側の筐体1Bにはテンキーなどの操作ボタンを複数有するキー操作部13が装備されている。また、この携帯電話機1は、デジタルカメラである撮像装置10を備えており、上側の筐体1Aの背面側にレンズ等を有するカメラ部11が装備され、下側の筐体1Bの内部に撮像機能を実現するための制御装置等(カメラ制御部12、演算装置20など)が装備されている。以下、撮像装置10部分の構成を、図2を参照して説明する。
[Constitution]
A mobile phone 1 shown in FIG. 1 is a foldable general mobile phone 1, and an upper casing 1 </ b> A is equipped with a display unit 15 that is a liquid crystal display, and a lower casing 1 </ b> B is provided with a numeric keypad or the like. A key operation unit 13 having a plurality of operation buttons is provided. In addition, the mobile phone 1 includes an imaging device 10 that is a digital camera. The mobile phone 1 is equipped with a camera unit 11 having a lens or the like on the back side of the upper housing 1A, and images are taken inside the lower housing 1B. A control device or the like (camera control unit 12, arithmetic device 20 or the like) for realizing the function is provided. Hereinafter, the configuration of the imaging device 10 will be described with reference to FIG.

図2に示すように、撮像装置10は、カメラ部11と、カメラ制御部12と、キー操作部13と、キー入力制御部14と、表示部15と、表示制御部16と、演算装置20と、記憶装置30と、を備えている。以下、撮像装置1の各構成について詳述する。   As illustrated in FIG. 2, the imaging device 10 includes a camera unit 11, a camera control unit 12, a key operation unit 13, a key input control unit 14, a display unit 15, a display control unit 16, and a calculation device 20. And a storage device 30. Hereinafter, each component of the imaging device 1 will be described in detail.

カメラ部11は、上述したように、撮影範囲の画像を電子データである画像データとして取り込むカメラモジュールである。カメラ制御部12は、カメラ部11の動作を制御して、画像データを取り込む処理を行ったり、カメラ部11と協働して当該カメラ部11の焦点を合わせるオートフォーカス制御を行う機能を有する(フォーカス手段)。   As described above, the camera unit 11 is a camera module that captures an image in a shooting range as image data that is electronic data. The camera control unit 12 has a function of controlling the operation of the camera unit 11 to perform processing for capturing image data, or performing autofocus control for focusing the camera unit 11 in cooperation with the camera unit 11 ( Focus means).

また、キー操作部13は、上述したように携帯電話機1の操作部であり、キー入力制御部14が、キー操作部13に対する入力を検出する。また、表示部15は、上述したように携帯電話機1のディスプレイであり、表示制御部16が、カメラ部11にて取得したプレビュー画像や、実際に撮像した画像を、表示部15に表示するよう制御する。   The key operation unit 13 is an operation unit of the mobile phone 1 as described above, and the key input control unit 14 detects an input to the key operation unit 13. The display unit 15 is the display of the mobile phone 1 as described above, and the display control unit 16 displays the preview image acquired by the camera unit 11 or the actually captured image on the display unit 15. Control.

演算装置20は、上記各制御部12,14,16と接続され、撮像装置10の動作を制御するCPUである。そして、この演算装置20には、所定のプログラムが組み込まれることで、画像取得処理部21と、顔検出・追跡制御処理部22と、画像表示処理部23と、データ保存処理部24と、が構築されている。   The arithmetic device 20 is a CPU that is connected to the control units 12, 14, and 16 and controls the operation of the imaging device 10. Then, a predetermined program is incorporated in the arithmetic device 20, so that an image acquisition processing unit 21, a face detection / tracking control processing unit 22, an image display processing unit 23, and a data storage processing unit 24 are included. Has been built.

画像取得処理部21(フレーム画像取得手段)は、カメラ制御部12の動作を制御して、カメラ部11で取得された所定の撮影範囲におけるフレーム画像データを取り込む。このとき、一定の時間間隔(例えば、0.5秒間隔)にて連続してフレーム画像データを取得して、顔検出・追跡制御処理部22に渡す。なお、このフレーム画像データは、顔検出・追跡制御部22を介して、順次、画像表示処理部23にて表示部15にプレビュー画像として表示される。   The image acquisition processing unit 21 (frame image acquisition means) controls the operation of the camera control unit 12 to capture frame image data in a predetermined shooting range acquired by the camera unit 11. At this time, frame image data is continuously acquired at a constant time interval (for example, 0.5 second interval), and transferred to the face detection / tracking control processing unit 22. The frame image data is sequentially displayed as a preview image on the display unit 15 by the image display processing unit 23 via the face detection / tracking control unit 22.

また、画像取得処理部21は、キー操作部13から撮影指令が入力されたときに、キー入力制御部14及び顔検出・追跡制御処理部22を介して撮影指令を受け付けて、カメラ部11からフレーム画像データを取り込み、このフレーム画像データを撮影画像としてデータ保存処理部24に渡す。そして、データ保存処理部24が、撮影画像であるフレーム画像データを記憶装置30の画像記憶部31に保存する。このように、画像取得手段21とデータ保存処理部24とは、撮像手段として機能する。   Further, the image acquisition processing unit 21 receives the imaging command via the key input control unit 14 and the face detection / tracking control processing unit 22 when the imaging command is input from the key operation unit 13, and receives from the camera unit 11. The frame image data is captured, and this frame image data is transferred to the data storage processing unit 24 as a captured image. Then, the data storage processing unit 24 stores the frame image data that is a captured image in the image storage unit 31 of the storage device 30. As described above, the image acquisition unit 21 and the data storage processing unit 24 function as an imaging unit.

さらに、画像取得処理部21は、上述した撮影時に、後述する顔検出・追跡制御処理部22から指示されたオートフォーカスエリアに基づいて、このオートフォーカスエリアを指定してオートフォーカスの指示をカメラ制御部12に対して行う。つまり、画像取得処理部21は、カメラ部11やカメラ制御部12等と協働して、フォーカス手段として機能する。これにより、本実施例では、撮影指令があった後にのみオートフォーカスが実行されて、撮影画像が取得されて保存される。   Furthermore, the image acquisition processing unit 21 designates the autofocus area based on the autofocus area instructed from the face detection / tracking control processing unit 22 described later at the time of shooting described above, and controls the autofocus instruction by the camera. To the unit 12. That is, the image acquisition processing unit 21 functions as a focusing unit in cooperation with the camera unit 11, the camera control unit 12, and the like. Thereby, in this embodiment, autofocus is executed only after a shooting command is issued, and a shot image is acquired and stored.

顔検出・追跡制御処理部(人物検出手段、追跡手段)22は、画像取得処理部21にてカメラ部11から取得したプレビュー表示用のフレーム画像データを受け取って、かかるフレーム画像データに対して、まず、人物の顔部分(人物部分)の検出処理を行う。例えば、画像の色情報に基づいて予め設定された色部分を顔部分として検出を行う。そして、その後は、検出された顔部分を、連続する後続のフレーム画像データ上で追跡する。例えば、後続するフレーム画像データ上において上記検出された顔部分の特徴点と同一の特徴点を検出して、追跡された顔部分として特定する。   The face detection / tracking control processing unit (person detection unit, tracking unit) 22 receives the frame image data for preview display acquired from the camera unit 11 by the image acquisition processing unit 21, and for the frame image data, First, detection processing of a human face portion (person portion) is performed. For example, a color portion set in advance based on the color information of the image is detected as a face portion. After that, the detected face portion is tracked on successive subsequent frame image data. For example, on the subsequent frame image data, the same feature point as the detected feature point of the face part is detected and specified as the tracked face part.

ここで、顔部分の検出及び追跡は上述した処理にて実行されることに限定されず、検出及び追跡のアルゴリズムは任意である。また、検出して追跡する部位は、顔部分に限定されず、人間の体の他の部分であってもよい。   Here, the detection and tracking of the face portion is not limited to being executed by the above-described processing, and the detection and tracking algorithm is arbitrary. Further, the part to be detected and tracked is not limited to the face part, but may be another part of the human body.

また、顔検出・追跡制御処理部22は、上述した顔部分検出時に複数の顔部分が検出された場合には、撮影範囲つまりフレーム画像データの中心位置に最も近い1つの顔部分を特定して検出する。つまり、平面上であるフレーム画像上において、その中心位置により近く位置する顔部分を、後の追跡対象として特定して検出する。このとき、例えば、フレーム画像データ上における座標に基づいて各顔部分までの距離を算出し、最も距離の短い顔部分を追跡対象として特定する。なお、特定する1つの顔部分は、必ずしも中心位置に近いものに限定されない。例えば、撮影範囲の右隅といった位置や、予め表示部15上に任意に設定表示したマーカー位置に最も近く存在する顔部分を特定してもよい。   Further, the face detection / tracking control processing unit 22 specifies one face part closest to the photographing range, that is, the center position of the frame image data when a plurality of face parts are detected during the face part detection described above. To detect. That is, the face portion located closer to the center position on the plane frame image is specified and detected as a later tracking target. At this time, for example, the distance to each face part is calculated based on the coordinates on the frame image data, and the face part with the shortest distance is specified as the tracking target. Note that one face part to be identified is not necessarily limited to the one close to the center position. For example, a face portion that is closest to a position such as the right corner of the shooting range or a marker position arbitrarily set and displayed on the display unit 15 in advance may be specified.

また、この顔検出・追跡制御処理部22は、上述したように検出した、あるいは、追跡した顔部分の位置を特定する例えば長方形の顔検出枠データR(図4の点線枠Rを参照)を、フレーム画像データ上に合成して、画像表示処理部23に出力する。さらに、キー操作部13のシャッターボタンに相当するボタンが押下されて、キー入力制御部14から撮影指令の信号を受け取ると、直前のフレーム画像データにおける顔検出(追跡)位置をオートフォーカスエリアとして画像取得処理部21に通知し、フォーカス及び画像取得を指示する。   Further, the face detection / tracking control processing unit 22 uses, for example, rectangular face detection frame data R (see the dotted line frame R in FIG. 4) for specifying the position of the face portion detected or tracked as described above. Then, it is synthesized on the frame image data and outputted to the image display processing unit 23. Further, when a button corresponding to the shutter button of the key operation unit 13 is pressed and a shooting command signal is received from the key input control unit 14, the face detection (tracking) position in the immediately previous frame image data is used as an autofocus area. The acquisition processing unit 21 is notified, and focus and image acquisition are instructed.

さらに、本実施例における顔検出・追跡制御処理部22は、キー入力制御部14からキー操作部13に入力された顔部分の再検出指令を受けると、現在追跡している顔部分の位置をリセットして、新たに最新のフレーム画像データから上述同様に顔部分の検出処理を行う。そして、新たに検出された顔部分の追跡を続行する。   Further, when the face detection / tracking control processing unit 22 in this embodiment receives a face part re-detection command input from the key input control unit 14 to the key operation unit 13, the face detection / tracking control processing unit 22 determines the position of the currently tracked face part. After resetting, the face portion detection process is newly performed from the latest frame image data in the same manner as described above. Then, the tracking of the newly detected face part is continued.

画像表示処理部23は、上述したように顔検出・追跡制御処理部22から受け取ったフレーム画像データであるプレビュー画像および顔検出枠Rを、表示制御部16を利用して表示部15へ表示する。   As described above, the image display processing unit 23 displays the preview image and the face detection frame R, which are frame image data received from the face detection / tracking control processing unit 22, on the display unit 15 using the display control unit 16. .

[動作]
次に、上記構成の撮像装置1の動作を、図3のフローチャート、及び、図4のプレビュー画面を参照して説明する。なお、図3のフローチャートは、フレーム画像が取得される毎、つまり、一フレームのプレビュー画像の更新ごとにループし、シャッターキーまたは終了キーが押下されるまでループが繰り返される。
[Operation]
Next, the operation of the imaging apparatus 1 having the above configuration will be described with reference to the flowchart of FIG. 3 and the preview screen of FIG. Note that the flowchart of FIG. 3 loops every time a frame image is acquired, that is, every time a preview image of one frame is updated, and the loop is repeated until the shutter key or the end key is pressed.

はじめに、撮像装置1が起動すると、画像取得処理部21がカメラ部11からプレビュー画像を取得する(ステップS01、フレーム画像取得工程)。続いて、直前のフレームで、顔検出または顔追跡が成功したかの判断を行う(ステップS02)。このときは、まだ最初のフレーム画像であり初回のループであるため、成功していないと判断する(ステップS02:NO)。また、後述するステップS11で設定される再検出フラグが立っている場合も、成功していないと判断し(ステップS02:NO)、顔検出処理へ移行する(ステップS05、人物検出工程)。なお、既に前フレームにて顔部分が検出されており、成功していた場合は(ステップS02:イエス)、顔追跡処理に移行する(ステップS03)。   First, when the imaging apparatus 1 is activated, the image acquisition processing unit 21 acquires a preview image from the camera unit 11 (step S01, frame image acquisition step). Subsequently, it is determined whether face detection or face tracking has succeeded in the immediately preceding frame (step S02). At this time, since it is still the first frame image and the first loop, it is determined that it has not succeeded (step S02: NO). Also, if a re-detection flag set in step S11 to be described later is set, it is determined that it has not been successful (step S02: NO), and the process proceeds to face detection processing (step S05, person detection step). If the face portion has already been detected in the previous frame and has been successful (step S02: YES), the process proceeds to face tracking processing (step S03).

続いて、ステップS05の顔検出処理では、ステップS01で取得した現在のフレーム画像データ全体をスキャンして、色情報などに基づいて画像に含まれる顔部分をすべて検出する。そして、ステップS05の顔検出処理が成功したか否かの判断を行い(ステップS06)、成功した場合は(ステップS06:YES)、ステップS07へ進む。そして、顔検出処理に成功した場合には、ステップS05で検出した複数の顔のうち、画像の中心に最も近い顔を選択する(ステップS07)。なお、失敗した場合または画像に顔が含まれなかった場合は(ステップS06:NO)、ステップS07とステップS08をスキップする。   Subsequently, in the face detection process in step S05, the entire current frame image data acquired in step S01 is scanned to detect all face portions included in the image based on color information and the like. Then, it is determined whether or not the face detection process in step S05 is successful (step S06). If successful (step S06: YES), the process proceeds to step S07. If the face detection process is successful, the face closest to the center of the image is selected from the plurality of faces detected in step S05 (step S07). In the case of failure or when the face is not included in the image (step S06: NO), step S07 and step S08 are skipped.

続いて、ステップS07にて顔部分が選択されると、この選択された顔部分の位置を示す長方形の顔検出枠Rを、プレビュー画像上に合成する(ステップS08)。そして、画像表示処理部23へプレビュー画像を送り、プレビュー画像を表示部15に表示する(ステップS09)。このときのプレビュー画面の表示例を、図4(a)に示す。このように、撮影範囲に人物が2人(ユーザA、ユーザB)含まれている場合には、中心位置Cにより近く位置するユーザAが撮影対象として検出され、その顔部分には顔検出枠Rが表示されて出力される。   Subsequently, when a face part is selected in step S07, a rectangular face detection frame R indicating the position of the selected face part is synthesized on the preview image (step S08). Then, the preview image is sent to the image display processing unit 23, and the preview image is displayed on the display unit 15 (step S09). A display example of the preview screen at this time is shown in FIG. As described above, when two persons (user A and user B) are included in the shooting range, the user A located closer to the center position C is detected as a shooting target, and a face detection frame is included in the face portion. R is displayed and output.

その後、ユーザからのキー入力を受け付けるが(ステップS10)、キーの入力がない場合には、撮影範囲のフレーム画像データを取り込み続ける(ステップS01)。そして、現時点では既に顔部分を検出して顔追跡中であるため(ステップS02:YES)、顔部分の追跡処理を行う(ステップS03、追跡工程)。この追跡処理では、直前のフレームの顔追跡・顔検出処理の結果を用いて、直前のフレームで追跡していた同じ顔部分を現在のフレームから検出し、この検出された顔部分の位置を追跡した位置とする。例えば、前のフレームの顔部分位置の周囲のみに、追跡対象となっている顔部分と同一の特徴点を有する顔部分を検出することで、少ない処理量で短時間に追跡処理を行うことができる。   Thereafter, the key input from the user is accepted (step S10), but if there is no key input, the frame image data of the shooting range is continuously captured (step S01). Since the face part has already been detected and the face is being tracked (step S02: YES), the face part is tracked (step S03, tracking process). In this tracking process, the same face part that was tracked in the previous frame is detected from the current frame using the results of the face tracking / face detection process of the previous frame, and the position of the detected face part is tracked. It is set as the position. For example, by detecting a face part having the same feature point as the face part to be tracked only around the face part position of the previous frame, the tracking process can be performed in a short time with a small amount of processing. it can.

そして、上述したステップS03の顔追跡処理が成功したか否か判断を行い(ステップS04)、成功した場合は(ステップS04:YES)、上述同様に、追跡された顔部分の位置を示す長方形の顔検出枠Rをプレビュー画像上に合成する(ステップS08)。なお、同一の特徴点が検出されなかった場合などには追跡に失敗したと判断し、ステップS08をスキップする。そして、画像表示処理部23へプレビュー画像を送り、プレビュー画像を表示部15に表示する(ステップS09、図4(a)参照)。   Then, it is determined whether or not the face tracking process in step S03 described above is successful (step S04). If successful (step S04: YES), a rectangular shape indicating the position of the tracked face portion is obtained as described above. The face detection frame R is synthesized on the preview image (step S08). If the same feature point is not detected, it is determined that tracking has failed, and step S08 is skipped. Then, the preview image is sent to the image display processing unit 23, and the preview image is displayed on the display unit 15 (see step S09, FIG. 4A).

その後、ユーザからのキー入力を受け付けるが(ステップS10)、再検出キーの入力を受け付けた場合は、現在追跡している顔部分の追跡を終了し(ステップS11)、再検出フラグを立て、ステップS01へ戻る。この再検出キーは、例えば、複数の顔が撮影範囲にあってプレビュー画面に表示されており、ユーザがフォーカス対象として希望する顔と違う顔が追跡対象となってしまった場合に、希望する顔部分がフォーカス対象となるようカメラ部11の向きを変えて、ユーザにて押下される。例えば、図4(a)に示す例では、ユーザAの顔部分が追跡対象となっているが、このプレビュー画面を見てユーザBをフォーカス対象にしたいとユーザが希望する場合には、ユーザBの顔部分が撮影範囲の中心位置Cにより近づくようカメラ部11の向きを移動し(図4(a)の矢印Y)、再検出キーを押下する。すると、最新のフレーム画面データに対して新たに顔検出処理が実行され(ステップS01,ステップS02:NO,ステップS03)、中心位置Cに近いユーザBの顔部分が選択される(ステップS07)。そして、かかる顔部分に顔検出枠Rが合成され(ステップS08)、図4(b)に示すように、プレビュー画像が表示部15に表示される(ステップS09)。これにより、ユーザは、希望する任意の顔をフォーカス対象として、容易な操作で選択することができる。その後は、再検出キーやシャッターキーの入力がない限りは、上述同様に、検出された顔部分の追跡が継続して行われる。   Thereafter, the key input from the user is accepted (step S10), but when the input of the redetection key is accepted, the tracking of the currently tracked face part is finished (step S11), the redetection flag is set, and the step Return to S01. This re-detection key is used when, for example, a plurality of faces are in the shooting range and displayed on the preview screen, and a face different from the face that the user wants to focus on becomes a tracking target. The direction of the camera unit 11 is changed so that the portion becomes a focus target, and the user presses the portion. For example, in the example shown in FIG. 4A, the face portion of the user A is the tracking target. However, when the user desires to focus the user B on the preview screen, the user B The direction of the camera unit 11 is moved so that the face portion of the camera is closer to the center position C of the shooting range (arrow Y in FIG. 4A), and the re-detection key is pressed. Then, a new face detection process is executed for the latest frame screen data (step S01, step S02: NO, step S03), and the face portion of user B close to the center position C is selected (step S07). Then, the face detection frame R is combined with the face portion (step S08), and a preview image is displayed on the display unit 15 as shown in FIG. 4B (step S09). Thereby, the user can select an arbitrary desired face as a focus target by an easy operation. Thereafter, as long as no re-detection key or shutter key is input, the detected face portion is continuously tracked as described above.

そして、ユーザからのキー入力(ステップS10)がシャッターキーであった場合には、フォーカス動作へ移行する(ステップS12)。このフォーカス動作では、現在フレームで顔部分を検出あるいは追跡している領域、つまり、図4に示す顔検出枠R内をオートフォーカスエリアとして、画像取得処理部21、カメラ制御部12、カメラ部11によるフォーカス処理を行う。その後、画像取得処理部21を用いて撮影画像を取得し、取得した画像データをデータ保存処理部24にて画像記憶部31に保存する(ステップS13、撮像工程)。なお、終了キーが押された場合には、画像の取り込み自体を終了する。   If the key input from the user (step S10) is the shutter key, the process proceeds to the focus operation (step S12). In this focusing operation, an area in which a face portion is detected or tracked in the current frame, that is, the face detection frame R shown in FIG. Focus processing is performed. Thereafter, a captured image is acquired using the image acquisition processing unit 21, and the acquired image data is stored in the image storage unit 31 by the data storage processing unit 24 (step S13, imaging step). When the end key is pressed, the image capturing itself is terminated.

以上のように、本実施例によると、撮影範囲の中心位置に最も近い1つの顔部分が検出され、この1つの顔部分のみが追跡対象となるため、フォーカス対象を容易に設定することができ、操作性の向上を図ることができる。特に、撮影範囲に顔が複数存在する場合であっても、希望の顔が中心付近に位置するよう大まかに撮像装置の向きを変更するといった簡易な操作で希望の顔をフォーカス対象に設定することができる。   As described above, according to the present embodiment, since one face portion closest to the center position of the photographing range is detected and only this one face portion is a tracking target, the focus target can be easily set. The operability can be improved. In particular, even when there are multiple faces in the shooting range, the desired face can be set as the focus target by a simple operation such as roughly changing the orientation of the imaging device so that the desired face is located near the center. Can do.

また、追跡対象が1つであることから、顔追跡の処理時間が少なくて済むため、処理能力が高くない携帯電話などの小型電子機器に実装することも容易である。また、本実施例では、プレビュー画像に対して顔検出及び追跡処理を実行しているため、シャッターボタンの押下前には既にフォーカス対象の位置が設定されており、シャッターボタンの押下から画像取得までのタイムラグを短縮することができる。そして、特に、本実施例では、顔追跡時にフォーカス動作を行わず、シャッターボタン押下時のみにフォーカス動作を行うため、フォーカス動作に必要なレンズの機械的な駆動時間を抑制できるため、消費電力の減少を図ることができる。   In addition, since there is only one tracking target, the processing time for face tracking can be reduced, so that it can be easily mounted on a small electronic device such as a mobile phone that does not have high processing capability. In the present embodiment, since the face detection and tracking process is performed on the preview image, the focus target position is already set before the shutter button is pressed. The time lag can be shortened. In particular, in this embodiment, since the focus operation is not performed at the time of face tracking but only when the shutter button is pressed, the mechanical driving time of the lens necessary for the focus operation can be suppressed. Reduction can be achieved.

次に、本発明の第2の実施例を、図5のフローチャートを参照して説明する。本実施例における携帯電話機1に装備された撮像装置10は、実施例1に開示したものとほぼ同様に、図2のブロック図に示す構成を採っている。但し、本実施例では、顔部分の追跡処理時の動作が異なる。以下、異なる部分を中心に説明する。   Next, a second embodiment of the present invention will be described with reference to the flowchart of FIG. The imaging device 10 provided in the mobile phone 1 in the present embodiment has the configuration shown in the block diagram of FIG. 2 in substantially the same manner as that disclosed in the first embodiment. However, in this embodiment, the operation at the time of the face tracking process is different. The following description will focus on the different parts.

[構成]
本実施例における撮像装置10の演算装置20に構築されている顔検出・追跡処理部22(人物検出手段)は、一定時間毎に、自動的に顔の再検出処理を行うよう構成されている。つまり、実施例1では、一度顔の追跡を開始すると、ユーザの再検出キー押下または追跡失敗の状態になるまで、同じ顔を追跡する動作となっているが、本実施例では、一定時間ごとに顔の再検出処理を行うことで、撮影範囲の中心位置に最も近い顔へ自動的に追跡対象が移ることとなる。また、顔検出・追跡処理部22は、ユーザからキー操作部13(検出停止指令手段)に入力された追跡固定キーの入力(検出停止指令)を受け付けると、新たな顔部分の検出を行わず、直前に検出あるいは追跡されている顔部分の追跡処理を継続して行う。つまり、ユーザは、希望する顔が追跡対象となった段階で追跡固定キーを押下することで、追跡対象を固定させることができる。
[Constitution]
The face detection / tracking processing unit 22 (person detection means) constructed in the arithmetic device 20 of the imaging apparatus 10 in the present embodiment is configured to automatically perform face redetection processing at regular time intervals. . That is, in the first embodiment, once the face tracking is started, the same face is tracked until the user presses the re-detection key or the tracking failure state occurs. By performing the face re-detection process, the tracking target is automatically moved to the face closest to the center position of the shooting range. When the face detection / tracking processing unit 22 receives an input (detection stop command) of the tracking fixed key input from the user to the key operation unit 13 (detection stop command means), the face detection / tracking processing unit 22 does not detect a new face portion. The tracking process of the face portion detected or tracked immediately before is continuously performed. That is, the user can fix the tracking target by pressing the tracking fixing key when the desired face becomes the tracking target.

[動作]
次に、本実施例における撮像装置の動作を説明する。なお、図5のフローチャートには、実施例1と同一の処理については同一の符号にて示している。つまり、ステップS14とステップS15の処理が異なる。
[Operation]
Next, the operation of the image pickup apparatus in the present embodiment will be described. In the flowchart of FIG. 5, the same processes as those in the first embodiment are denoted by the same reference numerals. That is, the processes of step S14 and step S15 are different.

まず、実施例1と同様に、取得したプレビュー画像に対して(ステップS01)、顔検出処理が実行され(ステップS05等)、プレビュー画像が表示される(ステップS08、S09)。その後、設定されたフレーム数カウンタに1ずつ加算していく(ステップS14)。そして、その後にユーザから何らキー入力がない場合には(ステップS10からステップS01に戻る)、検出された顔部分の追跡を実行し(ステップS03等)、プレビュー画像が表示される(ステップS08、S09)。なお、上記フレーム数カウンタの値が一定値になった段階で、顔追跡終了処理を行い、カウンタをリセットする。つまり、一定時間(例えば、3秒)の顔部分の追跡が行われた段階で、新たな顔検出処理が実行され、そのときに中心位置に近い顔部分に追跡対象が移動する。ただし、後述するステップS15で追跡顔固定フラグが立てられた場合は、カウンタが一定値になった場合も顔追跡終了処理は行わない。   First, as in the first embodiment, face detection processing is executed on the acquired preview image (step S01) (step S05, etc.), and a preview image is displayed (steps S08 and S09). Thereafter, it is incremented by one to the set frame number counter (step S14). Then, when there is no key input from the user thereafter (returning from step S10 to step S01), the detected face portion is tracked (step S03, etc.), and a preview image is displayed (step S08, S09). When the value of the frame number counter reaches a certain value, face tracking end processing is performed and the counter is reset. That is, when a face portion is tracked for a certain time (for example, 3 seconds), a new face detection process is executed, and the tracking target moves to the face portion close to the center position at that time. However, when the tracking face fixing flag is set in step S15, which will be described later, the face tracking end process is not performed even when the counter becomes a constant value.

その後、ユーザにて追跡固定キーの入力があると(ステップS10)、現在検出されている顔部分を追跡対象として固定し(ステップS15)、追跡顔固定フラグを立ててステップS01に戻る。そして、以後は、新たな顔部分の検出が行われず、追跡対象として設定された顔部分の特徴点等を参照して追跡処理が継続して実行され(ステップS02:YES、ステップS03)、追跡された顔部分に顔追跡枠が合成されたプレビュー画像が表示される(ステップS08,S09)。   Thereafter, when the user inputs the tracking fixed key (step S10), the currently detected face portion is fixed as the tracking target (step S15), the tracking face fixing flag is set, and the process returns to step S01. Thereafter, no new face part is detected, and the tracking process is continuously executed with reference to the feature points of the face part set as the tracking target (step S02: YES, step S03). A preview image in which a face tracking frame is combined with the face portion thus displayed is displayed (steps S08 and S09).

その後、シャッターキーが押下されると(ステップS10)、現在追跡している顔部分に対してフォーカス処理が行われ(ステップS12)、画像が取得され、保存される(ステップS13)。   Thereafter, when the shutter key is pressed (step S10), focus processing is performed on the currently tracked face portion (step S12), and an image is acquired and stored (step S13).

これにより、自動的に顔部分が再検出されるため、ユーザが目的とする顔部分の撮影が容易となり、また、ユーザの操作によって追跡対象を固定することができるため、人操作性の向上を図ることができる。   As a result, the face part is automatically re-detected, so that the user can easily shoot the target face part, and the tracking target can be fixed by the user's operation, thereby improving human operability. Can be planned.

次に、本発明の第3の実施例を、図6のフローチャートを参照して説明する。本実施例における携帯電話機1に装備された撮像装置10は、実施例1に開示したものとほぼ同様に、図2のブロック図に示す構成を採っている。但し、本実施例では、フォーカス処理が実行されるタイミングが異なる。以下、異なる部分を中心に、その動作を説明する。なお、図6のフローチャートには、実施例1と同一の処理については同一の符号にて示している。つまり、ステップS12のフォーカス動作の位置が異なる。   Next, a third embodiment of the present invention will be described with reference to the flowchart of FIG. The imaging device 10 provided in the mobile phone 1 in the present embodiment has the configuration shown in the block diagram of FIG. 2 in substantially the same manner as that disclosed in the first embodiment. However, in this embodiment, the timing at which the focus processing is executed is different. Hereinafter, the operation will be described focusing on the different parts. In the flowchart of FIG. 6, the same processes as those in the first embodiment are denoted by the same reference numerals. That is, the position of the focus operation in step S12 is different.

[動作]
まず、実施例1と同様に、取得したプレビュー画像に対して(ステップS01)、顔検出処理が実行され(ステップS05等)、検出された顔部分に顔追跡枠が合成される(ステップS08)。そして、このとき、検出された顔部分に対してフォーカス処理が実行される(ステップS12)。その後、プレビュー画像が表示される(ステップS09)。
[Operation]
First, as in the first embodiment, face detection processing is executed on the acquired preview image (step S01) (step S05, etc.), and a face tracking frame is synthesized with the detected face portion (step S08). . At this time, focus processing is performed on the detected face portion (step S12). Thereafter, a preview image is displayed (step S09).

続いて、後続するフレームに対して、追跡対象とされた顔部分の追跡処理が実行されるが(ステップS03等)、この追跡処理後にも、追跡された顔部分の位置に対してフォーカス動作が実行される(ステップS12)。つまり、顔検出・追跡制御処理部22にて、フレーム毎に顔検出及び追跡処理が実行された後に、画像取得処理部21を介してカメラ制御部12にフォーカス指令が出され、カメラ制御部12等によりフォーカス処理が実行される。   Subsequently, the tracking process of the face portion that is the tracking target is executed for the subsequent frame (step S03 and the like). After this tracking process, the focus operation is performed on the position of the tracked face portion. It is executed (step S12). That is, after the face detection / tracking control processing unit 22 performs face detection and tracking processing for each frame, a focus command is issued to the camera control unit 12 via the image acquisition processing unit 21, and the camera control unit 12. The focus process is executed by the above.

その後、シャッターキーが押下されると(ステップS10)、既に追跡対称に対するフォーカスが行われているため、すぐに画像取得処理を行い、画像の保存を行う(ステップS13)。   Thereafter, when the shutter key is pressed (step S10), since the focus on the tracking symmetry has already been performed, the image acquisition process is performed immediately and the image is stored (step S13).

これにより、撮像処理時にフォーカス処理を実行する必要がないため、撮影指令から撮像処理までの処理時間の短縮化を図ることができる。従って、シャッター押下から画像取得までのタイムラグを少なくすることができ、シャッターチャンスを逃すことが抑制されうる。   Thereby, since it is not necessary to perform the focus process during the imaging process, it is possible to shorten the processing time from the imaging command to the imaging process. Therefore, the time lag from the shutter pressing to the image acquisition can be reduced, and missed shutter chances can be suppressed.

本発明は、デジタルカメラ本体として構成したり、あるいは、携帯電話機などの電子機器に実装することができ、産業上の利用可能性を有する。   The present invention can be configured as a digital camera body or mounted on an electronic device such as a mobile phone, and has industrial applicability.

携帯電話機の外観を示す図である。It is a figure which shows the external appearance of a mobile telephone. 携帯電話機に装備された撮像装置の構成を示す機能ブロック図である。It is a functional block diagram which shows the structure of the imaging device with which the mobile telephone was equipped. 実施例1における撮像装置の動作を示すフローチャートである。3 is a flowchart illustrating an operation of the imaging apparatus according to the first exemplary embodiment. プレビュー画面の一例を示す図である。It is a figure which shows an example of a preview screen. 実施例2における撮像装置の動作を示すフローチャートである。6 is a flowchart illustrating the operation of the imaging apparatus according to the second embodiment. 実施例3における撮像装置の動作を示すフローチャートである。10 is a flowchart illustrating the operation of the imaging apparatus according to the third embodiment.

符号の説明Explanation of symbols

1 携帯電話機
11 カメラ部
12 カメラ制御部
13 キー操作部
14 キー入力制御部
15 表示部
16 表示制御部
20 演算装置
21 画像取得処理部
22 顔検出・追跡制御処理部
23 画像表示処理部
24 データ保存処理部
30 記憶装置
31 画像記憶部
A,B ユーザ
C 画像中心位置
R 顔検出枠
DESCRIPTION OF SYMBOLS 1 Cellular phone 11 Camera part 12 Camera control part 13 Key operation part 14 Key input control part 15 Display part 16 Display control part 20 Arithmetic device 21 Image acquisition process part 22 Face detection / tracking control process part 23 Image display process part 24 Data storage Processing unit 30 Storage device 31 Image storage unit A, B User C Image center position R Face detection frame

Claims (16)

撮影範囲のフレーム画像データを取得するフレーム画像取得手段と、
取得した前記フレーム画像データに基づいて人物部分を検出する人物検出手段と、
検出された前記人物部分を後続する他のフレーム画像データ上にて追跡する追跡手段と、
前記人物部分に焦点を合わせるフォーカス手段と、
撮影指令の入力を受け付けて、前記フォーカス手段にて前記人物部分に焦点が合わせられた状態で撮像処理を行う撮像手段と、を備えた撮像装置であって、
前記人物検出手段は、撮影範囲のうち予め設定された位置に最も近い1つの人物部分を検出する、
ことを特徴とする撮像装置。
Frame image acquisition means for acquiring frame image data of the shooting range;
Person detecting means for detecting a person portion based on the acquired frame image data;
Tracking means for tracking the detected person portion on other subsequent frame image data;
Focusing means for focusing on the person part;
An imaging device that receives an input of a shooting command and performs an imaging process in a state where the focus unit is focused on the person part,
The person detecting means detects one person part closest to a preset position in the photographing range;
An imaging apparatus characterized by that.
前記人物検出手段は、撮影範囲の中心位置から最も近い1つの人物部分を検出する、
ことを特徴とする請求項1記載の撮像装置。
The person detecting means detects one person part closest to the center position of the shooting range;
The imaging apparatus according to claim 1.
前記人物検出手段に対して人物部分の再検出指令を入力する再検出指令手段を備えると共に、
前記人物検出手段は、前記再検出指令に応じて前記フレーム画像データに基づいて人物部分の再検出を行う、
ことを特徴とする請求項1又は2記載の撮像装置。
Re-detection command means for inputting a re-detection command of the person portion to the person detection means,
The person detecting means performs redetection of the person portion based on the frame image data in response to the redetection command;
The imaging apparatus according to claim 1 or 2, wherein
前記人物検出手段は、一定の時間間隔にて前記フレーム画像に基づいて人物部分の検出を行う、
ことを特徴とする請求項1又は2記載の撮像装置。
The person detecting means detects a person part based on the frame image at a constant time interval;
The imaging apparatus according to claim 1 or 2, wherein
前記人物検出手段に対して人物部分の検出停止指令を入力する検出停止指令手段を備えると共に、
前記人物検出手段は、前記検出停止指令に応じて人物部分の検出処理を停止する、
ことを特徴とする請求項4記載の撮像装置。
A detection stop command means for inputting a detection stop command for the person portion to the person detection means;
The person detecting means stops the detection process of the person portion in response to the detection stop command;
The imaging apparatus according to claim 4.
前記フォーカス手段は、前記撮影指令の入力を受け付けたときに作動する、
ことを特徴とする請求項1,2,3,4又は5記載の撮像装置。
The focusing means operates when receiving an input of the shooting command;
The imaging apparatus according to claim 1, 2, 3, 4 or 5.
前記フォーカス手段は、人物部分の検出処理後、かつ/あるいは、追跡処理後に作動する、
ことを特徴とする請求項1,2,3,4又は5記載の撮像装置。
The focusing means operates after the human part detection process and / or after the tracking process,
The imaging apparatus according to claim 1, 2, 3, 4 or 5.
請求項1乃至7記載の撮像装置を備えた、ことを特徴とする携帯型電子機器。   A portable electronic device comprising the imaging device according to claim 1. 所定の範囲の画像を撮像する撮像装置の制御部に、
撮影範囲のフレーム画像データを取得するフレーム画像取得手段と、
取得した前記フレーム画像データに基づいて人物部分を検出する人物検出手段と、
検出された前記人物部分を後続する他のフレーム画像データ上にて追跡する追跡手段と、
撮影指令の入力を受け付けて、前記人物部分に焦点が合わせられた状態で撮像処理を行う撮像手段と、
を実現させるためのプログラムであって、
前記人物検出手段は、撮影範囲のうち予め設定された位置に最も近い1つの人物部分を検出する、
ことを特徴とするプログラム。
In the control unit of the imaging device that captures an image of a predetermined range,
Frame image acquisition means for acquiring frame image data of the shooting range;
Person detecting means for detecting a person portion based on the acquired frame image data;
Tracking means for tracking the detected person portion on other subsequent frame image data;
An imaging unit that receives an input of a shooting command and performs an imaging process in a state in which the person portion is focused;
Is a program for realizing
The person detecting means detects one person part closest to a preset position in the photographing range;
A program characterized by that.
撮像装置にて所定範囲の画像を撮像する方法であって、
撮影範囲のフレーム画像データを取得するフレーム画像取得工程と、
取得した前記フレーム画像データに基づいて人物部分を検出する人物検出工程と、
検出された前記人物部分を後続する他のフレーム画像データ上にて追跡する追跡工程と、
撮影指令の入力を受け付けて、前記人物部分に焦点が合わせられた状態で撮像処理を行う撮像工程と、を有し、
前記人物検出工程は、撮影範囲のうち予め設定された位置に最も近い1つの人物部分を検出する、
ことを特徴とする撮像方法。
A method of capturing an image of a predetermined range with an imaging device,
A frame image acquisition step of acquiring frame image data of the shooting range;
A person detection step of detecting a person portion based on the acquired frame image data;
A tracking step of tracking the detected person portion on other subsequent frame image data;
Receiving an input of a shooting command, and performing an imaging process in a state in which the person portion is focused,
The person detection step detects one person part closest to a preset position in the photographing range.
An imaging method characterized by the above.
前記人物検出工程は、撮影範囲の中心位置から最も近い1つの人物部分を検出する、
ことを特徴とする請求項10記載の撮像方法。
The person detecting step detects one person portion closest to the center position of the shooting range.
The imaging method according to claim 10.
前記人物検出工程は、人物部分の再検出指令を受け付けたときに前記フレーム画像データに基づいて人物部分の再検出を行う、
ことを特徴とする請求項10又は11記載の撮像方法。
The person detection step performs redetection of the person part based on the frame image data when a re-detection instruction for the person part is received.
12. The imaging method according to claim 10 or 11, wherein:
前記人物検出工程は、一定の時間間隔にて前記フレーム画像に基づいて人物部分の検出を行う、
ことを特徴とする請求項10又は11記載の撮像方法。
The person detecting step detects a person part based on the frame image at a constant time interval.
12. The imaging method according to claim 10 or 11, wherein:
前記人物検出工程は、人物部分の検出停止指令の入力を受け付けたときに人物部分の検出処理を停止する、
ことを特徴とする請求項13記載の撮像方法。
The person detection step stops the detection process of the person part when receiving the input of the stop detection command of the person part;
The imaging method according to claim 13.
前記撮像工程は、撮影指令の入力を受け付けたときに前記人物部分に焦点を合わせて撮像する、
ことを特徴とする請求項10,11,12,13又は14記載の撮像方法。
The imaging step is to focus and image the person portion when receiving an input of a shooting command,
15. The imaging method according to claim 10, 11, 12, 13, or 14.
前記人物検出工程は前記人物部分を検出した後に、かつ/あるいは、前記追跡工程は前記人物部分を追跡した後に、前記人物部分に焦点を合わせる、
ことを特徴とする請求項10,11,12,13又は14記載の撮像方法。
After the person detecting step detects the person part and / or after the tracking step tracks the person part, the person part is focused;
15. The imaging method according to claim 10, 11, 12, 13, or 14.
JP2006278262A 2006-10-12 2006-10-12 Imaging apparatus and method, and program Expired - Fee Related JP4876836B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2006278262A JP4876836B2 (en) 2006-10-12 2006-10-12 Imaging apparatus and method, and program

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2006278262A JP4876836B2 (en) 2006-10-12 2006-10-12 Imaging apparatus and method, and program

Publications (2)

Publication Number Publication Date
JP2008098954A true JP2008098954A (en) 2008-04-24
JP4876836B2 JP4876836B2 (en) 2012-02-15

Family

ID=39381341

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2006278262A Expired - Fee Related JP4876836B2 (en) 2006-10-12 2006-10-12 Imaging apparatus and method, and program

Country Status (1)

Country Link
JP (1) JP4876836B2 (en)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008164839A (en) * 2006-12-27 2008-07-17 Fujifilm Corp Photographing apparatus and focusing method
JP2011015201A (en) * 2009-07-02 2011-01-20 Nikon Corp Electronic camera
JP2014096817A (en) * 2013-12-20 2014-05-22 Nikon Corp Focus adjustment device and camera
JP2018197806A (en) * 2017-05-24 2018-12-13 キヤノン株式会社 Display control unit and imaging apparatus
WO2020080140A1 (en) * 2018-10-19 2020-04-23 ソニー株式会社 Sensor device and signal processing method
JP7368523B2 (en) 2022-03-14 2023-10-24 レノボ・シンガポール・プライベート・リミテッド Information processing device and control method

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2022011099A (en) * 2020-06-29 2022-01-17 キヤノン株式会社 Control device, method, program, and storage medium

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003189273A (en) * 2001-12-20 2003-07-04 Sharp Corp Speaker identifying device and video conference system provided with speaker identifying device
JP2005086682A (en) * 2003-09-10 2005-03-31 Omron Corp Object decision device
JP2005102175A (en) * 2003-08-25 2005-04-14 Fuji Photo Film Co Ltd Digital camera
JP2006211139A (en) * 2005-01-26 2006-08-10 Sanyo Electric Co Ltd Imaging apparatus

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003189273A (en) * 2001-12-20 2003-07-04 Sharp Corp Speaker identifying device and video conference system provided with speaker identifying device
JP2005102175A (en) * 2003-08-25 2005-04-14 Fuji Photo Film Co Ltd Digital camera
JP2005086682A (en) * 2003-09-10 2005-03-31 Omron Corp Object decision device
JP2006211139A (en) * 2005-01-26 2006-08-10 Sanyo Electric Co Ltd Imaging apparatus

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008164839A (en) * 2006-12-27 2008-07-17 Fujifilm Corp Photographing apparatus and focusing method
JP4725802B2 (en) * 2006-12-27 2011-07-13 富士フイルム株式会社 Imaging apparatus, focusing method, and focusing program
JP2011015201A (en) * 2009-07-02 2011-01-20 Nikon Corp Electronic camera
JP2014096817A (en) * 2013-12-20 2014-05-22 Nikon Corp Focus adjustment device and camera
JP2018197806A (en) * 2017-05-24 2018-12-13 キヤノン株式会社 Display control unit and imaging apparatus
US10638049B2 (en) 2017-05-24 2020-04-28 Canon Kabushiki Kaisha Display control apparatus and imaging apparatus
WO2020080140A1 (en) * 2018-10-19 2020-04-23 ソニー株式会社 Sensor device and signal processing method
US11495008B2 (en) 2018-10-19 2022-11-08 Sony Group Corporation Sensor device and signal processing method
US11785183B2 (en) 2018-10-19 2023-10-10 Sony Group Corporation Sensor device and signal processing method
JP7368523B2 (en) 2022-03-14 2023-10-24 レノボ・シンガポール・プライベート・リミテッド Information processing device and control method

Also Published As

Publication number Publication date
JP4876836B2 (en) 2012-02-15

Similar Documents

Publication Publication Date Title
US10652461B2 (en) Imaging apparatus, imaging method, and program
US10116864B2 (en) Imaging apparatus, imaging display control method, and program
US10270975B2 (en) Preview image display method, apparatus and storage medium
JP4876836B2 (en) Imaging apparatus and method, and program
KR101595124B1 (en) Method for generating combined images from images taken separately with the same or a similar background and apparatus thereof
JP5753323B2 (en) Imaging apparatus and image display method
TW200808044A (en) Imaging apparatus and computer readable recording medium
JP2006140695A (en) Imaging apparatus
KR101248721B1 (en) Device with camera
US9628700B2 (en) Imaging apparatus, imaging assist method, and non-transitory recoding medium storing an imaging assist program
JP2005175684A (en) Digital camera, and image acquisition method for digital camera
JP6598028B2 (en) Imaging device
JP2013183306A (en) Imaging apparatus, imaging method, and program
JP5233727B2 (en) Electronic camera
JP2009171428A (en) Control method and program for digital camera apparatus and electronic zoom
JP2010041365A (en) Imaging apparatus
JP2010081357A (en) Image processing apparatus, image processing method, image processing program, and imaging device
JP2009212802A (en) Imaging apparatus with composition assisting function, and composition assisting method of the same imaging apparatus
JP5429588B2 (en) Imaging apparatus and imaging method
JP6700693B2 (en) Imaging device, control method thereof, program, and storage medium
WO2011052120A1 (en) Imaging control device and imaging control method
JP2009212803A (en) Imaging apparatus with composition assisting function, and composition assisting method of the same imaging apparatus
JP3923056B2 (en) Camera phone
JP2014107748A (en) Imaging apparatus, control method thereof, and program
JP5839857B2 (en) Imaging apparatus, imaging method, and imaging program

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20090924

RD03 Notification of appointment of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7423

Effective date: 20100604

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20110119

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20110125

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20110324

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20110712

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20110818

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20111101

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20111114

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20141209

Year of fee payment: 3

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313113

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees