JP2007104235A - Imaging apparatus, control method thereof, and computer program - Google Patents

Imaging apparatus, control method thereof, and computer program Download PDF

Info

Publication number
JP2007104235A
JP2007104235A JP2005290748A JP2005290748A JP2007104235A JP 2007104235 A JP2007104235 A JP 2007104235A JP 2005290748 A JP2005290748 A JP 2005290748A JP 2005290748 A JP2005290748 A JP 2005290748A JP 2007104235 A JP2007104235 A JP 2007104235A
Authority
JP
Japan
Prior art keywords
control
target subject
camera
imaging apparatus
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2005290748A
Other languages
Japanese (ja)
Other versions
JP4730044B2 (en
Inventor
Mamoru Sugiura
守 杉浦
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Priority to JP2005290748A priority Critical patent/JP4730044B2/en
Publication of JP2007104235A publication Critical patent/JP2007104235A/en
Application granted granted Critical
Publication of JP4730044B2 publication Critical patent/JP4730044B2/en
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Abstract

<P>PROBLEM TO BE SOLVED: To provide a configuration realizing high-quality image photographing by photographing control adaptive to a specific subject. <P>SOLUTION: The imaging apparatus is so configured as to perform photographing control adaptive to a specific subject such as the face of a person. Even if the subject temporarily disappears from a photographing picture due to obstruction such as a wall, the photographing control adapted to the specific subject such as the face of a person can be continued for a specified period. So, when the person can be photographed again, photographing can be continued with an existing control parameter. Thus, no inconsistent or blurred image is generated due to switching of control states within a short time, for stable and high-quality image photographing. <P>COPYRIGHT: (C)2007,JPO&INPIT

Description

本発明は、撮像装置、および撮像装置制御方法、並びにコンピュータ・プログラムに関する。さらに詳細には、ビデオカメラなどの撮像装置を利用して被写体画像を撮影する際、人物の顔など撮影対象とする目的被写体に合わせた制御を実行し、ふらつきのない撮影画像を得る撮像装置、および撮像装置制御方法、並びにコンピュータ・プログラムに関する。   The present invention relates to an imaging apparatus, an imaging apparatus control method, and a computer program. More specifically, when shooting a subject image using an imaging device such as a video camera, an imaging device that performs control in accordance with a target subject to be shot, such as a person's face, and obtains a shot image without wobbling, The present invention relates to an imaging apparatus control method and a computer program.

近年のデータ処理技術の進歩や、ハードウェアにおける計算処理能力の向上によって、ビデオカメラなどの撮像装置においても、より高度な制御が可能となってきている。例えば、ビデオカメラなどの撮像装置において人物を目的とした撮影を行なう場合、被写体となる人物の顔を撮影画像から検出し、検出した顔画像に合わせて、各種の撮影パラメータ、画像処理パラメータの制御を行って、高品質な撮影データを取得する構成が提案されている。   Due to recent advances in data processing technology and improvements in calculation processing capability in hardware, it has become possible to perform more advanced control even in imaging devices such as video cameras. For example, when photographing an object such as a video camera with a video camera or the like, a person's face as a subject is detected from the photographed image, and various photographing parameters and image processing parameters are controlled in accordance with the detected face image. Has been proposed to obtain high-quality image data.

例えば、特許文献1には、撮影画像から特定色の被写体を検出することによる顔検出方法が開示されている。また、特許文献2には、例えば人物の顔など特定色の被写体が画面の一定領域を占めるようズーム制御を行う方法が提案されている。   For example, Patent Document 1 discloses a face detection method by detecting a subject of a specific color from a captured image. Further, Patent Document 2 proposes a method of performing zoom control so that a subject of a specific color such as a human face occupies a certain area of the screen.

画像処理技術やハードウェアの進歩によって検出速度が向上した結果、撮像装置によって撮影された被写体の顔部分を正確に検出し、検出画像を持つ被写体を自動的に追尾する制御も可能となっている。しかし、被写体を追尾する場合、例えば追尾被写体として特定した顔画像が一時的に例えば壁や、前を横切る車などの移動物体によって隠蔽されると被写体検出が途切れてしまうことになり、再度、被写体検出処理を実行しなければならない。なお、遮蔽物によって目的被写体が隠蔽された場合の被写体検出方法については、例えば特許文献3に記載がある。   As a result of improved detection speed due to advances in image processing technology and hardware, it is also possible to accurately detect the face portion of the subject photographed by the imaging device and automatically track the subject having the detected image. . However, when tracking a subject, for example, if the face image specified as the tracking subject is temporarily concealed by a moving object such as a wall or a car crossing the front, the subject detection will be interrupted, and again the subject A detection process must be performed. For example, Patent Document 3 describes an object detection method in a case where a target object is concealed by a shield.

目的被写体が一時的に例えば壁や、前を横切る車などの移動物体によって隠蔽された場合の問題点として次の問題点がある。遮蔽物による遮蔽が発生する前には、例えば目的被写体である人物顔画像の撮影に最適な撮影パラメータ、画像処理パラメータが設定され、その設定パラメータによって制御が行なわれて撮影処理が実行される。しかし、遮蔽物によって、被写体の顔画像が隠蔽された瞬間から、設定パラメータは、目的被写体の顔画像に対応するパラメータから遮蔽物に適応するように変更される。その後、目的被写体の顔画像が遮蔽されなくなると、再度、顔検出が行われて、検出された以後は、目的被写体としての人物顔画像の撮影に最適なパラメータに再設定されて制御が行なわれ撮影されることになる。   There are the following problems when the target subject is temporarily hidden by a moving object such as a wall or a car crossing the front. Before the shielding by the shielding object occurs, for example, photographing parameters and image processing parameters that are optimal for photographing a human face image that is the target subject are set, and the photographing processing is executed under the control of the setting parameters. However, from the moment the face image of the subject is concealed by the shielding object, the setting parameter is changed from the parameter corresponding to the face image of the target subject so as to adapt to the shielding object. After that, when the face image of the target subject is not shielded, face detection is performed again. After the detection, the parameters are reset to the optimum parameters for photographing the human face image as the target subject, and control is performed. Will be filmed.

このように、パラメータ変更が短時間に実行され制御状態が急激に変更されると、撮影画像データの品質に悪影響を及ぼす。例えば撮影画像としてのビデオ画像データを構成する数フレーム毎にフォーカス、露出、画質が異なるなど、撮影画像が不均一なふらつきのある低品質な画像データとなってしまうことがある。
特開平06−121332号公報 特開平06−217187号公報 特開2004−258925号公報
As described above, when the parameter change is executed in a short time and the control state is rapidly changed, the quality of the captured image data is adversely affected. For example, the photographed image may be low-quality image data with nonuniform wobble, such as different focus, exposure, and image quality for every several frames constituting the video image data as the photographed image.
Japanese Patent Laid-Open No. 06-121332 Japanese Patent Laid-Open No. 06-217187 JP 2004-258925 A

本発明は、上述の問題点に鑑みてなされたものであり、人物の顔などの目的被写体を特定し、目的被写体に合わせた制御を行う撮像装置において、目的被写体が一次的に遮蔽物によって隠蔽された場合においても、予め定めた規定時間以内は、カメラ制御パラメータの変更を行なうことなく隠蔽前の制御状態での撮影を継続させて、フレーム間での画像、画質ばらつきを発生させない高品質な画像を撮影することを可能とした撮像装置、および撮像装置制御方法、並びにコンピュータ・プログラムを提供することを目的とする。   The present invention has been made in view of the above-described problems, and in an imaging apparatus that identifies a target subject such as a human face and performs control according to the target subject, the target subject is primarily concealed by a shield. Even in such a case, high-quality images that do not cause variations in image and image quality between frames can be maintained within a predetermined time period without changing the camera control parameters and continuing shooting in the control state before concealment. An object of the present invention is to provide an imaging apparatus, an imaging apparatus control method, and a computer program that can capture an image.

本発明の第1の側面は、
撮像装置であり、
撮影画像から撮影目的被写体を検出する目的被写体検出部と、
前記目的被写体検出部の検出情報を入力し、目的被写体に適応する制御パラメータを算出し、該制御パラメータに基づくカメラ制御を実行するカメラ制御部と、
前記カメラ制御部の制御情報に基づく制御が実行されるカメラ光学系またはカメラ信号処理部を有し、
前記カメラ制御部は、
前記目的被写体検出部の検出情報に基づいて撮影画像中に目的被写体が検出されない場合、予め定めた規定時間内においては、前記目的被写体に対応して設定済みの制御パラメータによる制御を継続して実行する構成であることを特徴とする撮像装置にある。
The first aspect of the present invention is:
An imaging device,
A target subject detection unit for detecting a target subject for photographing from the photographed image;
A camera control unit that inputs detection information of the target subject detection unit, calculates a control parameter adapted to the target subject, and executes camera control based on the control parameter;
A camera optical system or a camera signal processing unit that executes control based on control information of the camera control unit;
The camera control unit
When the target subject is not detected in the captured image based on the detection information of the target subject detection unit, the control using the control parameter set for the target subject is continuously executed within a predetermined time. An imaging apparatus is characterized in that the configuration is such that

さらに、本発明の撮像装置の一実施態様において、前記カメラ制御部は、前記目的被写体に適応する制御パラメータとして、露出制御、焦点制御、または焦点距離制御の少なくともいずれかの制御パラメータを算出し、該算出パラメータに基づいて、前記カメラ光学系の制御を実行する構成であることを特徴とする。   Furthermore, in one embodiment of the imaging apparatus of the present invention, the camera control unit calculates at least one of exposure control, focus control, and focal length control as a control parameter adapted to the target subject, The camera optical system is controlled based on the calculated parameters.

さらに、本発明の撮像装置の一実施態様において、前記カメラ制御部は、前記目的被写体に適応する制御パラメータとして、カメラ信号処理に適用する信号処理パラメータを算出する構成であり、前記カメラ信号処理部は、前記信号処理パラメータに基づくカメラ信号処理を実行する構成であることを特徴とする。   Furthermore, in an embodiment of the imaging apparatus of the present invention, the camera control unit is configured to calculate a signal processing parameter applied to camera signal processing as a control parameter adapted to the target subject, and the camera signal processing unit Is configured to execute camera signal processing based on the signal processing parameters.

さらに、本発明の撮像装置の一実施態様において、前記カメラ制御部は、前記目的被写体検出部の検出情報に基づいて撮影画像中に目的被写体が検出されない状態が予め定めた規定時間に達した場合、前記目的被写体に適応する制御パラメータによる制御を停止し、特定の目的被写体を設定しない通常撮影モードに切り替える処理を実行する構成であることを特徴とする。   Furthermore, in one embodiment of the imaging apparatus according to the present invention, the camera control unit may detect that the target object is not detected in the captured image based on the detection information of the target object detection unit when a predetermined time is reached. The control by the control parameter adapted to the target subject is stopped, and the process of switching to the normal photographing mode in which the specific target subject is not set is executed.

さらに、本発明の撮像装置の一実施態様において、前記カメラ制御部は、前記目的被写体に対応して設定された制御パラメータによる制御中は、撮影画像を表示するモニタ画面に、特定目的被写体に対応する制御が実行中であることを示す制御状態表示処理を実行する構成であることを特徴とする。   Furthermore, in an embodiment of the imaging apparatus of the present invention, the camera control unit corresponds to a specific target subject on a monitor screen that displays a photographed image during control by a control parameter set corresponding to the target subject. It is the structure which performs the control state display process which shows that control to perform is being performed.

さらに、本発明の撮像装置の一実施態様において、前記目的被写体検出部は、撮影画像から人物の顔画像を撮影目的被写体として検出する処理を実行する構成であり、前記カメラ制御部は、目的被写体としての人物の顔に適応する制御パラメータを算出し、該制御パラメータに基づくカメラ制御を実行する構成であることを特徴とする。   Furthermore, in an embodiment of the imaging apparatus of the present invention, the target subject detection unit is configured to execute a process of detecting a human face image as a shooting target subject from a captured image, and the camera control unit includes the target subject The control parameter adapted to the person's face is calculated, and camera control based on the control parameter is executed.

さらに、本発明の第2の側面は、
撮像装置制御方法であり、
撮影画像から撮影目的被写体を検出する目的被写体検出ステップと、
前記目的被写体検出ステップにおける検出情報を入力し、目的被写体に適応する制御パラメータを算出する制御パラメータ算出ステップと、
前記制御パラメータに基づいて、カメラ光学系またはカメラ信号処理部の少なくともいずれかを制御するカメラ制御ステップを有し、
前記カメラ制御ステップは、
前記目的被写体検出ステップにおける検出情報に基づいて撮影画像中に目的被写体が検出されない場合、予め定めた規定時間内においては、前記目的被写体に対応して設定済みの制御パラメータによる制御を継続して実行することを特徴とする撮像装置制御方法にある。
Furthermore, the second aspect of the present invention provides
An imaging device control method,
A target object detection step for detecting a shooting target object from the captured image;
A control parameter calculation step of inputting detection information in the target subject detection step and calculating a control parameter adapted to the target subject;
A camera control step of controlling at least one of a camera optical system and a camera signal processing unit based on the control parameter;
The camera control step includes
When the target subject is not detected in the captured image based on the detection information in the target subject detection step, the control using the control parameter set for the target subject is continuously executed within a predetermined time. The imaging apparatus control method is characterized in that:

さらに、本発明の撮像装置制御方法の一実施態様において、前記制御パラメータ算出ステップは、前記目的被写体に適応する制御パラメータとして、露出制御、焦点制御、または焦点距離制御の少なくともいずれかの制御パラメータを算出するステップであり、前記カメラ制御ステップは、前記算出パラメータに基づいて、前記カメラ光学系の制御を実行するステップであることを特徴とする。   Furthermore, in one embodiment of the imaging apparatus control method of the present invention, the control parameter calculation step includes at least one of exposure control, focus control, and focal length control as a control parameter adapted to the target subject. The camera control step is a step of executing control of the camera optical system based on the calculation parameter.

さらに、本発明の撮像装置制御方法の一実施態様において、前記制御パラメータ算出ステップは、前記目的被写体に適応する制御パラメータとして、カメラ信号処理に適用する信号処理パラメータを算出するステップであり、前記カメラ制御ステップは、前記信号処理パラメータに基づくカメラ信号処理を実行するステップであることを特徴とする。   Furthermore, in an embodiment of the imaging apparatus control method of the present invention, the control parameter calculating step is a step of calculating a signal processing parameter applied to camera signal processing as a control parameter adapted to the target subject, The control step is a step of executing camera signal processing based on the signal processing parameters.

さらに、本発明の撮像装置制御方法の一実施態様において、前記撮像装置制御方法は、さらに、前記目的被写体検出部の検出情報に基づいて撮影画像中に目的被写体が検出されない状態が予め定めた規定時間に達した場合、前記目的被写体に適応する制御パラメータによる制御を停止し、特定の目的被写体を設定しない通常撮影モードに切り替える処理を実行するステップを有することを特徴とする。   Furthermore, in an embodiment of the imaging device control method of the present invention, the imaging device control method further includes a pre-defined rule that a target subject is not detected in a captured image based on detection information of the target subject detection unit. When the time has been reached, the method has a step of executing a process of stopping the control by the control parameter adapted to the target subject and switching to the normal photographing mode in which the specific target subject is not set.

さらに、本発明の撮像装置制御方法の一実施態様において、前記撮像装置制御方法は、さらに、前記目的被写体に対応して設定された制御パラメータによる制御中は、撮影画像を表示するモニタ画面に、特定目的被写体に対応する制御が実行中であることを示す制御状態表示処理を実行するステップを有することを特徴とする。   Furthermore, in an embodiment of the imaging apparatus control method of the present invention, the imaging apparatus control method further includes a monitor screen for displaying a captured image during control by a control parameter set corresponding to the target subject. The method includes a step of executing a control state display process indicating that the control corresponding to the specific target subject is being executed.

さらに、本発明の撮像装置制御方法の一実施態様において、前記目的被写体検出ステップは、撮影画像から人物の顔画像を撮影目的被写体として検出する処理を実行するステップであり、前記制御パラメータ算出ステップは、目的被写体としての人物の顔に適応する制御パラメータを算出するステップであることを特徴とする。   Furthermore, in one embodiment of the imaging apparatus control method of the present invention, the target subject detection step is a step of executing processing for detecting a human face image as a shooting target subject from the captured image, and the control parameter calculating step is And a step of calculating a control parameter adapted to the face of the person as the target subject.

さらに、本発明の第3の側面は、
撮像装置において撮像装置制御処理を実行させるコンピュータ・プログラムであり、
撮影画像から撮影目的被写体を検出する目的被写体検出ステップと、
前記目的被写体検出ステップにおける検出情報を入力し、目的被写体に適応する制御パラメータを算出する制御パラメータ算出ステップと、
前記制御パラメータに基づいて、カメラ光学系またはカメラ信号処理部の少なくともいずれかを制御するカメラ制御ステップを有し、
前記カメラ制御ステップは、
前記目的被写体検出ステップにおける検出情報に基づいて撮影画像中に目的被写体が検出されない場合、予め定めた規定時間内においては、前記目的被写体に対応して設定済みの制御パラメータによる制御を継続して実行することを特徴とするコンピュータ・プログラムにある。
Furthermore, the third aspect of the present invention provides
A computer program for executing an imaging device control process in an imaging device,
A target object detection step for detecting a shooting target object from the captured image;
A control parameter calculation step of inputting detection information in the target subject detection step and calculating a control parameter adapted to the target subject;
A camera control step of controlling at least one of a camera optical system or a camera signal processing unit based on the control parameter;
The camera control step includes
When the target subject is not detected in the captured image based on the detection information in the target subject detection step, the control using the control parameter set for the target subject is continuously executed within a predetermined time. A computer program characterized by

なお、本発明のコンピュータ・プログラムは、例えば、様々なプログラム・コードを実行可能な汎用コンピュータ・システムに対して、コンピュータ可読な形式で提供する記憶媒体、通信媒体、例えば、CDやFD、MOなどの記憶媒体、あるいは、ネットワークなどの通信媒体によって提供可能なコンピュータ・プログラムである。このようなプログラムをコンピュータ可読な形式で提供することにより、コンピュータ・システム上でプログラムに応じた処理が実現される。   The computer program of the present invention is, for example, a storage medium or communication medium provided in a computer-readable format to a general-purpose computer system capable of executing various program codes, such as a CD, FD, MO, etc. Or a computer program that can be provided by a communication medium such as a network. By providing such a program in a computer-readable format, processing corresponding to the program is realized on the computer system.

本発明のさらに他の目的、特徴や利点は、後述する本発明の実施例や添付する図面に基づく、より詳細な説明によって明らかになるであろう。なお、本明細書においてシステムとは、複数の装置の論理的集合構成であり、各構成の装置が同一筐体内にあるものには限らない。   Other objects, features, and advantages of the present invention will become apparent from a more detailed description based on embodiments of the present invention described later and the accompanying drawings. In this specification, the system is a logical set configuration of a plurality of devices, and is not limited to one in which the devices of each configuration are in the same casing.

本発明の一実施例構成によれば、例えば人物の顔などの特定の撮影目的被写体に適応させた撮影制御を実行する撮像装置において、撮影目的被写体が壁などの遮蔽物によって、一時的に撮影画像から消えた場合においても、人物の顔などの特定の撮影目的被写体に適応させた撮影制御を、そのまま一定時間継続させて行なう構成としたので、人物が再び撮影可能となった場合に、そのままの制御パラメータによって撮影を継続することが可能となり、短時間での制御状態の切り替えによって不均一なふらついた画像が生成されることなく、安定した高品質な画像の撮影が実現される。   According to the configuration of an embodiment of the present invention, in an imaging apparatus that executes shooting control adapted to a specific shooting target subject such as a human face, the shooting target subject is temporarily shot by a shield such as a wall. Even if it disappears from the image, the shooting control adapted to the specific shooting target subject such as the person's face is configured to continue for a certain period of time. It is possible to continue shooting with this control parameter, and stable high-quality image shooting can be realized without generating a nonuniform and non-uniform image by switching the control state in a short time.

以下、図面を参照しながら、本発明の撮像装置、および撮像装置制御方法、並びにコンピュータ・プログラムの詳細について説明する。   Hereinafter, details of an imaging apparatus, an imaging apparatus control method, and a computer program according to the present invention will be described with reference to the drawings.

まず、本発明の撮像装置の構成例について図1を参照して説明する。レンズ等によって構成される光学系20を介して入射する被写体像は、露出駆動部21によって適切な露出制御のなされた入射光としてCCD等の撮像素子22に入力される。   First, a configuration example of the imaging apparatus of the present invention will be described with reference to FIG. A subject image incident through an optical system 20 composed of a lens or the like is input to an image sensor 22 such as a CCD as incident light that has been subjected to appropriate exposure control by an exposure driving unit 21.

撮像素子22は、被写体像に基づく光信号を電気信号に変換する光電変換処理を実行し、電気信号を出力する。撮像素子22における光電変換によって生成された電気信号はカメラ信号処理部23に入力される。カメラ信号処理部23は、様々な処理パラメータに基づく信号処理を実行して画像信号を生成する処理を実行する。   The image sensor 22 performs a photoelectric conversion process for converting an optical signal based on the subject image into an electrical signal, and outputs the electrical signal. An electrical signal generated by photoelectric conversion in the image sensor 22 is input to the camera signal processing unit 23. The camera signal processing unit 23 executes signal processing based on various processing parameters to generate an image signal.

カメラ信号処理部23は、撮像素子22における光電変換によって生成された電気信号に対して、例えば、リニアマトリクス処理、ホワイトバランス処理、γ補正処理などの処理を実行して画像信号を生成する。信号処理部の具体的構成については、図2を参照して後段で説明する。カメラ信号処理部23において生成された画像信号は、バッファメモリ24を介して画像処理部25に入力される。画像処理部25では、色調補正、輝度補正などの画像処理、ビデオ信号の生成、あるいはエンコード処理など、目的に応じた画像処理を実行し、その後、モニタ(EVF:Electric View Finder)への出力、あるいは記憶部への格納処理がなされる。   For example, the camera signal processing unit 23 performs processing such as linear matrix processing, white balance processing, and γ correction processing on the electrical signal generated by photoelectric conversion in the image sensor 22 to generate an image signal. A specific configuration of the signal processing unit will be described later with reference to FIG. The image signal generated in the camera signal processing unit 23 is input to the image processing unit 25 via the buffer memory 24. The image processing unit 25 executes image processing according to the purpose such as image processing such as tone correction and luminance correction, generation of a video signal, or encoding processing, and then outputs to a monitor (EVF: Electric View Finder), Alternatively, storage processing in the storage unit is performed.

カメラ信号処理部23は、さらにカメラ制御に必要な情報をカメラ制御部26に出力する。カメラ制御部26は、カメラ信号処理部23から入力する情報に基づいて、レンズドライバ27を介してモータ28,29を駆動して、レンズの位置制御による焦点制御や焦点距離制御を実行する。さらに、カメラ制御部26は、カメラ信号処理部23から入力する情報に基づいて、露出駆動部21を制御し露出制御を実行する。   The camera signal processing unit 23 further outputs information necessary for camera control to the camera control unit 26. The camera control unit 26 drives the motors 28 and 29 via the lens driver 27 based on the information input from the camera signal processing unit 23, and executes focus control and focal length control by lens position control. Further, the camera control unit 26 controls the exposure driving unit 21 based on information input from the camera signal processing unit 23 to perform exposure control.

カメラ信号処理部23の詳細構成例を、図2に示す。図1に示す撮像素子22における光電変換によって生成された電気信号はカメラ信号処理部23のI/F回路231に入力され、入力信号は、バス結合されたカメラ画像信号処理回路233において、信号処理が実行される。このカメラ画像信号処理回路233においては、撮像素子22における光電変換によって生成された電気信号に対して、例えば、リニアマトリクス処理、ホワイトバランス処理、γ補正処理等のカメラ信号処理を実行する。   A detailed configuration example of the camera signal processing unit 23 is shown in FIG. An electric signal generated by photoelectric conversion in the image sensor 22 shown in FIG. 1 is input to the I / F circuit 231 of the camera signal processing unit 23, and the input signal is signal-processed in the bus-coupled camera image signal processing circuit 233. Is executed. The camera image signal processing circuit 233 performs camera signal processing such as linear matrix processing, white balance processing, and γ correction processing on the electrical signal generated by photoelectric conversion in the image sensor 22.

撮像素子22における光電変換によって生成され、カメラ信号処理部23のI/F回路231を介して入力した電気信号は、検波回路232にも入力される。検波回路232は、入力信号の検波処理を行い、図1に示すカメラ制御部26に対して、I/F回路236を介して検波結果を出力する。   An electrical signal generated by photoelectric conversion in the image sensor 22 and input via the I / F circuit 231 of the camera signal processing unit 23 is also input to the detection circuit 232. The detection circuit 232 performs detection processing of the input signal, and outputs a detection result via the I / F circuit 236 to the camera control unit 26 shown in FIG.

カメラ制御部26は、検波回路232から入力する検波結果に基づいて、フォーカス制御パラメータ、および焦点制御パラメータ等のカメラ制御パラメータを算出する演算処理を行い、演算処理の結果、決定した制御パラメータに基づく制御を実行する。   The camera control unit 26 performs arithmetic processing for calculating camera control parameters such as a focus control parameter and a focus control parameter based on the detection result input from the detection circuit 232, and based on the control parameter determined as a result of the arithmetic processing. Execute control.

顔検出回路234は、カメラ画像信号処理回路233におけるカメラ画像信号処理の結果データとして出力される画像信号に基づいて、顔検出処理を実行する。検出結果は、I/F回路236を介してカメラ制御部26へ出力される。なお、顔検出回路234における画像データに基づく顔検出は、例えば撮影画像の色彩判定処理などの既存の技術によって実行される。顔検出回路234は、撮影画像フレーム毎に顔が検出されたか否かを判定し、顔が検出されたか否かを示すフレーム対応の顔検出状態情報は、I/F回路236を介してカメラ制御部26へ出力され、カメラ制御部26内のメモリ262(図3参照)に記録される。   The face detection circuit 234 executes face detection processing based on the image signal output as the result data of the camera image signal processing in the camera image signal processing circuit 233. The detection result is output to the camera control unit 26 via the I / F circuit 236. Note that face detection based on image data in the face detection circuit 234 is performed by an existing technique such as color determination processing of a captured image. The face detection circuit 234 determines whether or not a face has been detected for each captured image frame, and the frame-corresponding face detection state information indicating whether or not a face has been detected is controlled by the camera via the I / F circuit 236. Is output to the unit 26 and recorded in the memory 262 (see FIG. 3) in the camera control unit 26.

カメラ制御部26の構成および処理について、図3を参照して説明する。カメラ制御部26は、カメラ信号処理部23とのデータ入出力を行なうI/F回路261、顔検出状態情報や処理プログラムを格納するメモリ262、カメラ制御部26におけるデータ処理制御を実行する制御部263、カメラ光学系に対する制御信号出力用のI/F回路264、光学系パラメータの算出を行なう光学系パラメータ算出部265、信号処理パラメータを算出する信号処理パラメータ算出部266、顔検出フレームからの経過時間を計測するタイマ267を有する。   The configuration and processing of the camera control unit 26 will be described with reference to FIG. The camera control unit 26 includes an I / F circuit 261 that inputs and outputs data with the camera signal processing unit 23, a memory 262 that stores face detection state information and a processing program, and a control unit that performs data processing control in the camera control unit 26. 263, an I / F circuit 264 for outputting a control signal to the camera optical system, an optical system parameter calculation unit 265 that calculates an optical system parameter, a signal processing parameter calculation unit 266 that calculates a signal processing parameter, a process from a face detection frame A timer 267 for measuring time is included.

カメラ制御部26は、I/F回路261を介してカメラ信号処理部23の顔検出回路234からの顔検出情報を入力する。顔が検出されたか否かを示すフレーム対応の顔検出状態情報は、メモリ262に記録される。   The camera control unit 26 inputs face detection information from the face detection circuit 234 of the camera signal processing unit 23 via the I / F circuit 261. Frame-related face detection state information indicating whether or not a face has been detected is recorded in the memory 262.

さらに、光学系制御パラメータ算出部265は、検出された顔を撮影目的被写体として設定し、顔画像を被写体とした場合の焦点制御、露出制御、焦点距離制御パラメータを算出する。制御部263は、算出パラメータに基づく焦点制御、露出制御、焦点距離制御情報をI/F回路264を介してカメラ光学系へ出力し、制御処理を実行する。   Furthermore, the optical system control parameter calculation unit 265 sets the detected face as a photographing target subject, and calculates focus control, exposure control, and focal length control parameters when the face image is the subject. The control unit 263 outputs focus control, exposure control, and focal length control information based on the calculated parameters to the camera optical system via the I / F circuit 264, and executes control processing.

さらに、カメラ制御部26の信号処理パラメータ算出部266は、は、顔検出回路234からの顔検出情報に基づいて、カメラ画像信号処理回路233における信号処理に適用するパラメータ、例えば、カラーバランス処理、リニアマトリクス処理、ホワイトバランス処理、γ補正処理等のカメラ信号処理に適用するパラメータを、撮影画像に含まれる顔画像に適した処理パラメータとして算出し、制御部263は、算出した信号処理パラメータをI/F回路261を介して、カメラ信号処理部23のカメラ画像信号処理回路233に入力する。   Further, the signal processing parameter calculation unit 266 of the camera control unit 26 is based on the face detection information from the face detection circuit 234, parameters applied to the signal processing in the camera image signal processing circuit 233, for example, color balance processing, Parameters applied to camera signal processing such as linear matrix processing, white balance processing, and γ correction processing are calculated as processing parameters suitable for the face image included in the captured image, and the control unit 263 calculates the calculated signal processing parameters as I The signal is input to the camera image signal processing circuit 233 of the camera signal processing unit 23 via the / F circuit 261.

カメラ信号処理部23のカメラ画像信号処理回路233は、カメラ制御部26において算出されたパラメータに基づいて、例えば、カラーバランス処理、リニアマトリクス処理、ホワイトバランス処理、γ補正処理等のカメラ信号処理を行う。カメラ画像信号処理回路233における信号処理結果は、メモリI/F回路235を介して図1に示すバッファメモリ25に格納され、画像処理部25において画像処理が実行される。   The camera image signal processing circuit 233 of the camera signal processing unit 23 performs camera signal processing such as color balance processing, linear matrix processing, white balance processing, and γ correction processing based on the parameters calculated by the camera control unit 26. Do. The signal processing result in the camera image signal processing circuit 233 is stored in the buffer memory 25 shown in FIG. 1 via the memory I / F circuit 235, and the image processing unit 25 executes image processing.

本発明における撮像装置の撮像処理シーケンスについて、図4に示すフローチャートを参照して説明する。図4に示すフローチャートは、目的被写体を人物とし、人物の顔画像の撮影に最適な制御パラメータを設定して撮影を実行する顔検出モードにおける撮影シーケンスを説明するフローチャートであり、図3に示すカメラ制御部26の制御部263において、メモリ262に記録されたプログラムによって実行される処理である。   The imaging processing sequence of the imaging apparatus according to the present invention will be described with reference to the flowchart shown in FIG. The flowchart shown in FIG. 4 is a flowchart for explaining a shooting sequence in a face detection mode in which a target subject is a person and a control parameter optimal for shooting a person's face image is set to execute shooting, and the camera shown in FIG. This processing is executed by the program recorded in the memory 262 in the control unit 263 of the control unit 26.

なお、制御パラメータとは、例えば露出制御、焦点制御、焦点距離制御等のカメラ光学系の制御に適用する制御パラメータと、図2に示すカメラ画像信号処理回路233におけるカメラ信号処理、例えば、カラーバランス処理、リニアマトリクス処理、ホワイトバランス処理、γ補正処理等のカメラ信号処理に適用するパラメータの双方のパラメータを含む。   The control parameters are control parameters applied to camera optical system control such as exposure control, focus control, and focal length control, and camera signal processing in the camera image signal processing circuit 233 shown in FIG. 2, for example, color balance. This includes both parameters applied to camera signal processing such as processing, linear matrix processing, white balance processing, and γ correction processing.

なお、図4に示すフローは撮影画像フレーム毎に繰り返し実行される処理を示している。撮像装置を顔検出モードに設定すると、顔検出モード処理が開始される。例えば、図5(a)における撮像画像フレーム300の例のように、撮影画像フレーム300に人物の顔301が含まれる場合、この顔画像の検出を実行する。この顔検出処理は、図2に示すカメラ信号処理回路23の顔検出回路234において、例えば画像の色彩判定処理などを適用して実行される。   Note that the flow shown in FIG. 4 shows processing that is repeatedly executed for each captured image frame. When the imaging apparatus is set to the face detection mode, face detection mode processing is started. For example, when a human face 301 is included in the captured image frame 300 as in the example of the captured image frame 300 in FIG. 5A, detection of this face image is executed. This face detection process is executed in the face detection circuit 234 of the camera signal processing circuit 23 shown in FIG. 2 by applying, for example, an image color determination process.

図4に示すフローにおけるステップS101において、顔検出回路234において撮影画像からの顔領域の検出が成功した場合、ステップS102において、目的撮影対象を顔に設定し、顔に合わせたカメラ制御処理を実行する。   In step S101 in the flow shown in FIG. 4, when the face detection circuit 234 successfully detects the face area from the photographed image, in step S102, the target photographing target is set to the face, and camera control processing according to the face is executed. To do.

すなわち、図2を参照して説明した顔検出回路234は、カメラ画像信号処理回路233におけるカメラ画像信号処理の結果データとして出力される画像信号に基づいて、顔検出処理を実行し、顔検出に成功した場合は、検出情報を、I/F回路236を介してカメラ制御部26へ出力し、カメラ制御部26の光学系制御パラメータ算出部265は、撮影画像に含まれる顔を目的被写体として設定した露出制御、焦点制御、焦点距離制御等のパラメータ算出を行い制御部263は、これらのパラメータに基づく制御信号をI/F回路264を介してかめら光学系へ出力して制御を実行する。すなわち、顔画像に対して最適な制御パラメータを算出し、算出したパラメータに基づいて、露出制御、焦点制御、焦点距離制御等の制御を実行する。   That is, the face detection circuit 234 described with reference to FIG. 2 performs face detection processing based on the image signal output as the result data of the camera image signal processing in the camera image signal processing circuit 233, and performs face detection. If successful, the detection information is output to the camera control unit 26 via the I / F circuit 236, and the optical system control parameter calculation unit 265 of the camera control unit 26 sets the face included in the captured image as the target subject. The controller 263 calculates parameters such as exposure control, focus control, and focal length control, and outputs control signals based on these parameters to the kameka optical system via the I / F circuit 264 to execute control. That is, optimal control parameters for the face image are calculated, and controls such as exposure control, focus control, and focal length control are executed based on the calculated parameters.

さらに、カメラ制御部26の信号処理パラメータ算出部266は、顔検出回路234からの顔検出情報に基づいて、カメラ画像信号処理回路233における信号処理に適用するパラメータを、撮影画像に含まれる顔画像に適した処理パラメータとして算出し、制御部263は、算出した信号処理パラメータをI/F回路261を介して、カメラ信号亜処理部23のカメラ画像信号処理回路233に入力する。カメラ画像信号処理回路233は、カメラ制御部26の信号処理パラメータ算出部266において算出されたパラメータに基づいて、例えば、カラーバランス処理、リニアマトリクス処理、ホワイトバランス処理、γ補正処理等のカメラ信号処理を行う。   Further, the signal processing parameter calculation unit 266 of the camera control unit 26 uses, based on the face detection information from the face detection circuit 234, a parameter to be applied to signal processing in the camera image signal processing circuit 233 as a face image included in the captured image. The control unit 263 inputs the calculated signal processing parameter to the camera image signal processing circuit 233 of the camera signal sub-processing unit 23 via the I / F circuit 261. The camera image signal processing circuit 233 is based on the parameters calculated by the signal processing parameter calculation unit 266 of the camera control unit 26, for example, camera signal processing such as color balance processing, linear matrix processing, white balance processing, and γ correction processing. I do.

次にステップS103において、今回の撮影画像フレームにおいて顔が検出されたか否かを示す顔検出状態を、カメラ制御部26のメモリ262に記憶し、次のフレームの処理に移行する。   In step S103, a face detection state indicating whether or not a face has been detected in the current captured image frame is stored in the memory 262 of the camera control unit 26, and the process proceeds to the next frame.

一方、ステップS101において、顔検出回路234において撮影画像からの顔領域の検出が成功しなかった場合、例えば、図5(b)に示す画像フレーム310に示すように、遮蔽物312の陰に人物311が隠蔽され、撮影画像からの顔領域の検出が成功しなかった場合は、ステップS104に進む。   On the other hand, in step S101, if the face detection circuit 234 has not successfully detected the face area from the photographed image, for example, as shown in the image frame 310 shown in FIG. When 311 is concealed and the detection of the face area from the photographed image is not successful, the process proceeds to step S104.

ステップS104では、過去のフレームにおいて、顔検出がなされていたか否かを判定する。過去フレームに対応する顔検出状態情報をメモリ262から取得し、過去のフレームにおいて、顔検出がなされていたか否かを判定する。なお、メモリ262には、少なくとも直前のフレームについて、顔が検出されたか否かの顔検出状態がフレーム対応データとして記録され、ステップS104では、メモリ262に記録された顔検出状態を参照してステップS104の判定、すなわち、過去のフレームにおいて、顔検出がなされていたか否かを判定する。   In step S104, it is determined whether face detection has been performed in the past frame. Face detection state information corresponding to the past frame is acquired from the memory 262, and it is determined whether or not face detection has been performed in the past frame. Note that the memory 262 records the face detection state as to whether or not a face has been detected for at least the previous frame as frame-corresponding data. In step S104, the face detection state recorded in the memory 262 is referred to as a step. In S104, that is, it is determined whether face detection has been performed in the past frame.

ステップS104において、過去フレームにおいて、顔検出がなされていなかったと判断された場合は、ステップS107に進み、顔検出モードでない所定の通常状態のカメラ制御処理を行う。すなわち目的被写体を人物の顔として設定していない通常の撮影処理に移行する。その後、ステップS103において、フレーム対応の顔検出状態情報をメモリ262に記録する処理を行い、次のフレームの処理を行なう。   If it is determined in step S104 that face detection has not been performed in the past frame, the process proceeds to step S107, and camera control processing in a predetermined normal state that is not the face detection mode is performed. That is, the process shifts to a normal photographing process in which the target subject is not set as a person's face. Thereafter, in step S103, processing for recording face detection state information corresponding to the frame in the memory 262 is performed, and processing for the next frame is performed.

一方、ステップS104において、過去フレームにおいて、顔検出がなされていたと判断された場合は、ステップS105に進み、予め定めた閾値時間(例えば数秒)が経過しているか否かをタイマ267の計測により判定し、閾値時間が経過していない場合は、ステップS106に進み。制御パラメータを人物の顔の撮影に対応して設定済みのパラメータをそのまま適用するホールド処理を実行する。さらに、ステップS103において、フレーム対応の顔検出状態情報をメモリ262に記録する処理を行い、次のフレームの処理を行なう。   On the other hand, if it is determined in step S104 that face detection has been performed in the past frame, the process proceeds to step S105, and whether or not a predetermined threshold time (for example, several seconds) has elapsed is determined by measuring the timer 267. If the threshold time has not elapsed, the process proceeds to step S106. A hold process is executed in which the control parameters are applied as they are to the control parameters corresponding to the photographing of the human face. Further, in step S103, a process of recording the face detection state information corresponding to the frame in the memory 262 is performed, and the process of the next frame is performed.

ステップS104において、過去フレームにおいて、顔検出がなされていたと判断され、ステップS105において、予め定めた閾値時間(例えば数秒)が経過していると判定された場合は、ステップS107に進み。制御パラメータを人物の顔の撮影に対応して設定したモードを終了し、顔検出モードでない所定の通常状態のカメラ制御処理を行う。すなわち目的被写体を人物の顔として設定していない通常の撮影処理に移行し、さらに、ステップS103において、フレーム対応の顔検出状態情報をメモリ262に記録し、次のフレームの処理を行なう。   In step S104, it is determined that face detection has been performed in the past frame. If it is determined in step S105 that a predetermined threshold time (for example, several seconds) has elapsed, the process proceeds to step S107. The mode in which the control parameters are set corresponding to the photographing of the person's face is terminated, and camera control processing in a predetermined normal state that is not the face detection mode is performed. That is, the process shifts to a normal photographing process in which the target subject is not set as a person's face, and in step S103, frame-corresponding face detection state information is recorded in the memory 262, and the next frame is processed.

なお、カメラ制御部26は、目的被写体としての人物の顔に対応して設定された制御パラメータによる制御中は、撮影画像を表示するモニタ画面に、特定目的被写体(人物の顔)に対応する制御が実行中であることを示す表示処理を実行する構成としてもよい。   Note that the camera control unit 26 performs control corresponding to the specific target subject (person's face) on the monitor screen that displays the captured image during the control using the control parameters set corresponding to the person's face as the target subject. It is good also as a structure which performs the display process which shows that is being performed.

例えば、図6に示すように、人物の顔を示すアイコン321をモニタ画面に表示される撮影画像に重畳して表示させる。この制御は、カメラ制御部26の制御部263によって実行される。制御部263は、アイコン表示コマンドをカメラ信号処理回路23を介して画像処理部25へ出力するか、あるいは、直接、画像処理部25へアイコンの表示処理命令を出力する。このアイコン表示処理によって、撮影処理を実行中のユーザは、設定モードの状態を知ることが可能となる。   For example, as shown in FIG. 6, an icon 321 indicating a person's face is superimposed and displayed on a captured image displayed on the monitor screen. This control is executed by the control unit 263 of the camera control unit 26. The control unit 263 outputs an icon display command to the image processing unit 25 via the camera signal processing circuit 23, or directly outputs an icon display processing command to the image processing unit 25. By this icon display process, the user who is performing the shooting process can know the state of the setting mode.

このように、本発明の撮像装置においては、目的被写体として例えば人物の顔を特定し、目的被写体に合わせた制御を行う撮像装置において、目的被写体が一次的に遮蔽物によって隠蔽された場合においても、予め定めた規定時間以内は、カメラ制御パラメータの変更を行なうことなく隠蔽前の状態での撮影を継続させる構成とした。本構成により、フレーム間での画像、画質ばらつきを発生させない高品質な画像を撮影することが可能となる。   As described above, in the imaging apparatus of the present invention, for example, in the imaging apparatus that specifies a human face as a target subject and performs control according to the target subject, even when the target subject is primarily concealed by a shield, The camera is configured to continue photographing before the concealment without changing the camera control parameter within a predetermined time. With this configuration, it is possible to capture an image between frames and a high-quality image that does not cause variations in image quality.

以上、特定の実施例を参照しながら、本発明について詳解してきた。しかしながら、本発明の要旨を逸脱しない範囲で当業者が該実施例の修正や代用を成し得ることは自明である。すなわち、例示という形態で本発明を開示してきたのであり、限定的に解釈されるべきではない。本発明の要旨を判断するためには、特許請求の範囲の欄を参酌すべきである。   The present invention has been described in detail above with reference to specific embodiments. However, it is obvious that those skilled in the art can make modifications and substitutions of the embodiments without departing from the gist of the present invention. In other words, the present invention has been disclosed in the form of exemplification, and should not be interpreted in a limited manner. In order to determine the gist of the present invention, the claims should be taken into consideration.

また、明細書中において説明した一連の処理はハードウェア、またはソフトウェア、あるいは両者の複合構成によって実行することが可能である。ソフトウェアによる処理を実行する場合は、処理シーケンスを記録したプログラムを、専用のハードウェアに組み込まれたコンピュータ内のメモリにインストールして実行させるか、あるいは、各種処理が実行可能な汎用コンピュータにプログラムをインストールして実行させることが可能である。   The series of processes described in the specification can be executed by hardware, software, or a combined configuration of both. When executing processing by software, the program recording the processing sequence is installed in a memory in a computer incorporated in dedicated hardware and executed, or the program is executed on a general-purpose computer capable of executing various processing. It can be installed and run.

例えば、プログラムは記録媒体としてのハードディスクやROM(Read Only Memory)に予め記録しておくことができる。あるいは、プログラムはフレキシブルディスク、CD−ROM(Compact Disc Read Only Memory),MO(Magneto optical)ディスク,DVD(Digital Versatile Disc)、磁気ディスク、半導体メモリなどのリムーバブル記録媒体に、一時的あるいは永続的に格納(記録)しておくことができる。このようなリムーバブル記録媒体は、いわゆるパッケージソフトウエアとして提供することができる。   For example, the program can be recorded in advance on a hard disk or ROM (Read Only Memory) as a recording medium. Alternatively, the program is temporarily or permanently stored on a removable recording medium such as a flexible disk, a CD-ROM (Compact Disc Read Only Memory), an MO (Magneto optical) disk, a DVD (Digital Versatile Disc), a magnetic disk, or a semiconductor memory. It can be stored (recorded). Such a removable recording medium can be provided as so-called package software.

なお、プログラムは、上述したようなリムーバブル記録媒体からコンピュータにインストールする他、ダウンロードサイトから、コンピュータに無線転送したり、LAN(Local Area Network)、インターネットといったネットワークを介して、コンピュータに有線で転送し、コンピュータでは、そのようにして転送されてくるプログラムを受信し、内蔵するハードディスク等の記録媒体にインストールすることができる。   The program is installed on the computer from the removable recording medium as described above, or is wirelessly transferred from the download site to the computer, or is wired to the computer via a network such as a LAN (Local Area Network) or the Internet. The computer can receive the program transferred in this manner and install it on a recording medium such as a built-in hard disk.

なお、明細書に記載された各種の処理は、記載に従って時系列に実行されるのみならず、処理を実行する装置の処理能力あるいは必要に応じて並列的にあるいは個別に実行されてもよい。また、本明細書においてシステムとは、複数の装置の論理的集合構成であり、各構成の装置が同一筐体内にあるものには限らない。   Note that the various processes described in the specification are not only executed in time series according to the description, but may be executed in parallel or individually according to the processing capability of the apparatus that executes the processes or as necessary. Further, in this specification, the system is a logical set configuration of a plurality of devices, and the devices of each configuration are not limited to being in the same casing.

以上、説明したように、本発明の一実施例構成によれば、例えば人物の顔などの特定の撮影目的被写体に適応させた撮影制御を実行する撮像装置において、撮影目的被写体が壁などの遮蔽物によって、一時的に撮影画像から消えた場合においても、人物の顔などの特定の撮影目的被写体に適応させた撮影制御を、そのまま一定時間継続させて行なう構成としたので、人物が再び撮影可能となった場合に、そのままの制御パラメータによって撮影を継続することが可能となり、短時間での制御状態の切り替えによって不均一なふらついた画像が生成されることなく、安定した高品質な画像の撮影が実現される。   As described above, according to the configuration of an embodiment of the present invention, in an imaging apparatus that executes shooting control adapted to a specific shooting target subject such as a human face, the shooting target subject is shielded from a wall or the like. Even if the object temporarily disappears from the shot image, the shooting control adapted to the specific shooting target subject such as the person's face is configured to continue for a certain period of time, so that the person can be shot again In this case, it is possible to continue shooting with the control parameters as they are, and stable high-quality images can be captured without generating a non-uniform and staggered image by switching the control state in a short time. Is realized.

本発明の一実施例に係る撮像装置の構成例について説明する図である。It is a figure explaining the structural example of the imaging device which concerns on one Example of this invention. 本発明の一実施例に係る撮像装置のカメラ信号処理部の構成例について説明する図である。It is a figure explaining the structural example of the camera signal processing part of the imaging device which concerns on one Example of this invention. 本発明の一実施例に係る撮像装置のカメラ制御部の構成例について説明する図である。It is a figure explaining the structural example of the camera control part of the imaging device which concerns on one Example of this invention. 本発明の一実施例に係る撮像装置における撮影処理シーケンスについて説明するフローチャートを示す図である。It is a figure which shows the flowchart explaining the imaging | photography process sequence in the imaging device which concerns on one Example of this invention. 本発明の一実施例に係る撮像装置の撮影する画像データの例について説明する図である。It is a figure explaining the example of the image data which the imaging device which concerns on one Example of this invention image | photographs. 本発明の一実施例に係る撮像装置において、人物の顔を示すアイコンをモニタ画面に表示させた例を示す図である。It is a figure which shows the example which displayed the icon which shows a person's face on the monitor screen in the imaging device which concerns on one Example of this invention.

符号の説明Explanation of symbols

20 光学系
21 露出駆動部
22 撮像素子
23 カメラ信号処理部
24 バッファメモリ
25 画像処理部
26 カメラ制御部
27 レンズドライバ
28,29 モータ
231 I/F回路
232 検波回路
233 カメラ画像信号処理回路
234 顔検出回路
235 メモリI/F回路
236 I/F回路
261 I/F回路
262 メモリ
263 制御部
264 I/F回路
265 光学系パラメータ算出部
266 信号処理パラメータ算出部
267 タイマ
DESCRIPTION OF SYMBOLS 20 Optical system 21 Exposure drive part 22 Image pick-up element 23 Camera signal processing part 24 Buffer memory 25 Image processing part 26 Camera control part 27 Lens driver 28, 29 Motor 231 I / F circuit 232 Detection circuit 233 Camera image signal processing circuit 234 Face detection Circuit 235 Memory I / F circuit 236 I / F circuit 261 I / F circuit 262 Memory 263 Control unit 264 I / F circuit 265 Optical system parameter calculation unit 266 Signal processing parameter calculation unit 267 Timer

Claims (13)

撮像装置であり、
撮影画像から撮影目的被写体を検出する目的被写体検出部と、
前記目的被写体検出部の検出情報を入力し、目的被写体に適応する制御パラメータを算出し、該制御パラメータに基づくカメラ制御を実行するカメラ制御部と、
前記カメラ制御部の制御情報に基づく制御が実行されるカメラ光学系またはカメラ信号処理部を有し、
前記カメラ制御部は、
前記目的被写体検出部の検出情報に基づいて撮影画像中に目的被写体が検出されない場合、予め定めた規定時間内においては、前記目的被写体に対応して設定済みの制御パラメータによる制御を継続して実行する構成であることを特徴とする撮像装置。
An imaging device,
A target subject detection unit for detecting a target subject for photographing from the photographed image;
A camera control unit that inputs detection information of the target subject detection unit, calculates a control parameter adapted to the target subject, and executes camera control based on the control parameter;
A camera optical system or a camera signal processing unit that executes control based on control information of the camera control unit;
The camera control unit
When the target subject is not detected in the captured image based on the detection information of the target subject detection unit, the control using the control parameter set for the target subject is continuously executed within a predetermined time. An imaging apparatus characterized by having a configuration to perform.
前記カメラ制御部は、
前記目的被写体に適応する制御パラメータとして、露出制御、焦点制御、または焦点距離制御の少なくともいずれかの制御パラメータを算出し、該算出パラメータに基づいて、前記カメラ光学系の制御を実行する構成であることを特徴とする請求項1に記載の撮像装置。
The camera control unit
As a control parameter adapted to the target subject, at least one of exposure control, focus control, and focal length control is calculated, and control of the camera optical system is executed based on the calculated parameter. The imaging apparatus according to claim 1.
前記カメラ制御部は、
前記目的被写体に適応する制御パラメータとして、カメラ信号処理に適用する信号処理パラメータを算出する構成であり、
前記カメラ信号処理部は、
前記信号処理パラメータに基づくカメラ信号処理を実行する構成であることを特徴とする請求項1に記載の撮像装置。
The camera control unit
As a control parameter adapted to the target subject, a signal processing parameter applied to camera signal processing is calculated,
The camera signal processor is
The imaging apparatus according to claim 1, wherein the imaging apparatus is configured to execute camera signal processing based on the signal processing parameters.
前記カメラ制御部は、
前記目的被写体検出部の検出情報に基づいて撮影画像中に目的被写体が検出されない状態が予め定めた規定時間に達した場合、前記目的被写体に適応する制御パラメータによる制御を停止し、特定の目的被写体を設定しない通常撮影モードに切り替える処理を実行する構成であることを特徴とする請求項1に記載の撮像装置。
The camera control unit
Based on the detection information of the target subject detection unit, when the state in which the target subject is not detected in the captured image reaches a predetermined time, control by the control parameter adapted to the target subject is stopped, and the specific target subject is stopped. The imaging apparatus according to claim 1, wherein the imaging apparatus is configured to execute a process of switching to a normal shooting mode in which no image is set.
前記カメラ制御部は、
前記目的被写体に対応して設定された制御パラメータによる制御中は、撮影画像を表示するモニタ画面に、特定目的被写体に対応する制御が実行中であることを示す制御状態表示処理を実行する構成であることを特徴とする請求項1に記載の撮像装置。
The camera control unit
During the control by the control parameter set corresponding to the target subject, the control state display process is executed to indicate that the control corresponding to the specific target subject is being executed on the monitor screen displaying the photographed image. The image pickup apparatus according to claim 1, wherein the image pickup apparatus is provided.
前記目的被写体検出部は、
撮影画像から人物の顔画像を撮影目的被写体として検出する処理を実行する構成であり、
前記カメラ制御部は、
目的被写体としての人物の顔に適応する制御パラメータを算出し、該制御パラメータに基づくカメラ制御を実行する構成であることを特徴とする請求項1乃至5いずれかに記載の撮像装置。
The target subject detection unit
It is a configuration that executes processing for detecting a human face image as a shooting target subject from a shot image,
The camera control unit
6. The imaging apparatus according to claim 1, wherein a control parameter adapted to a human face as a target subject is calculated and camera control is executed based on the control parameter.
撮像装置制御方法であり、
撮影画像から撮影目的被写体を検出する目的被写体検出ステップと、
前記目的被写体検出ステップにおける検出情報を入力し、目的被写体に適応する制御パラメータを算出する制御パラメータ算出ステップと、
前記制御パラメータに基づいて、カメラ光学系またはカメラ信号処理部の少なくともいずれかを制御するカメラ制御ステップを有し、
前記カメラ制御ステップは、
前記目的被写体検出ステップにおける検出情報に基づいて撮影画像中に目的被写体が検出されない場合、予め定めた規定時間内においては、前記目的被写体に対応して設定済みの制御パラメータによる制御を継続して実行することを特徴とする撮像装置制御方法。
An imaging device control method,
A target object detection step for detecting a shooting target object from the captured image;
A control parameter calculation step of inputting detection information in the target subject detection step and calculating a control parameter adapted to the target subject;
A camera control step of controlling at least one of a camera optical system and a camera signal processing unit based on the control parameter;
The camera control step includes
When the target subject is not detected in the captured image based on the detection information in the target subject detection step, the control using the control parameter set for the target subject is continuously executed within a predetermined specified time. An imaging apparatus control method comprising:
前記制御パラメータ算出ステップは、
前記目的被写体に適応する制御パラメータとして、露出制御、焦点制御、または焦点距離制御の少なくともいずれかの制御パラメータを算出するステップであり、
前記カメラ制御ステップは、
前記算出パラメータに基づいて、前記カメラ光学系の制御を実行するステップであることを特徴とする請求項7に記載の撮像装置制御方法。
The control parameter calculation step includes:
Calculating at least one of exposure control, focus control, and focal length control as a control parameter adapted to the target subject,
The camera control step includes
The imaging apparatus control method according to claim 7, wherein the control of the camera optical system is executed based on the calculated parameter.
前記制御パラメータ算出ステップは、
前記目的被写体に適応する制御パラメータとして、カメラ信号処理に適用する信号処理パラメータを算出するステップであり、
前記カメラ制御ステップは、
前記信号処理パラメータに基づくカメラ信号処理を実行するステップであることを特徴とする請求項7に記載の撮像装置制御方法。
The control parameter calculation step includes:
Calculating a signal processing parameter applied to camera signal processing as a control parameter adapted to the target subject;
The camera control step includes
The imaging apparatus control method according to claim 7, wherein the imaging apparatus control process is a step of executing camera signal processing based on the signal processing parameters.
前記撮像装置制御方法は、さらに、
前記目的被写体検出部の検出情報に基づいて撮影画像中に目的被写体が検出されない状態が予め定めた規定時間に達した場合、前記目的被写体に適応する制御パラメータによる制御を停止し、特定の目的被写体を設定しない通常撮影モードに切り替える処理を実行するステップを有することを特徴とする請求項7に記載の撮像装置制御方法。
The imaging apparatus control method further includes:
Based on the detection information of the target subject detection unit, when the state in which the target subject is not detected in the captured image reaches a predetermined time, control by the control parameter adapted to the target subject is stopped, and the specific target subject is stopped. The imaging apparatus control method according to claim 7, further comprising a step of executing a process of switching to a normal shooting mode in which no image is set.
前記撮像装置制御方法は、さらに、
前記目的被写体に対応して設定された制御パラメータによる制御中は、撮影画像を表示するモニタ画面に、特定目的被写体に対応する制御が実行中であることを示す制御状態表示処理を実行するステップを有することを特徴とする請求項7に記載の撮像装置制御方法。
The imaging apparatus control method further includes:
During the control by the control parameter set corresponding to the target subject, a step of executing a control state display process indicating that the control corresponding to the specific target subject is being executed on the monitor screen displaying the photographed image. The imaging apparatus control method according to claim 7, further comprising:
前記目的被写体検出ステップは、
撮影画像から人物の顔画像を撮影目的被写体として検出する処理を実行するステップであり、
前記制御パラメータ算出ステップは、
目的被写体としての人物の顔に適応する制御パラメータを算出するステップであることを特徴とする請求項7乃至11いずれかに記載の撮像装置制御方法。
The target subject detection step includes
A step of executing a process of detecting a human face image as a shooting target subject from a shot image;
The control parameter calculation step includes:
12. The imaging apparatus control method according to claim 7, wherein the control parameter is a step of calculating a control parameter adapted to a human face as a target subject.
撮像装置において撮像装置制御処理を実行させるコンピュータ・プログラムであり、
撮影画像から撮影目的被写体を検出する目的被写体検出ステップと、
前記目的被写体検出ステップにおける検出情報を入力し、目的被写体に適応する制御パラメータを算出する制御パラメータ算出ステップと、
前記制御パラメータに基づいて、カメラ光学系またはカメラ信号処理部の少なくともいずれかを制御するカメラ制御ステップを有し、
前記カメラ制御ステップは、
前記目的被写体検出ステップにおける検出情報に基づいて撮影画像中に目的被写体が検出されない場合、予め定めた規定時間内においては、前記目的被写体に対応して設定済みの制御パラメータによる制御を継続して実行することを特徴とするコンピュータ・プログラム。
A computer program for executing an imaging device control process in an imaging device,
A target object detection step for detecting a shooting target object from the captured image;
A control parameter calculation step of inputting detection information in the target subject detection step and calculating a control parameter adapted to the target subject;
A camera control step of controlling at least one of a camera optical system or a camera signal processing unit based on the control parameter;
The camera control step includes
When the target subject is not detected in the captured image based on the detection information in the target subject detection step, the control using the control parameter set for the target subject is continuously executed within a predetermined time. A computer program characterized by:
JP2005290748A 2005-10-04 2005-10-04 IMAGING DEVICE, IMAGING DEVICE CONTROL METHOD, AND COMPUTER PROGRAM Expired - Fee Related JP4730044B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2005290748A JP4730044B2 (en) 2005-10-04 2005-10-04 IMAGING DEVICE, IMAGING DEVICE CONTROL METHOD, AND COMPUTER PROGRAM

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2005290748A JP4730044B2 (en) 2005-10-04 2005-10-04 IMAGING DEVICE, IMAGING DEVICE CONTROL METHOD, AND COMPUTER PROGRAM

Publications (2)

Publication Number Publication Date
JP2007104235A true JP2007104235A (en) 2007-04-19
JP4730044B2 JP4730044B2 (en) 2011-07-20

Family

ID=38030742

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2005290748A Expired - Fee Related JP4730044B2 (en) 2005-10-04 2005-10-04 IMAGING DEVICE, IMAGING DEVICE CONTROL METHOD, AND COMPUTER PROGRAM

Country Status (1)

Country Link
JP (1) JP4730044B2 (en)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009010776A (en) * 2007-06-28 2009-01-15 Sony Corp Imaging device, photography control method, and program
US8823864B2 (en) 2007-06-28 2014-09-02 Sony Corporation Image capturing apparatus and associated methodology for auto-focus and facial detection
KR20150114320A (en) * 2014-04-01 2015-10-12 삼성전자주식회사 Photographing apparatus, method for controlling the same and a computer-readable storage medium

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS63203069A (en) * 1987-02-18 1988-08-22 Sanyo Electric Co Ltd Automatic focusing circuit
JPH0560713B2 (en) * 1984-07-31 1993-09-02 Canon Kk
JPH07143373A (en) * 1993-11-17 1995-06-02 Canon Inc Video recording and reproducing device
JP2001119622A (en) * 1999-10-20 2001-04-27 Canon Inc Image-puckup device and control method therefor
JP2004334836A (en) * 2003-04-14 2004-11-25 Fuji Photo Film Co Ltd Method of extracting image feature, image feature extracting program, imaging device, and image processing device
JP2005086682A (en) * 2003-09-10 2005-03-31 Omron Corp Object decision device
JP2005258220A (en) * 2004-03-12 2005-09-22 Fuji Photo Film Co Ltd Photographing device

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0560713B2 (en) * 1984-07-31 1993-09-02 Canon Kk
JPS63203069A (en) * 1987-02-18 1988-08-22 Sanyo Electric Co Ltd Automatic focusing circuit
JPH07143373A (en) * 1993-11-17 1995-06-02 Canon Inc Video recording and reproducing device
JP2001119622A (en) * 1999-10-20 2001-04-27 Canon Inc Image-puckup device and control method therefor
JP2004334836A (en) * 2003-04-14 2004-11-25 Fuji Photo Film Co Ltd Method of extracting image feature, image feature extracting program, imaging device, and image processing device
JP2005086682A (en) * 2003-09-10 2005-03-31 Omron Corp Object decision device
JP2005258220A (en) * 2004-03-12 2005-09-22 Fuji Photo Film Co Ltd Photographing device

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009010776A (en) * 2007-06-28 2009-01-15 Sony Corp Imaging device, photography control method, and program
US8624988B2 (en) 2007-06-28 2014-01-07 Sony Corporation Image pickup apparatus, image pickup method, and program thereof
US8823864B2 (en) 2007-06-28 2014-09-02 Sony Corporation Image capturing apparatus and associated methodology for auto-focus and facial detection
KR20150114320A (en) * 2014-04-01 2015-10-12 삼성전자주식회사 Photographing apparatus, method for controlling the same and a computer-readable storage medium
KR102198177B1 (en) 2014-04-01 2021-01-05 삼성전자주식회사 Photographing apparatus, method for controlling the same and a computer-readable storage medium

Also Published As

Publication number Publication date
JP4730044B2 (en) 2011-07-20

Similar Documents

Publication Publication Date Title
KR100871639B1 (en) Camera and image processing method for camera
JP5029137B2 (en) Imaging apparatus and program
JP2004215283A (en) Apparatus and method for reducing image blur in digital camera
JP2009232276A (en) Image pickup device
JP5931619B2 (en) Imaging device
JP6598537B2 (en) Image processing apparatus, imaging apparatus, and image processing program
JP6634298B2 (en) Imaging device and imaging method
JP2007221451A (en) Imaging apparatus, its control method, and program
JP2009003334A (en) Image pick-up device, and imaging control method
JP3931393B2 (en) Camera-integrated video recorder and photographing method
JP2009175821A (en) Detection method and photographing device for specific image
JP2009017030A (en) Image imaging apparatus, and imaging control method
JP5197801B2 (en) Movie reproduction system and photographing apparatus
JP2007150496A (en) Imaging apparatus, data recording control method, and computer program
JP4730044B2 (en) IMAGING DEVICE, IMAGING DEVICE CONTROL METHOD, AND COMPUTER PROGRAM
JP4468598B2 (en) Image processing apparatus and recording medium storing image processing program
JP2010193324A (en) Camera apparatus, photographing method thereof and program
JP2020108101A (en) Information processing unit, imaging apparatus, information processing method and control method of imaging apparatus
US11330179B2 (en) Imaging device and control method thereof
JP4985716B2 (en) Imaging apparatus, method for setting focus evaluation area, and program
JP2006054536A (en) Image processing apparatus and method, recording medium, and program
JP2006157604A (en) Camera apparatus and automatic photographing control program
JP5479883B2 (en) Imaging apparatus and imaging method
JP2010171769A (en) Electronic camera
JP2010016650A (en) Imaging apparatus, control method thereof and program

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20080807

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20100708

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20100713

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20100903

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20110322

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20110404

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140428

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140428

Year of fee payment: 3

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees