JP2012074828A - Imaging apparatus, and program - Google Patents

Imaging apparatus, and program Download PDF

Info

Publication number
JP2012074828A
JP2012074828A JP2010216940A JP2010216940A JP2012074828A JP 2012074828 A JP2012074828 A JP 2012074828A JP 2010216940 A JP2010216940 A JP 2010216940A JP 2010216940 A JP2010216940 A JP 2010216940A JP 2012074828 A JP2012074828 A JP 2012074828A
Authority
JP
Japan
Prior art keywords
user
imaging
face
image
image processing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2010216940A
Other languages
Japanese (ja)
Other versions
JP2012074828A5 (en
JP5678546B2 (en
Inventor
Masami Yuyama
将美 湯山
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Casio Computer Co Ltd
Original Assignee
Casio Computer Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Casio Computer Co Ltd filed Critical Casio Computer Co Ltd
Priority to JP2010216940A priority Critical patent/JP5678546B2/en
Publication of JP2012074828A publication Critical patent/JP2012074828A/en
Publication of JP2012074828A5 publication Critical patent/JP2012074828A5/en
Application granted granted Critical
Publication of JP5678546B2 publication Critical patent/JP5678546B2/en
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Abstract

PROBLEM TO BE SOLVED: To provide an imaging apparatus capable of properly changing display content of an image in accordance with a user viewing the image without performing special operation.SOLUTION: This imaging apparatus includes: a sub-imaging section 8 to image a user viewing a display by having an imaging direction directed in almost the same direction as an arrangement direction of the display constituting a display section 5; and a control section 1 for detecting a face of the user imaged by the sub-imaging section 8, discriminating a state of the detected face of the user or a portion of the face, and performing image processing on the image displayed on the display section 5 in accordance with the state of the face or the portion of the face. For example, if the user has blue pupils, a process to lower a color temperature (process by which white is tinged with red) is performed, and if the user is a boy, a process to increase a contrast is performed.

Description

本発明は、撮像した画像を表示する撮像装置及びプログラムに関する。   The present invention relates to an imaging apparatus and a program that display captured images.

従来、撮像した画像を表示する表示部を備えた撮像装置としてのデジタルカメラ(コンパクトカメラ)にあっては、その表示部が配設されている表示部側の面に対してその逆側の面に、被写体を撮像するメインカメラ(メイン撮像部)を備えるほか、表示部側の面にサブカメラ(サブ撮像部)を備え、このサブカメラによりその撮影者(使用者)を撮影し、その撮影者の表情や動作の変化に応じてメインカメラを起動して被写体を撮像するようにした技術が開示されている(特許文献1参照)。これによって撮影者がデジタルカメラ本体から離れていても撮影者の意図に応じた撮像が可能であるほか、レリーズボタンを操作する際の手ブレを防ぐことも可能となる。   2. Description of the Related Art Conventionally, in a digital camera (compact camera) as an imaging device having a display unit for displaying a captured image, the surface on the opposite side of the surface on the display unit side where the display unit is disposed In addition to a main camera (main imaging unit) for imaging the subject, a sub camera (sub imaging unit) is provided on the display side, and the photographer (user) is photographed by the sub camera. A technique is disclosed in which a main camera is activated in accordance with a change in a person's facial expression and motion to image a subject (see Patent Document 1). As a result, even if the photographer is away from the digital camera body, it is possible to capture images according to the photographer's intention and to prevent camera shake when operating the release button.

特開2010−11253号公報JP 2010-11253 A

しかしながら、上述した先行技術にあっては、レリーズボタンを操作しなくても被写体を撮像可能とするために撮影者(使用者)を撮像してその表情や動作の変化に応じて被写体を撮像するようにしたものであり、レリーズボタン操作による不具合を解消するにすぎなかった。   However, in the above-described prior art, a photographer (user) is imaged so that the subject can be imaged without operating the release button, and the subject is imaged according to changes in their facial expressions and actions. As a result, the problem caused by operating the release button was merely solved.

本発明の課題は、特別な操作を行うことなく、画像の表示内容をその画像を見る使用者に応じて適切に変更できるようにすることである。   An object of the present invention is to make it possible to appropriately change the display content of an image according to a user who views the image without performing a special operation.

上述した課題を解決するために請求項1記載の発明は、
撮像した画像を表示する表示手段を備えた撮像装置であって、
前記表示手段を構成する画面の配設方向に対して略同方向を撮像方向とし、該画面を見る使用者を撮像する撮像手段と、
前記撮像手段により撮像された使用者の顔を検出する検出手段と、
前記検出手段により検出された使用者の顔或いは顔の部分の状態を判別する判別手段と、
前記判別手段により判別された顔或いは顔の部分の状態に応じて、前記表示手段に表示されている画像に対して画像処理を行う画像処理手段と、
を具備したことを特徴とする。
In order to solve the above-described problem, the invention described in claim 1
An imaging apparatus comprising a display means for displaying a captured image,
Imaging means for imaging a user viewing the screen, with the imaging direction being substantially the same direction as the arrangement direction of the screen constituting the display means;
Detecting means for detecting a user's face imaged by the imaging means;
A discriminating means for discriminating the state of the user's face or face portion detected by the detecting means;
Image processing means for performing image processing on the image displayed on the display means in accordance with the state of the face or face portion determined by the determination means;
It is characterized by comprising.

請求項1に従属する発明として、
被写体を撮像する第2の撮像手段を更に備え、
前記表示手段に表示される画像は、前記第2の撮像手段により撮像された画像である、
ことを特徴とする請求項2記載の発明であってもよい。
As an invention dependent on claim 1,
A second imaging means for imaging a subject;
The image displayed on the display unit is an image captured by the second imaging unit.
The invention according to claim 2 is also characterized.

請求項1或いは請求項2に従属する発明として、
画像を記憶する記憶手段を更に備え、
前記表示手段に表示される画像は、前記記憶手段に記憶されている画像である、
ことを特徴とするに請求項3記載の発明であってもよい。
As an invention dependent on claim 1 or claim 2,
A storage means for storing the image;
The image displayed on the display means is an image stored in the storage means.
The invention according to claim 3 may be used.

請求項1或いは請求項3に従属する発明として、
前記撮像手段は、その撮像方向として、前記表示手段の画面を見る使用者の顔を撮像する方向と該使用者と相対する被写体を撮像する方向に変更可能な撮影方向変更部を備える、
ようにしたことを特徴とする請求項4記載の発明であってもよい。
As an invention dependent on claim 1 or claim 3,
The imaging unit includes a shooting direction changing unit capable of changing the imaging direction to a direction of imaging a face of a user who views the screen of the display unit and a direction of imaging a subject facing the user.
The invention according to claim 4 may be provided.

請求項1〜請求項4のいずれかに従属する発明として、
前記判別手段は、前記使用者の顔の向きを判別し、
前記画像処理手段は、前記判別手段が判別した前記使用者の顔の向きに応じて、前記表示手段に表示されている画像の向きを変更する処理を行う、
ようにしたことを特徴とする請求項5記載の発明であってもよい。
As an invention dependent on any one of claims 1 to 4,
The determining means determines the orientation of the user's face,
The image processing means performs a process of changing the orientation of the image displayed on the display means according to the orientation of the user's face determined by the determining means.
The invention according to claim 5 is characterized in that it is configured as described above.

請求項1〜請求項4のいずれかに従属する発明として、
前記判別手段は、前記使用者の瞳の色を判別し、
前記画像処理手段は、前記判別手段が判別した前記使用者の瞳の色に応じて、前記表示手段に表示されている画像に対する画像処理を行う、
ようにしたことを特徴とする請求項6記載の発明であってもよい。
As an invention dependent on any one of claims 1 to 4,
The determining means determines the color of the user's pupil,
The image processing means performs image processing on the image displayed on the display means according to the color of the user's pupil determined by the determining means.
The invention according to claim 6 is characterized in that it is configured as described above.

請求項1〜請求項4のいずれかに従属する発明として、
前記判別手段は、前記使用者の年齢を判別し、
前記画像処理手段は、前記判別手段が判別した前記使用者の年齢に応じて、前記表示手段に表示されている画像に対する画像処理を行う、
ようにしたことを特徴とする請求項7記載の発明であってもよい。
As an invention dependent on any one of claims 1 to 4,
The determination means determines the age of the user,
The image processing means performs image processing on the image displayed on the display means according to the age of the user determined by the determining means.
The invention according to claim 7 is characterized by being configured as described above.

請求項1〜請求項4のいずれかに従属する発明として、
前記判別手段は、前記使用者の性別を判別し、
前記画像処理手段は、前記判別手段が判別した前記使用者の性別に応じて、前記表示手段に表示されている画像に対する画像処理を行う、
ようにしたことを特徴とする請求項8記載の発明であってもよい。
As an invention dependent on any one of claims 1 to 4,
The determining means determines the gender of the user,
The image processing means performs image processing on the image displayed on the display means according to the gender of the user determined by the determination means.
The invention according to claim 8 is characterized by being configured as described above.

また、上述した課題を解決するために請求項9記載の発明は、
コンピュータに対して、
表示手段を構成する画面の配設方向に対して略同方向を撮像方向とし、該画面を見る使用者を撮像する撮像手段により撮像された使用者の顔を検出する機能と、
前記検出された使用者の顔或いは顔の部分の状態を判別する機能と、
前記判別された顔或いは顔の部分の状態に応じて、前記表示手段に表示されている画像に対して画像処理を行う機能と、
を実現させるためのプログラム、であることを特徴とする。
In order to solve the above-described problem, the invention according to claim 9 is
Against the computer,
A function for detecting a user's face imaged by an imaging means for imaging a user who views the screen, with the imaging direction being substantially the same direction as the arrangement direction of the screen constituting the display means;
A function of determining the state of the detected user's face or face part;
A function of performing image processing on the image displayed on the display unit in accordance with the state of the determined face or face portion;
It is a program for realizing.

本発明によれば、特別な操作を行うことなく、画像の表示内容をその画像を見る使用者に応じて適切に変更することができ、使用者に合った画像表示を容易に実現可能とする。   According to the present invention, the display content of an image can be appropriately changed according to a user who views the image without performing a special operation, and an image display suitable for the user can be easily realized. .

撮像装置として適用したデジタルカメラ(コンパクトカメラ)の基本的な構成要素を示したブロック図。The block diagram which showed the basic component of the digital camera (compact camera) applied as an imaging device. デジタルカメラの外観図で、(1)はその前面図、(2)はその背面図。It is an external view of a digital camera, (1) is its front view, (2) is its rear view. 画像処理テーブル記憶部M3を説明するための図。The figure for demonstrating the image process table memory | storage part M3. 電源投入に応じて実行開始されるデジタルカメラの全体動作、特に本実施形態の特徴部分の動作概要を示したフローチャート。The flowchart which showed the operation | movement outline | summary of the whole operation | movement of the digital camera started according to power activation, especially the characteristic part of this embodiment. 図4の動作に続くフローチャート。The flowchart following the operation | movement of FIG. 第2実施形態において、撮像装置として適用したデジタルカメラの基本的な構成要素を示したブロック図。The block diagram which showed the basic component of the digital camera applied as an imaging device in 2nd Embodiment. 第2実施形態におけるデジタルカメラの外観図で、(1)はその前面図、(2)はその背面図。It is an external view of the digital camera in 2nd Embodiment, (1) is the front view, (2) is the back view.

(実施形態1)
以下、図1〜図5を参照して本発明の実施形態を説明する。
図1は、撮像装置として適用したデジタルカメラの基本的な構成要素を示したブロック図である。
デジタルカメラは、例えば、光学10倍の広角・高倍率ズームを搭載したコンパクトカメラで、制御部1を中核として動作する構成となっている。制御部1は、電源部(二次電池)2からの電力供給によって動作し、記憶部3内の各種のプログラムに応じてこのデジタルカメラの全体動作を制御するもので、この制御部1には図示しないCPU(中央演算処理装置)やメモリなどが設けられている。
(Embodiment 1)
Hereinafter, embodiments of the present invention will be described with reference to FIGS.
FIG. 1 is a block diagram showing basic components of a digital camera applied as an imaging apparatus.
The digital camera is, for example, a compact camera equipped with a 10 × optical wide-angle and high-power zoom, and operates with the control unit 1 as a core. The control unit 1 operates by supplying power from the power source unit (secondary battery) 2 and controls the overall operation of the digital camera in accordance with various programs in the storage unit 3. A CPU (Central Processing Unit) and a memory (not shown) are provided.

記憶部3は、例えば、ROM、フラッシュメモリなどを有する構成で、図4及び図5に示した動作手順に応じて本実施形態を実現するためのプログラムや各種のアプリケーションなどが格納されているプログラム記憶部M1、多くの撮像済み画像を所定のファイル形式で保存する画像記憶部M2、後述する画像処理テーブル記憶部M3などを有している。なお、記憶部3は、例えば、SDカード、ICカードなど、着脱自在な可搬型メモリ(記録メディア)を含む構成であってもよく、図示しないが、通信機能を介してネットワークに接続された状態では所定の外部サーバ側の記憶領域であってもよい。   The storage unit 3 has a configuration including, for example, a ROM, a flash memory, and the like, and a program storing various programs and the like for realizing the present embodiment in accordance with the operation procedure illustrated in FIGS. 4 and 5. The storage unit M1, an image storage unit M2 that stores many captured images in a predetermined file format, an image processing table storage unit M3 described later, and the like. Note that the storage unit 3 may be configured to include a removable portable memory (recording medium) such as an SD card or an IC card, and is connected to a network via a communication function (not shown). Then, it may be a storage area on a predetermined external server side.

RAM4は、フラグ情報、画面情報など、このデジタルカメラが動作するために必要となる各種の情報を一時的に記憶するワーク領域である。表示部5は、例えば、高精細液晶ディスプレイ、有機EL(Electro Luminescence)ディスプレイ、電気泳動型ディスプレイ(電子ペーパ)のいずれかを使用し、画像を高精細に表示するもので、撮像された画像(スルー画像:ライブビュー画像)を表示するファインダ画面(モニタ画面)として機能したり、保存済み画像を表示する再生画面として機能したりする。なお、表示部5に表示されている画像を見る使用者とは、撮影時にはファインダ画面(モニタ画面)を見る撮影者であるが、再生時にはその再生画面を見る画像視認者である。この場合、デジタルカメラの所有者(ユーザ)に限らず、画像を見る者である。   The RAM 4 is a work area that temporarily stores various information necessary for the operation of the digital camera, such as flag information and screen information. The display unit 5 uses, for example, any one of a high-definition liquid crystal display, an organic EL (Electro Luminescence) display, and an electrophoretic display (electronic paper) to display an image with high definition. It functions as a finder screen (monitor screen) for displaying a through image (live view image) or as a playback screen for displaying a saved image. The user who sees the image displayed on the display unit 5 is a photographer who looks at the finder screen (monitor screen) at the time of shooting, but is an image viewer who looks at the playback screen at the time of playback. In this case, not only the owner (user) of the digital camera but also a person who views the image.

また、この表示部5の表面に指の接触を検出する透明なタッチパネルを積層配設することにより、例えば、静電容量方式のタッチスクリーン(タッチ画面)を構成するようにしている。操作部6は、図示省略したが、押しボタン形式の各種のキーとして、被写体の撮像を開始させるレリーズボタン(シャッタボタン)、撮影モードと再生モードとを切り換え選択するモード選択ボタンなどの各種のファンクションキー及び十字キーなどの操作ボタンを備えたもので、制御部1は、この操作部6からの入力操作信号に応じた処理として、例えば、撮影処理、保存処理、データ入力処理などを行う。   In addition, a transparent touch panel that detects the contact of a finger is provided on the surface of the display unit 5 to form a capacitive touch screen (touch screen), for example. Although not shown, the operation unit 6 has various functions such as a release button (shutter button) for starting imaging of a subject and a mode selection button for switching between a shooting mode and a playback mode as various buttons in a push button format. An operation button such as a key and a cross key is provided, and the control unit 1 performs, for example, a photographing process, a storage process, a data input process, and the like as a process according to an input operation signal from the operation unit 6.

メイン撮像部7は、その表示部5が配設されている表示部側の面に対してその逆側の面に、被写体を撮像するメインカメラとして備えられたもので、光学10倍の広角・高倍率ズームを搭載した高精細画像を撮像可能なカメラである。そして、このメイン撮像部7は、図示省略したが、撮像レンズ、絞り機構、C−MOS或いはCCDなどの撮像素子(エリアイメージセンサ)、光学系駆動部などのほか、照明用のストロボ、アナログ処理回路、信号処理回路などを備えている。制御部1は、オートフォーカス処理(AF処理)、ズーム処理、露出調整処理(AE処理)を実行したり、メイン撮像部7からの画像データに対して各種の画像処理としてホワイトバランス調整・色補間・階調変換処理、輪郭強調処理を実行したり、更に画像処理として画像の向き変更・コントラスト変更・色調変更処理を施したり、JPEG形式などのデータ形式に圧縮する圧縮処理を実行したり、この圧縮データを伸長復元する復元処理などを実行したりする。   The main imaging unit 7 is provided as a main camera for imaging a subject on the surface opposite to the surface on the display unit side where the display unit 5 is disposed. It is a camera that can capture high-definition images equipped with a high-magnification zoom. Although not shown, the main imaging unit 7 includes an imaging lens, an aperture mechanism, an imaging element (area image sensor) such as a C-MOS or CCD, an optical system driving unit, an illumination strobe, and analog processing. Circuit, signal processing circuit, and the like. The control unit 1 executes autofocus processing (AF processing), zoom processing, exposure adjustment processing (AE processing), and performs white balance adjustment and color interpolation as various image processing on the image data from the main imaging unit 7.・ Tone conversion processing, contour enhancement processing, image orientation change / contrast change / color tone change processing as image processing, compression processing to compress data into JPEG format, etc. Perform decompression processing to decompress and restore compressed data.

サブ撮像部8は、例えば、32万画素程度の小さなC−MOSセンサを有する構成で、その表示部5を構成する画面の配設方向に対して略同方向を撮像方向とし、該画面を見る使用者(撮影者などの画像視認者)の顔を撮像するサブカメラとして備えられたものである。そしてサブ撮像部8は、図示省略したが、撮像レンズ、絞り機構、撮像素子(エリアイメージセンサ)、光学系駆動部などのほか、アナログ処理回路、信号処理回路などを備えている。制御部1は、サブ撮像部8により撮像された画像を解析することにより使用者の顔を検出して、その使用者の顔或いは顔の部分の状態を判別し、顔或いは顔の部分の状態に応じて、表示部5に表示されている画像に対して画像処理を行うようにしている。   For example, the sub imaging unit 8 has a small C-MOS sensor of about 320,000 pixels, and the imaging direction is substantially the same direction as the arrangement direction of the screen constituting the display unit 5, and the screen is viewed. It is provided as a sub camera that captures the face of a user (an image viewer such as a photographer). Although not shown, the sub imaging unit 8 includes an analog processing circuit, a signal processing circuit, and the like in addition to an imaging lens, a diaphragm mechanism, an imaging device (area image sensor), an optical system driving unit, and the like. The control unit 1 detects the user's face by analyzing the image captured by the sub imaging unit 8, determines the state of the user's face or face part, and determines the state of the face or face part. Accordingly, image processing is performed on the image displayed on the display unit 5.

この場合、使用者の顔の状態として、使用者の顔の向き、年齢、性別を判別してそれに応じた画像処理を行うようにしている。また、使用者の顔の一部分の状態として、使用者の瞳の色を判別して、それに応じた画像処理を行うようにしている。このような画像処理は、メイン撮像部7により被写体を撮像する撮影モード時に限らず、画像記憶部M2内に記憶保存されている撮像済み画像を読み出して表示部5に表示させる再生モード時においても同様に実行可能となっている。   In this case, as the state of the user's face, the orientation, age, and gender of the user's face are discriminated and image processing is performed accordingly. Further, as the state of a part of the user's face, the color of the user's pupil is discriminated and image processing corresponding to that is performed. Such image processing is not limited to the shooting mode in which the main imaging unit 7 captures the subject, but also in the playback mode in which the captured image stored and stored in the image storage unit M2 is read and displayed on the display unit 5. Similarly, it can be executed.

図2は、デジタルカメラの外観図を示した図である。
図2(1)は、表示部5が配設されている表示部側の面に対してその逆側の面からデジタルカメラを見た前面図で、その前面中央部には、メイン撮像部7の撮像レンズ7aが配設され、図中、前面左上部分には、メイン撮像部7用のストロボ7bが配設されている。また、デジタルカメラの上面左端部分には、操作部6のレリーズボタン6aが配設されている。また、図2(2)は、デジタルカメラの背面図で、その背面部には、表示部5が配設されていると共に、サブ撮像部8の撮像レンズ8aが配設され、更には、操作部6の操作ボタン6bが配設されている。このようにメイン撮像部7は、表示部5の逆側にメインカメラとして備えられ、サブ撮像部8は、表示部5側にサブカメラとして備えられたものである。
FIG. 2 is an external view of the digital camera.
FIG. 2A is a front view of the digital camera viewed from the surface opposite to the surface on the display unit side where the display unit 5 is disposed. An imaging lens 7a is disposed, and a strobe 7b for the main imaging unit 7 is disposed in the upper left part of the front surface in the drawing. A release button 6a of the operation unit 6 is disposed on the upper left end portion of the digital camera. FIG. 2B is a rear view of the digital camera. The display unit 5 is provided on the rear side of the digital camera, and the imaging lens 8a of the sub imaging unit 8 is provided. An operation button 6b of the unit 6 is provided. As described above, the main imaging unit 7 is provided as a main camera on the opposite side of the display unit 5, and the sub imaging unit 8 is provided as a sub camera on the display unit 5 side.

図3は、画像処理テーブル記憶部M3を説明するための図である。
画像処理テーブル記憶部M3は、表示部5に表示されている画像の表示状態をその画像を見る使用者に応じて変更するために該画像に施す画像処理内容を記憶する。すなわち、画像処理テーブル記憶部M3は、サブ撮像部8により撮像された使用者の顔或いは顔の部分の状態に応じて、表示部5に表示されている画像に対してどのような画像処理を施すかを示す画像処理内容を記憶するもので、「顔或いは顔の部分の状態」に対応して「画像処理内容」の項目を有する構成となっている。「顔或いは顔の部分の状態」は、使用者の顔の状態或いは使用者の顔の部分の状態を示し、“使用者の顔の向き”、“使用者の瞳の色”、“使用者の年齢”、“使用者の性別”に区分されている。更に、“使用者の顔の向き”は“横向き”、“縦向き”に区分され、“使用者の瞳の色”は、“青”、“茶”に区分され、“使用者の年齢”は、“少年”、“青年”、“中年”、“老年”に区分され、“使用者の性別”は、“男性”、“女性”に区分されている。
FIG. 3 is a diagram for explaining the image processing table storage unit M3.
The image processing table storage unit M3 stores the contents of image processing performed on the image in order to change the display state of the image displayed on the display unit 5 according to the user who views the image. That is, the image processing table storage unit M3 performs any image processing on the image displayed on the display unit 5 in accordance with the state of the user's face or face part imaged by the sub imaging unit 8. The image processing content indicating whether or not to apply is stored, and the item has an “image processing content” item corresponding to “the state of the face or face portion”. “The state of the face or the face part” indicates the state of the user's face or the state of the user's face part, and “user face direction”, “user eye color”, “user” Age ”and“ user gender ”. Furthermore, “the orientation of the user's face” is divided into “landscape” and “vertical”, and “the color of the user's pupil” is divided into “blue” and “brown”, and “the age of the user” Are classified into “boy”, “youth”, “middle age”, and “old age”, and “user gender” is classified into “male” and “female”.

「画像処理内容」は、表示部5に表示されている画像に対してどのような画像処理を施すかを示すもので、上述の“使用者の顔の向き”である“横向き”に対応する「画像処理内容」として“画像を横向きに変更”が記憶され、“縦向き”に対応して“画像を縦向きに変更”が記憶されている。また、“使用者の瞳の色”の“青”に対応して“色温度を下げる”が記憶され、“茶”に対応して“色温度を上げる”が記憶されている。また、“使用者の年齢”の“少年”に対応して“コントラストを高くする”が記憶され、“青年”に対応して“標準のコントラスト”が記憶され、“中年”に対応して“コントラストをやや低くする”が記憶され、“老年”に対応して“コントラストを低くする”が記憶されている。また、“使用者の性別”の“男性”に対応して“風景が美しくなる処理”が記憶され、“女性”に対応して“顔が美しくなる処理”が記憶されている。なお、この「画像処理内容」は、ユーザ操作により任意に設定されたもので、自分の好みに応じた処理を設定することができる。   “Image processing content” indicates what kind of image processing is performed on the image displayed on the display unit 5, and corresponds to “landscape” which is the above-mentioned “face orientation of the user”. “Change image to landscape” is stored as “Image processing content”, and “Change image to portrait” is stored corresponding to “Portrait”. Further, “decrease color temperature” is stored corresponding to “blue” of “user's pupil color”, and “increased color temperature” is stored corresponding to “brown”. Also, “enhance contrast” is stored corresponding to “boy” of “user age”, “standard contrast” is stored corresponding to “youth”, and “middle age” is stored. “Lower contrast” is stored, and “Lower contrast” is stored corresponding to “Old age”. Also, “process that makes the scenery beautiful” is stored corresponding to “male” of “user's sex”, and “process that makes the face beautiful” is stored corresponding to “woman”. The “image processing content” is arbitrarily set by a user operation, and a process according to his / her preference can be set.

次に、第1実施形態におけるデジタルカメラの動作概念を図4及び図5に示すフローチャートを参照して説明する。ここで、これらのフローチャートに記述されている各機能は、読み取り可能なプログラムコードの形態で格納されており、このプログラムコードに従った動作が逐次実行される。また、ネットワークなどの伝送媒体を介して伝送されてきた上述のプログラムコードに従った動作を逐次実行することもできる。すなわち、記録媒体のほかに、伝送媒体を介して外部供給されたプログラム/データを利用して本実施形態特有の動作を実行することもできる。   Next, the operation concept of the digital camera in the first embodiment will be described with reference to the flowcharts shown in FIGS. Here, each function described in these flowcharts is stored in the form of a readable program code, and operations according to the program code are sequentially executed. Further, it is possible to sequentially execute the operation according to the above-described program code transmitted via a transmission medium such as a network. In other words, in addition to the recording medium, an operation unique to the present embodiment can be executed using a program / data supplied externally via a transmission medium.

図4及び図5は、デジタルカメラの全体動作、特に本実施形態の特徴部分の動作概要を示したフローチャートで、電源投入に応じて実行開始される。
先ず、制御部1は、撮影モード、再生モードのいずれに切り換えられているかを調べる(ステップS1)。すなわち、メイン撮像部7により被写体を撮像する撮影モードに切り換えられているか、画像記憶部M2内に記憶保存されている撮像済み画像を読み出して表示部5に表示させる再生モードに切り換えられているかを調べ、撮影モードに切り換えられているときには(ステップS1でYES)、サブ撮像部8により撮像された画像を解析して使用者の顔を検出する処理を行う(ステップS2)。この場合、顔の各部位(眼、鼻、口、耳など)、それらの位置関係、眼鏡などから総合的に判断して顔検出処理を行うが、その際、顔を検出したとしても所定以上の大きさの顔を検出したか、つまり、所定距離以内(表示部5の近傍)に使用者が居るかを加味して、使用者の顔を検出したか否かを判別するようにしている(ステップS3)。
4 and 5 are flowcharts showing the overall operation of the digital camera, in particular, the operation outline of the characteristic part of the present embodiment, and the execution is started when the power is turned on.
First, the control unit 1 checks whether the shooting mode or the playback mode is switched (step S1). That is, whether the main imaging unit 7 is switched to a shooting mode for capturing an image of the subject, or whether the captured image stored in the image storage unit M2 is read and displayed on the display unit 5 is switched to a playback mode. When it is checked and switched to the photographing mode (YES in step S1), a process of detecting the face of the user by analyzing the image captured by the sub imaging unit 8 is performed (step S2). In this case, face detection processing is performed by comprehensively judging from each part of the face (eye, nose, mouth, ear, etc.), their positional relationship, glasses, etc. Even if a face is detected at that time, a predetermined value or more It is determined whether or not the face of the user has been detected by taking into account whether the face is detected, that is, whether the user is within a predetermined distance (in the vicinity of the display unit 5). (Step S3).

ここで、使用者の顔を検出しなかった場合又は使用者の顔を検出したとしても所定距離以内に使用者が居なかった場合には(ステップS3でNO)、レリーズボタン6aの操作有無を調べたり(ステップS7)、モード選択ボタンの操作有無を調べたり(ステップS13)、その他の操作有無を調べたりする(ステップS15)。ここで、いずれの操作も行われなければ(ステップS15でNO)、上述のステップS3に戻るが、レリーズボタン6a、モード選択ボタン以外の操作として、例えば、露出設定、ズーム、撮影シーン設定などの操作が行われたときには(ステップS15でYES)、その操作に応じた処理として、露出設定処理、ズーム処理、撮影シーン設定処理などを行った後(ステップS16)、上述のステップS3に移る。   Here, when the user's face is not detected or when the user's face is detected and there is no user within a predetermined distance (NO in step S3), whether or not the release button 6a is operated is determined. It checks (step S7), checks whether the mode selection button is operated (step S13), and checks whether other operations are performed (step S15). If no operation is performed (NO in step S15), the process returns to the above-described step S3. However, as operations other than the release button 6a and the mode selection button, for example, exposure setting, zooming, shooting scene setting, etc. When an operation is performed (YES in step S15), after performing an exposure setting process, a zoom process, a shooting scene setting process, and the like as a process corresponding to the operation (step S16), the process proceeds to the above-described step S3.

また、レリーズボタン6aが操作されたときには(ステップS7でYES)、AE処理、AF処理などを実行した後(ステップS8)、上述の「顔或いは顔の部分の状態」に基づいて画像処理テーブル記憶部M3を参照し、その結果、該当する「画像処理内容」が記憶されているかを調べるが(ステップS9)、いま、「顔或いは顔の部分の状態」を判別することができなかった場合であるから撮影処理に移り(ステップS11)、メイン撮像部7により撮像されて表示部5に表示されている画像に対してホワイトバランス調整などを行った後、圧縮処理によって圧縮した画像データを画像記憶部M2に記憶保存させる保存処理を行う(ステップS12)。その後、上述のステップS3に戻る。   When the release button 6a is operated (YES in step S7), AE processing, AF processing, etc. are executed (step S8), and then stored in the image processing table based on the above-described “face or face portion state”. The section M3 is referred to, and as a result, it is checked whether or not the corresponding “image processing content” is stored (step S9), but the “face or face portion state” cannot be determined now. Therefore, the process proceeds to the photographing process (step S11). After the white balance adjustment or the like is performed on the image captured by the main imaging unit 7 and displayed on the display unit 5, the image data compressed by the compression process is stored in the image. A storage process for storing and saving the unit M2 is performed (step S12). Thereafter, the process returns to step S3.

また、上述の顔検出処理の結果(ステップS2)、顔を検出することができたときには(ステップS3でYES)、その使用者の顔或いは顔の部分の状態を判別する処理を行う(ステップS4)。この場合、使用者の顔の状態として、使用者の顔の向き、年齢、性別を判別するが、その際、顔の各部位(眼、鼻、口、耳など)、それらの位置関係、顔の皺、皮膚の弛み、化粧状態、肌色などを総合的に判断して顔の状態を判別したり、使用者の顔の一部分の状態として、使用者の瞳の色を判別したりする。そして、この判別結果の「顔或いは顔の部分の状態」に基づいて画像処理テーブル記憶部M3を参照する(ステップS5)。   As a result of the above-described face detection process (step S2), when a face can be detected (YES in step S3), a process of determining the state of the user's face or face portion is performed (step S4). ). In this case, the user's face orientation, age, and gender are determined as the user's face state. At that time, each part of the face (eye, nose, mouth, ear, etc.), their positional relationship, face The face state is determined by comprehensively determining the wrinkles, skin looseness, makeup state, skin color, and the like, or the color of the user's pupil is determined as the state of a part of the user's face. Then, the image processing table storage unit M3 is referred to based on “the state of the face or the face part” of the determination result (step S5).

そして、メイン撮像部7により被写体を撮像した画像(スルー画像:ライブビュー画像)をファインダ画面(モニタ画面)として表示部5に表示させた後(ステップS6)、レリーズボタン6aの操作有無を調べるステップS7に移る。いま、レリーズボタン6aが操作されたときには(ステップS7でYES)、AE処理、AF処理などを実行した後(ステップS8)、上述の「顔或いは顔の部分の状態」に基づいて画像処理テーブル記憶部M3を参照し、その結果、該当する「画像処理内容」が記憶されているかを調べ(ステップS9)、該当する「画像処理内容」が記憶されていれば(ステップS9でYES)、表示部5に表示されている画像に対して、その「画像処理内容」で示される画像処理を行う(ステップS10)。   Then, after displaying an image (through image: live view image) obtained by imaging the subject by the main imaging unit 7 on the display unit 5 as a finder screen (monitor screen) (step S6), a step of checking whether or not the release button 6a is operated. Move on to S7. Now, when the release button 6a is operated (YES in step S7), after executing AE processing, AF processing, etc. (step S8), the image processing table is stored on the basis of the above-described "face or face portion state". As a result, it is checked whether or not the corresponding “image processing content” is stored (step S9). If the corresponding “image processing content” is stored (YES in step S9), the display unit is checked. The image processing indicated by the “image processing content” is performed on the image displayed in 5 (step S10).

すなわち、“使用者の顔の向き”が“縦向き”であれば、つまり、デジタルカメラを横向きに構えている状態であれば、表示部5に表示されている画像を縦向きに回転変更する処理を行い、“横向き”であれば、つまり、デジタルカメラを縦向きに構えている状態であれば、表示部5に表示されている画像を横向きに回転変更する処理を行う。また、“使用者の瞳の色”が“青”であれば、色温度を下げる処理(白色がやや赤味を帯びる処理)を行い、“茶”であれば、色温度を上げる処理(白色がやや青味を帯びる処理)を行う。また、“使用者の年齢”が“少年”であれば、コントラストを高くする処理を行い、“青年”であれば、標準のコントラスト”にする処理を行い、“中年”であれば、コントラストをやや低くする処理を行い、“老年”であれば、コントラストを低くする処理を行う。また、“使用者の性別”が“男性”であれば風景が美しくなる処理(特徴的な色を際出させる処理など)を行い、“女性”であれば、顔が美しくなる処理(美肌、ぼかし処理など)を行う。   That is, if the “face orientation of the user” is “vertical”, that is, if the digital camera is held horizontally, the image displayed on the display unit 5 is rotated and changed to vertical. If the process is “landscape”, that is, if the digital camera is held vertically, a process of rotating and changing the image displayed on the display unit 5 horizontally is performed. If the color of the user's pupil is “blue”, a process for decreasing the color temperature (a process in which white is slightly reddish) is performed. If the color is “brown”, a process for increasing the color temperature (white) A process that is slightly bluish). Also, if the “user's age” is “boy”, a process of increasing the contrast is performed, if “youth”, a process of setting the standard contrast is performed, and if it is “middle age”, the contrast is increased. If the age of the user is “male”, the scenery will be beautiful (a distinctive color will be emphasized). If it is “female”, a process that makes the face beautiful (such as skin beautification and blurring process) is performed.

そして、撮影処理に移り(ステップS11)、メイン撮像部7により撮像されて表示部5に表示されている画像に対してホワイトバランス調整などを行った後、圧縮処理によって圧縮した画像データを画像記憶部M2に記憶保存させる保存処理を行う(ステップS12)。その後、上述のステップS3に戻る。   Then, the process proceeds to a photographing process (step S11), white balance adjustment is performed on the image captured by the main imaging unit 7 and displayed on the display unit 5, and the image data compressed by the compression process is stored in the image. A storage process for storing and saving the unit M2 is performed (step S12). Thereafter, the process returns to step S3.

また、撮影モードにおいてモード選択ボタンが操作されたときには(ステップS13でYES)、撮影モードから再生モードへの切り換えを行った後(ステップS14)、図5のフローに移る。ここで、画像記憶部M2に記憶されている撮像済み画像の中から再生対象として所望する画像を選択する画像選択操作が行われると(ステップS17でYES)、その選択画像を再生対象として読み出す(ステップS18)。そして、上述の場合と同様に、サブ撮像部8により撮像された画像(表示部5を見る使用者の画像)を解析して使用者の顔を検出する処理を行う(ステップS19)。この場合、使用者は、再生モードに切り換えて画像選択操作を行った後、顔を表示部5に向けたり、表示部5を顔に向けたりする。   When the mode selection button is operated in the shooting mode (YES in step S13), after switching from the shooting mode to the reproduction mode (step S14), the flow proceeds to the flow of FIG. Here, when an image selection operation is performed to select a desired image as a reproduction target from the captured images stored in the image storage unit M2 (YES in step S17), the selected image is read out as a reproduction target ( Step S18). Then, as in the case described above, an image captured by the sub image capturing unit 8 (an image of the user viewing the display unit 5) is analyzed to detect the user's face (step S19). In this case, after switching to the reproduction mode and performing an image selection operation, the user turns the face toward the display unit 5 or turns the display unit 5 toward the face.

ここで、顔検出処理により顔を検出すると(ステップS20でYES)、その使用者の顔或いは顔の部分の状態を判別する処理を行い(ステップS21)、その判別処理の結果である「顔或いは顔の部分の状態」に基づいて画像処理テーブル記憶部M3を参照し(ステップS22)、該当する「画像処理内容」が記憶されているかを調べる(ステップS23)。その結果、該当する「画像処理内容」が記憶されていなければ(ステップS23でNO)、画像表示処理を行うステップS25に移るが、該当する「画像処理内容」が記憶されていれば(ステップS23でYES)、再生対象として選択された画像又は表示部5に表示されている画像に対して、その「画像処理内容」で示される画像処理を行った後(ステップS24)、その画像を表示部5に表示させる(ステップS25)。   If a face is detected by the face detection process (YES in step S20), a process for determining the state of the user's face or face portion is performed (step S21), and the result of the determination process is “face or Based on “the state of the face portion”, the image processing table storage unit M3 is referred to (step S22), and it is checked whether or not the corresponding “image processing content” is stored (step S23). As a result, if the corresponding “image processing content” is not stored (NO in step S23), the process proceeds to step S25 for performing the image display process, but if the corresponding “image processing content” is stored (step S23). YES), after the image processing indicated by the “image processing content” is performed on the image selected as the reproduction target or the image displayed on the display unit 5 (step S24), the image is displayed on the display unit. 5 is displayed (step S25).

以下、画像送り操作が行われたかを調べたり(ステップS26)、モード選択ボタンが操作されたかを調べたり(ステップS28)、その他の操作が行われたかを調べたりする(ステップS30)。ここで、いずれの操作も行われなければ(ステップS30でNO)、上述のステップS19に戻るが、画像送り操作が行われたときには(ステップS26でYES)、再生対象として次の画像を画像記憶部M2から読み出して表示部5に表示させる画像送り処理を行った後(ステップS27)、上述のステップS19に戻る。また、その他の操作として、画像の削除などの編集、スライドショーの開始などが操作されたときには(ステップS30でYES)、操作に応じた処理として編集処理、スライドショー表示処理などを実行した後(ステップS31)、上述のステップS19に戻る。また、再生モードにおいてモード選択ボタンが操作されたときには(ステップS28でYES)、再生モードから撮影モードへの切り換えを行った後(ステップS29)、図4のステップS1に移る。   Thereafter, it is checked whether an image feed operation has been performed (step S26), whether a mode selection button has been operated (step S28), and whether other operations have been performed (step S30). If no operation is performed (NO in step S30), the process returns to the above-described step S19. However, when an image feeding operation is performed (YES in step S26), the next image is stored as a reproduction target. After performing an image feed process that is read from the part M2 and displayed on the display part 5 (step S27), the process returns to the above-described step S19. As other operations, when editing such as deleting an image or starting a slide show is operated (YES in step S30), editing processing, slide show display processing, or the like is executed as processing according to the operation (step S31). ), The process returns to step S19. When the mode selection button is operated in the playback mode (YES in step S28), after switching from the playback mode to the shooting mode (step S29), the process proceeds to step S1 in FIG.

以上のように、第1実施形態においては、表示部5を構成する画面の配設方向に対して略同方向を撮像方向とし、該画面を見る使用者を撮像するサブ撮像部8を備え、制御部1は、このサブ撮像部8により撮像された使用者の顔を検出すると共に、検出した使用者の顔或いは顔の部分の状態を判別し、この顔或いは顔の部分の状態に応じて、表示部5に表示されている画像に対して画像処理を行うようにしたので、特別な操作を行うことなく、使用者を撮像した画像を利用して、画像の表示内容を適切に変更することができ、使用者の状態に合った画像表示が可能となる。   As described above, the first embodiment includes the sub imaging unit 8 that images the user who views the screen, with the imaging direction being substantially the same direction as the arrangement direction of the screen configuring the display unit 5. The control unit 1 detects the user's face imaged by the sub-imaging unit 8, determines the detected user's face or face part state, and according to the detected face or face part state. Since the image processing is performed on the image displayed on the display unit 5, the display content of the image is appropriately changed using the image captured by the user without performing any special operation. Therefore, it is possible to display an image suitable for the user's condition.

被写体を撮像するメイン撮像部7のほかに備えられているサブ撮像部8により表示部5を見る使用者を撮像するようにしたので、専用カメラにより表示部5を見る使用者をいつでも撮像することが可能となる。   Since the user who views the display unit 5 is imaged by the sub-imaging unit 8 provided in addition to the main imaging unit 7 that images the subject, the user who views the display unit 5 can always be imaged by the dedicated camera. Is possible.

画像記憶部M2に記憶されている画像を読み出して、表示部5に表示させるようにしたので、メイン撮像部7によりリアルタイムに撮像された画像に対する画像処理に限らず、画像記憶部M2に記憶保存されている撮影済み画像に対して画像処理を行うことができる。例えば、外部から取得した画像を表示部5に表示させる場合でも、使用者に合った画像表示が可能となる。   Since the image stored in the image storage unit M2 is read out and displayed on the display unit 5, not only the image processing on the image captured in real time by the main imaging unit 7, but also stored in the image storage unit M2 Image processing can be performed on the captured image. For example, even when an image acquired from the outside is displayed on the display unit 5, it is possible to display an image suitable for the user.

使用者の顔の向きに応じて、表示部5に表示されている画像の向きを変更する処理を行うようにしたので、デジタルカメラを横向きに構えているのか縦向きに構えているのかに応じて、表示部5に表示されている画像の向きを変更することができ、画像の向きを検出する向きセンサ(縦横センサ)の代替えとすることができる。   Since the process of changing the orientation of the image displayed on the display unit 5 is performed according to the orientation of the user's face, depending on whether the digital camera is held horizontally or vertically Thus, the orientation of the image displayed on the display unit 5 can be changed, which can replace the orientation sensor (vertical / horizontal sensor) that detects the orientation of the image.

使用者の瞳の色に応じて、表示部5に表示されている画像の色温度を変更する画像処理を行うようにしたので、人種などに適した表示が可能となり、使用者にとって画像が見易くなる。   Since image processing is performed to change the color temperature of the image displayed on the display unit 5 in accordance with the color of the user's pupil, display suitable for the race is possible, and the image is displayed to the user. It becomes easy to see.

使用者の年齢に応じて、表示部5に表示されている画像のコントラストを変更する画像処理を行うようにしたので、若い人ほどコントラストの高い画像を好む傾向を加味するなど、年齢層に適した表示が可能となり、使用者にとって画像が見易くなる。   Since image processing that changes the contrast of the image displayed on the display unit 5 according to the age of the user is performed, it is suitable for the age group, such as taking into account the tendency that younger people prefer images with higher contrast Display becomes possible, making it easier for the user to see the image.

使用者の性別に応じて、表示部5に表示されている画像に対する画像処理を行うようにしたので、性別に適した表示が可能となる。この場合、使用者が女性の場合は、友人や知人などの顔を美しく見ることができ、友人、知人にとっても受け入れられるものとなる。   Since image processing is performed on the image displayed on the display unit 5 according to the gender of the user, display suitable for gender is possible. In this case, when the user is a woman, the face of a friend or acquaintance can be seen beautifully, and it can be accepted by friends and acquaintances.

(実施形態2)
以下、この発明の第2実施形態について図6及び図7を参照して説明する。
なお、上述した第1実施形態においては、被写体を撮像するメイン撮像部7のほかに、表示部5を見る使用者を撮像する専用カメラとしてサブ撮像部8を備えたが、この第2実施形態においては、被写体の撮像と、表示部5を見る使用者の撮像を1台の撮像部で兼用するようにしたものである。ここで、両実施形態において基本的或いは名称的に同一のものは、同一符号を付して示し、その説明を省略すると共に、以下、第2実施形態の特徴部分を中心に説明するものとする。
(Embodiment 2)
Hereinafter, a second embodiment of the present invention will be described with reference to FIGS.
In the first embodiment described above, the sub imaging unit 8 is provided as a dedicated camera for imaging the user who views the display unit 5 in addition to the main imaging unit 7 that images the subject. In FIG. 1, the imaging of the subject and the imaging of the user who looks at the display unit 5 are combined with one imaging unit. Here, in both the embodiments, the same or the same names are denoted by the same reference numerals, the description thereof will be omitted, and the following description will focus on the features of the second embodiment. .

図6は、第2実施形態において、撮像装置として適用したデジタルカメラの基本的な構成要素を示したブロック図である。
デジタルカメラは、上述した第1実施形態と同様のコンパクトカメラで、制御部1は、電源部(二次電池)2からの電力供給によって動作し、記憶部3内の各種のプログラムに応じてこのデジタルカメラの全体動作を制御する。記憶部3は、例えば、ROM、フラッシュメモリなどを有する構成で、本実施形態を実現するためのプログラムや各種のアプリケーションなどが格納されている。RAM4は、このデジタルカメラが動作するために必要となる各種の情報を一時的に記憶するワーク領域である。
FIG. 6 is a block diagram illustrating basic components of a digital camera applied as an imaging device in the second embodiment.
The digital camera is a compact camera similar to that of the first embodiment described above, and the control unit 1 operates by supplying power from the power supply unit (secondary battery) 2, and according to various programs in the storage unit 3. Control the overall operation of the digital camera. The storage unit 3 has, for example, a configuration having a ROM, a flash memory, and the like, and stores a program and various applications for realizing the present embodiment. The RAM 4 is a work area that temporarily stores various information necessary for the operation of the digital camera.

表示部5は、例えば、高精細液晶ディスプレイ、有機ELディスプレイ、電子ペーパのいずれかを使用し、画像を高精細に表示するもので、撮像された画像(スルー画像)を表示するファインダ画面として機能したり、保存済み画像を表示する再生画面として機能したりする。操作部6は、図示省略したが、押しボタン形式の各種のキーとして、被写体の撮像を開始させるレリーズボタン6a、撮影モードと再生モードとを切り換え選択するモード選択ボタンなどの各種のファンクションキーや十字キーなどの操作ボタンを備えたもので、制御部1は、この操作部6からの入力操作信号に応じた処理として、例えば、撮影処理、保存処理、データ入力処理などを行う。   The display unit 5 uses, for example, a high-definition liquid crystal display, an organic EL display, or electronic paper, and displays an image with high definition, and functions as a finder screen that displays the captured image (through image). Or function as a playback screen that displays saved images. Although not shown, the operation unit 6 includes various function keys such as a release button 6a for starting imaging of a subject and a mode selection button for switching and selecting a shooting mode and a playback mode as various buttons in a push button format. An operation button such as a key is provided, and the control unit 1 performs, for example, a photographing process, a storage process, a data input process, and the like as processes according to the input operation signal from the operation unit 6.

撮像部11は、その撮像方向として、表示部5を見る使用者の顔を撮像する方向と、使用者と相対する被写体を撮像する方向に変更可能なもので、上述のメイン撮像部7と同様の構成となっている。制御部1は、撮像部11により使用者の顔を撮像した場合に、その撮像された画像を解析することにより使用者の顔を検出して、その使用者の顔或いは顔の部分の状態を判別し、顔或いは顔の部分の状態に応じて、表示部5に表示されている画像に対して画像処理を行うが、その際、使用者の顔の状態として使用者の顔の向き、年齢、性別を判別したり、使用者の顔の一部分の状態として、使用者の瞳の色を判別したりしてそれに応じた画像処理を行うようにしている。   The imaging unit 11 can change the imaging direction to a direction for imaging the face of the user viewing the display unit 5 and a direction for imaging a subject facing the user, and is similar to the main imaging unit 7 described above. It becomes the composition of. When the imaging unit 11 captures the user's face, the control unit 1 detects the user's face by analyzing the captured image, and determines the state of the user's face or face portion. The image processing is performed on the image displayed on the display unit 5 according to the state of the face or the face part, and the orientation of the user's face, age as the state of the user's face at that time The sex is determined, or the color of the user's pupil is determined as the state of a part of the user's face, and image processing is performed accordingly.

図7は、第2実施形態におけるデジタルカメラの外観図で、図7(1)は、表示部5が配設されている面の逆側であるデジタルカメラの前面図、図7(2)は、デジタルカメラの背面図である。
デジタルカメラを構成する筺体は、長方体の本体部12と、この本体部12の長辺方向の一端部に回転可能に取り付けられている可動部13を有する構成で、本体部12の長辺方向一端部においてその短辺方向の中心位置に設けた支軸(図示省略)を介して可動部13が180°回転可能に取り付けられている。この場合、使用者は、本体部12に対して支軸を中心に可動部13を弾性力(バネ力)に抗して回すことにより撮像部11の撮像方向を180°変更するようにしている。上述の支軸、バネなどにより撮影方向変更部14を構成するが、この撮影方向変更部14は、機構部に限らず、モータを備えた駆動部であってもよく、その構成は任意である。
FIG. 7 is an external view of a digital camera according to the second embodiment. FIG. 7A is a front view of the digital camera on the opposite side of the surface on which the display unit 5 is disposed, and FIG. It is a rear view of a digital camera.
The housing constituting the digital camera has a rectangular main body 12 and a movable portion 13 rotatably attached to one end of the main body 12 in the long side direction. The movable portion 13 is attached to be rotatable by 180 ° through a support shaft (not shown) provided at a central position in the short side direction at one end portion in the direction. In this case, the user changes the imaging direction of the imaging unit 11 by 180 ° by rotating the movable unit 13 against the main body unit 12 around the support shaft against the elastic force (spring force). . The photographing direction changing unit 14 is configured by the above-described support shaft, spring, and the like. However, the photographing direction changing unit 14 is not limited to the mechanism unit, and may be a driving unit including a motor, and the configuration thereof is arbitrary. .

そして、図7(1)に示すように、デジタルカメラの前面側に撮像部11の撮像レンズ11aを向けた状態においては、可動部13に配設されている撮像レンズ11aとそのストロボ11bが表示部5の逆側を向くようになる。また、図7(2)に示すように、デジタルカメラの背面側に撮像部11の撮像レンズ11aを向けた状態においては、本体部12の背面側に配設されている表示部5及び操作部6の操作ボタン6bと、可動部13に配設されている撮像レンズ11a及びストロボ11bとが同じ方向を向くようになる。   As shown in FIG. 7A, in the state where the imaging lens 11a of the imaging unit 11 faces the front side of the digital camera, the imaging lens 11a disposed in the movable unit 13 and its strobe 11b are displayed. It turns to the opposite side of the part 5. Further, as shown in FIG. 7 (2), in a state where the imaging lens 11a of the imaging unit 11 faces the back side of the digital camera, the display unit 5 and the operation unit arranged on the back side of the main body unit 12. 6 operation buttons 6b, the imaging lens 11a and the strobe 11b disposed in the movable portion 13 are directed in the same direction.

以上のように、第2実施形態においては、撮像部11の撮像方向として、表示部5を見る使用者の顔を撮像する方向と、使用者と相対する被写体を撮像する方向に変更可能な撮影方向変更部14を備えるようにしたので、上述した第1実施形態と同様に、特別な操作を行うことなく、使用者を撮像した画像を利用して、画像の表示状態を適切に変更することができ、使用者の状態に合った画像表示が可能となるほか、単一の撮像部11で被写体の撮像と使用者の撮像とを行うことができ、構成の簡素化と共に、使用者にあっては、本体部12に対して可動部13を弾性力に抗して回すだけで撮影方向を容易に変更することができる。   As described above, in the second embodiment, the imaging direction of the imaging unit 11 can be changed to the direction in which the face of the user who views the display unit 5 is imaged and the direction in which the subject facing the user is imaged. Since the direction changing unit 14 is provided, the display state of the image is appropriately changed using an image obtained by capturing the user without performing a special operation, as in the first embodiment described above. In addition to being able to display an image that matches the user's condition, the single imaging unit 11 can capture an image of the subject and an image of the user. Thus, the photographing direction can be easily changed simply by rotating the movable portion 13 against the main body portion 12 against the elastic force.

なお、上述した各実施形態においては、撮像装置としてデジタルカメラ(コンパクトカメラ)に適用した場合を示したが、カメラ機能付きの携帯電話機・PDA・音楽プレイヤーなどであってもよい。   In each of the above-described embodiments, the case where the present invention is applied to a digital camera (compact camera) as an imaging device has been described. However, a mobile phone with a camera function, a PDA, a music player, or the like may be used.

その他、上述した各実施形態において示した“装置”や“部”とは、機能別に複数の筐体に分離されていてもよく、単一の筐体に限らない。また、上述したフローチャートに記述した各ステップは、時系列的な処理に限らず、複数のステップを並列的に処理したり、別個独立して処理したりするようにしてもよい。   In addition, the “apparatus” and “unit” shown in each of the above-described embodiments may be separated into a plurality of cases by function, and are not limited to a single case. In addition, each step described in the above-described flowchart is not limited to time-series processing, and a plurality of steps may be processed in parallel or separately.

1 制御部
3 記憶部
5 表示部
6 操作部
7 メイン撮像部
8 サブ撮像部
11 撮像部
12 本体部
13 可動部
14 撮影方向変更部
M1 プログラム記憶部
M2 画像記憶部
M3 画像処理テーブル記憶部
DESCRIPTION OF SYMBOLS 1 Control part 3 Memory | storage part 5 Display part 6 Operation part 7 Main imaging part 8 Sub imaging part 11 Imaging part 12 Main body part 13 Movable part 14 Shooting direction change part M1 Program memory | storage part M2 Image memory part M3 Image processing table memory | storage part

Claims (9)

撮像した画像を表示する表示手段を備えた撮像装置であって、
前記表示手段を構成する画面の配設方向に対して略同方向を撮像方向とし、該画面を見る使用者を撮像する撮像手段と、
前記撮像手段により撮像された使用者の顔を検出する検出手段と、
前記検出手段により検出された使用者の顔或いは顔の部分の状態を判別する判別手段と、
前記判別手段により判別された顔或いは顔の部分の状態に応じて、前記表示手段に表示されている画像に対して画像処理を行う画像処理手段と、
を具備したことを特徴とする撮像装置。
An imaging apparatus comprising a display means for displaying a captured image,
Imaging means for imaging a user viewing the screen, with the imaging direction being substantially the same direction as the arrangement direction of the screen constituting the display means;
Detecting means for detecting a user's face imaged by the imaging means;
A discriminating means for discriminating the state of the user's face or face portion detected by the detecting means;
Image processing means for performing image processing on the image displayed on the display means in accordance with the state of the face or face portion determined by the determination means;
An imaging apparatus comprising:
被写体を撮像する第2の撮像手段を更に備え、
前記表示手段に表示される画像は、前記第2の撮像手段により撮像された画像である、
ことを特徴とする請求項1記載の撮像装置。
A second imaging means for imaging a subject;
The image displayed on the display unit is an image captured by the second imaging unit.
The imaging apparatus according to claim 1.
画像を記憶する記憶手段を更に備え、
前記表示手段に表示される画像は、前記記憶手段に記憶されている画像である、
ことを特徴とする請求項1或いは請求項2記載の撮像装置。
A storage means for storing the image;
The image displayed on the display means is an image stored in the storage means.
The imaging apparatus according to claim 1 or 2, wherein
前記撮像手段は、その撮像方向として、前記表示手段の画面を見る使用者の顔を撮像する方向と該使用者と相対する被写体を撮像する方向に変更可能な撮影方向変更部を備える、
ようにしたことを特徴とする請求項1或いは請求項3記載の撮像装置。
The imaging unit includes a shooting direction changing unit capable of changing the imaging direction to a direction of imaging a face of a user who views the screen of the display unit and a direction of imaging a subject facing the user.
The imaging apparatus according to claim 1, wherein the imaging apparatus is configured as described above.
前記判別手段は、前記使用者の顔の向きを判別し、
前記画像処理手段は、前記判別手段が判別した前記使用者の顔の向きに応じて、前記表示手段に表示されている画像の向きを変更する処理を行う、
ようにしたことを特徴とする請求項1〜請求項4のいずれかに記載の撮像装置。
The determining means determines the orientation of the user's face,
The image processing means performs a process of changing the orientation of the image displayed on the display means according to the orientation of the user's face determined by the determining means.
The imaging apparatus according to claim 1, wherein the imaging apparatus is configured as described above.
前記判別手段は、前記使用者の瞳の色を判別し、
前記画像処理手段は、前記判別手段が判別した前記使用者の瞳の色に応じて、前記表示手段に表示されている画像に対する画像処理を行う、
ようにしたことを特徴とする請求項1〜請求項4のいずれかに記載の撮像装置。
The determining means determines the color of the user's pupil,
The image processing means performs image processing on the image displayed on the display means according to the color of the user's pupil determined by the determining means.
The imaging apparatus according to claim 1, wherein the imaging apparatus is configured as described above.
前記判別手段は、前記使用者の年齢を判別し、
前記画像処理手段は、前記判別手段が判別した前記使用者の年齢に応じて、前記表示手段に表示されている画像に対する画像処理を行う、
ようにしたことを特徴とする請求項1〜請求項4のいずれかに記載の撮像装置。
The determination means determines the age of the user,
The image processing means performs image processing on the image displayed on the display means according to the age of the user determined by the determining means.
The imaging apparatus according to claim 1, wherein the imaging apparatus is configured as described above.
前記判別手段は、前記使用者の性別を判別し、
前記画像処理手段は、前記判別手段が判別した前記使用者の性別に応じて、前記表示手段に表示されている画像に対する画像処理を行う、
ようにしたことを特徴とする請求項1〜請求項4のいずれかに記載の撮像装置。
The determining means determines the gender of the user,
The image processing means performs image processing on the image displayed on the display means according to the gender of the user determined by the determination means.
The imaging apparatus according to claim 1, wherein the imaging apparatus is configured as described above.
コンピュータに対して、
表示手段を構成する画面の配設方向に対して略同方向を撮像方向とし、該画面を見る使用者を撮像する撮像手段により撮像された使用者の顔を検出する機能と、
前記検出された使用者の顔或いは顔の部分の状態を判別する機能と、
前記判別された顔或いは顔の部分の状態に応じて、前記表示手段に表示されている画像に対して画像処理を行う機能と、
を実現させるためのプログラム。
Against the computer,
A function for detecting a user's face imaged by an imaging means for imaging a user who views the screen, with the imaging direction being substantially the same direction as the arrangement direction of the screen constituting the display means;
A function of determining the state of the detected user's face or face part;
A function of performing image processing on the image displayed on the display unit in accordance with the state of the determined face or face portion;
A program to realize
JP2010216940A 2010-09-28 2010-09-28 Imaging apparatus, imaging method, and program Expired - Fee Related JP5678546B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2010216940A JP5678546B2 (en) 2010-09-28 2010-09-28 Imaging apparatus, imaging method, and program

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2010216940A JP5678546B2 (en) 2010-09-28 2010-09-28 Imaging apparatus, imaging method, and program

Publications (3)

Publication Number Publication Date
JP2012074828A true JP2012074828A (en) 2012-04-12
JP2012074828A5 JP2012074828A5 (en) 2013-10-17
JP5678546B2 JP5678546B2 (en) 2015-03-04

Family

ID=46170611

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2010216940A Expired - Fee Related JP5678546B2 (en) 2010-09-28 2010-09-28 Imaging apparatus, imaging method, and program

Country Status (1)

Country Link
JP (1) JP5678546B2 (en)

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH11341324A (en) * 1998-05-26 1999-12-10 Matsushita Electric Ind Co Ltd Digital camera
JP2000023020A (en) * 1998-06-29 2000-01-21 Sony Corp Digital camera
JP2002090846A (en) * 2000-09-18 2002-03-27 Olympus Optical Co Ltd Camera
JP2002262155A (en) * 2000-12-27 2002-09-13 Matsushita Electric Ind Co Ltd Image pickup device, display device and projector
JP2004246456A (en) * 2003-02-12 2004-09-02 Omron Corp Apparatus and method for image editing
JP2005094741A (en) * 2003-08-14 2005-04-07 Fuji Photo Film Co Ltd Image pickup device and image synthesizing method
JP2009026146A (en) * 2007-07-20 2009-02-05 Canon Inc Image processing apparatus and image processing method
JP2009267468A (en) * 2008-04-22 2009-11-12 Nikon Corp Imaging device
JP2010011253A (en) * 2008-06-30 2010-01-14 Nikon Corp Photographing apparatus

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH11341324A (en) * 1998-05-26 1999-12-10 Matsushita Electric Ind Co Ltd Digital camera
JP2000023020A (en) * 1998-06-29 2000-01-21 Sony Corp Digital camera
JP2002090846A (en) * 2000-09-18 2002-03-27 Olympus Optical Co Ltd Camera
JP2002262155A (en) * 2000-12-27 2002-09-13 Matsushita Electric Ind Co Ltd Image pickup device, display device and projector
JP2004246456A (en) * 2003-02-12 2004-09-02 Omron Corp Apparatus and method for image editing
JP2005094741A (en) * 2003-08-14 2005-04-07 Fuji Photo Film Co Ltd Image pickup device and image synthesizing method
JP2009026146A (en) * 2007-07-20 2009-02-05 Canon Inc Image processing apparatus and image processing method
JP2009267468A (en) * 2008-04-22 2009-11-12 Nikon Corp Imaging device
JP2010011253A (en) * 2008-06-30 2010-01-14 Nikon Corp Photographing apparatus

Also Published As

Publication number Publication date
JP5678546B2 (en) 2015-03-04

Similar Documents

Publication Publication Date Title
US10291842B2 (en) Digital photographing apparatus and method of operating the same
CN107743189B (en) Display control device and display control method
WO2017092128A1 (en) Method and device for displaying preview image
US8502883B2 (en) Photographing apparatus and photographing control method
EP3316568B1 (en) Digital photographing device and operation method therefor
JP6389342B2 (en) Imaging apparatus and control method thereof
JP2010097393A (en) Image display device and program
JP2010161547A (en) Composition selecting device and program
JP2019169985A (en) Image processing apparatus
JP7128347B2 (en) Image processing device, image processing method and program, imaging device
JP5678546B2 (en) Imaging apparatus, imaging method, and program
JP2013135446A (en) Imaging apparatus and control method thereof
JP5513433B2 (en) Two electronic devices with camera capable of using magnifier function and visibility control method
JP7169431B2 (en) Image processing device, image processing method and program, imaging device
JP2013243455A (en) Photographing apparatus, photographing control method, and program
JP5967422B2 (en) Imaging apparatus, imaging processing method, and program
JP2013065993A (en) Imaging device, imaging method, and program
JP2010161704A (en) Mobile terminal, photographing control method thereof, program, and recording medium
WO2020003944A1 (en) Imaging device, imaging method, and program
CN116782022A (en) Shooting method, shooting device, electronic equipment and readable storage medium
JP5621757B2 (en) Imaging apparatus, control method thereof, and program
JP2014131238A (en) Portable apparatus, server, image generation method and program
JP2013102467A (en) Composition selecting device and program
JP2017201734A (en) Print system
KR20100011287A (en) Method for controlling the digital image processing apparatus and the digital image processing apparatus of operating by the method

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20130902

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20130902

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20140417

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20140421

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20140611

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20140717

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20141006

A911 Transfer to examiner for re-examination before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20141014

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20141209

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20141222

R150 Certificate of patent or registration of utility model

Ref document number: 5678546

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

LAPS Cancellation because of no payment of annual fees