JP2010062814A - Image processing apparatus and program - Google Patents
Image processing apparatus and program Download PDFInfo
- Publication number
- JP2010062814A JP2010062814A JP2008225829A JP2008225829A JP2010062814A JP 2010062814 A JP2010062814 A JP 2010062814A JP 2008225829 A JP2008225829 A JP 2008225829A JP 2008225829 A JP2008225829 A JP 2008225829A JP 2010062814 A JP2010062814 A JP 2010062814A
- Authority
- JP
- Japan
- Prior art keywords
- image
- state
- level
- smile
- processing apparatus
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Abstract
Description
本発明は、画像処理装置及びプログラムに関する。 The present invention relates to an image processing apparatus and a program.
従来、対象物の撮影を自動的に行うデジタルカメラが知られている(例えば、特許文献1参照)。具体的には、このデジタルカメラにあっては、対象物の表情や目・顔の向きを検出して所定条件を満たしたと判定された場合に、自動的に撮影記録動作を行うようになっている。 Conventionally, a digital camera that automatically captures an object is known (see, for example, Patent Document 1). Specifically, in this digital camera, when it is determined that a predetermined condition is satisfied by detecting the facial expression of the object and the orientation of the eyes / face, the shooting / recording operation is automatically performed. Yes.
また、複数の画像をメモリに記憶する際に、画像内の顔の表情を利用して画像の分類を行うことで、所望の画像に類似する画像の検索を容易に行うことができるようにしたデジタルカメラも知られている(例えば、特許文献2参照)。
ところで、対象物を自動的に撮影する場合には、対象物の顔の表情の判定基準を切り換えて設定することができるが、当該レベルの設定は撮影対象によらず一律に決まってしまうため、使い勝手が悪いといった問題がある。
かかる問題は、顔の表情を利用して画像検索処理を行う場合も同様となっている。
By the way, when automatically shooting an object, it is possible to switch and set the criteria for determining the facial expression of the object, but the setting of the level is determined uniformly regardless of the shooting object, There are problems such as poor usability.
This problem is the same when image search processing is performed using facial expressions.
そこで、本発明の課題は、対象物の状態を考慮して画像関連処理を適正に行うことができる使い勝手の良い画像処理装置及びプログラムを提供することである。 Accordingly, an object of the present invention is to provide an easy-to-use image processing apparatus and program that can appropriately perform image-related processing in consideration of the state of an object.
上記課題を解決するため、請求項1に記載の発明の画像処理装置は、
画像関連処理の実行に係る感度レベルを指定するレベル指定手段と、前記画像関連処理を実行するか否かの判定基準に係る対象物の基準状態と感度レベルとが対応付けられた状態テーブルを記憶するテーブル記憶手段と、新規に取得した画像内の対象物の状態を特定する特定手段と、前記特定手段により特定された前記対象物の状態に基づいて、前記状態テーブルの前記感度レベルと前記対象物の基準状態との対応関係を変更する変更手段と、を備えることを特徴としている。
In order to solve the above problem, an image processing apparatus according to claim 1 is provided.
A level designating unit that designates a sensitivity level related to the execution of the image-related processing, and a state table that associates the reference state of the target object and the sensitivity level related to the determination criterion as to whether to execute the image-related processing are stored. Table storage means, specifying means for specifying the state of the object in the newly acquired image, and the sensitivity level and the object of the state table based on the state of the object specified by the specifying means And changing means for changing the correspondence relationship with the reference state of the object.
請求項2に記載の発明は、請求項1に記載の画像処理装置において、
前記特定手段により特定された前記対象物の状態と、前記レベル指定手段により指定された前記感度レベルと前記状態テーブルに対応付けられている対象物の基準状態とを比較判定する判定手段を更に備え、前記変更手段は、前記判定手段により前記対象物の基準状態を超えていると判定された前記対象物の状態に基づいて、前記状態テーブルの前記感度レベルと前記対象物の基準状態との対応関係を変更することを特徴としている。
The invention according to
And a determination unit for comparing and determining the state of the object specified by the specifying unit, the sensitivity level specified by the level specifying unit, and a reference state of the object associated with the state table. And the changing means corresponds to the sensitivity level of the state table and the reference state of the object based on the state of the object determined by the determining means to exceed the reference state of the object. It is characterized by changing the relationship.
請求項3に記載の発明は、請求項2に記載の画像処理装置において、
前記対象物として被写体を撮像する撮像手段と、前記画像関連処理として、前記撮像手段により前記被写体を自動的に撮像させる自動撮影処理を制御する自動撮影制御手段と、を更に備え、前記自動撮影制御手段は、前記判定手段による判定結果に応じて、前記撮像手段に前記被写体を自動的に撮像させるか否かを制御することを特徴としている。
The invention according to
The automatic photographing control further comprising: an imaging unit that images a subject as the object; and an automatic photographing control unit that controls an automatic photographing process in which the subject is automatically imaged by the imaging unit as the image-related processing. The means is characterized by controlling whether or not the imaging means automatically images the subject according to a determination result by the determination means.
請求項4に記載の発明は、請求項2に記載の画像処理装置において、
複数の画像を記憶する画像記憶手段と、前記画像関連処理として、前記画像記憶手段に記憶されている前記複数の画像の中で前記対象物に係る所望の画像を検索する検索処理を行う画像検索手段と、を更に備え、前記画像検索手段は、前記判定手段による判定結果に応じて、前記複数の画像の中の何れかの画像を前記所望の画像として特定するか否かを制御することを特徴としている。
The invention according to claim 4 is the image processing apparatus according to
Image storage means for storing a plurality of images, and image search for performing a search process for searching for a desired image related to the object among the plurality of images stored in the image storage means as the image-related processing And the image search means controls whether or not to specify any one of the plurality of images as the desired image according to a determination result by the determination means. It is a feature.
請求項5に記載の発明は、請求項2〜4の何れか一項に記載の画像処理装置において、
前記状態テーブルは、複数の感度レベルの各々と複数の対象物の基準状態の各々とが対応付けられ、前記判定手段は、前記複数の感度レベルのうち、前記レベル指定手段により指定された何れか一の感度レベルと前記状態テーブルに対応付けられている対象物の基準状態と、前記特定手段により特定された前記対象物の状態とを比較判定することを特徴としている。
The invention according to claim 5 is the image processing apparatus according to any one of
In the state table, each of the plurality of sensitivity levels is associated with each of the reference states of the plurality of objects, and the determination unit is any one of the plurality of sensitivity levels specified by the level specifying unit. One sensitivity level and a reference state of an object associated with the state table are compared with a state of the object specified by the specifying unit.
請求項6に記載の発明は、請求項1〜5の何れか一項に記載の画像処理装置において、
前記特定手段によってこれまでに特定された前記対象物の過去状態を複数記憶する過去状態記憶手段を更に備え、前記変更手段は、前記過去状態記憶手段に記憶されている複数の前記対象物の過去状態のうち、最も新しいものから所定数の前記対象物の過去状態に基づいて、前記状態テーブルの前記感度レベルと前記対象物の基準状態との対応関係を変更することを特徴としている。
The invention according to
The apparatus further comprises past state storage means for storing a plurality of past states of the object identified so far by the specifying means, and the changing means includes past of the plurality of objects stored in the past state storage means. The correspondence relationship between the sensitivity level of the state table and the reference state of the object is changed based on the past states of the predetermined number of objects from the newest among the states.
請求項7に記載の発明は、請求項1〜6の何れか一項に記載の画像処理装置において、
前記対象物は、人物であることを特徴としている。
The invention according to claim 7 is the image processing apparatus according to any one of claims 1 to 6,
The object is a person.
請求項8に記載の発明は、請求項1〜6の何れか一項に記載の画像処理装置において、
前記対象物は、人物の顔であることを特徴としている。
The invention according to
The object is a human face.
請求項9に記載の発明は、請求項8に記載の画像処理装置において、
前記状態テーブルは、複数の感度レベルの各々と複数の対象物の基準状態の各々とが対応付けられ、前記対象物の基準状態は、前記人物の顔の表情に基づいて規定されていることを特徴としている。
The invention according to claim 9 is the image processing apparatus according to
In the state table, each of the plurality of sensitivity levels is associated with each of the reference states of the plurality of objects, and the reference state of the object is defined based on the facial expression of the person. It is a feature.
請求項10に記載の発明は、請求項1〜9の何れか一項に記載の画像処理装置において、
前記状態テーブルは、対象物の種類に応じて複数設けられていることを特徴としている。
The invention according to
A plurality of the state tables are provided according to the type of the object.
請求項11に記載の発明のプログラムは、
画像関連処理の実行に係る感度レベルを指定するレベル指定手段と、前記画像関連処理を実行するか否かの判定基準に係る対象物の基準状態と感度レベルとが対応付けられた状態テーブルを記憶するテーブル記憶手段と、を備える画像処理装置のコンピュータを、
新規に取得した画像内の対象物の状態を特定する特定手段、前記特定手段により特定された前記対象物の状態に基づいて、前記状態テーブルの前記感度レベルと前記対象物の基準状態との対応関係を変更する変更手段、として機能させることを特徴としている。
The program of the invention described in claim 11 is
A level designating unit that designates a sensitivity level related to the execution of the image-related processing, and a state table that associates the reference state of the target object and the sensitivity level related to the determination criterion as to whether to execute the image-related processing are stored. A table storage means, and a computer of an image processing apparatus,
Identification means for specifying the state of the object in the newly acquired image, and correspondence between the sensitivity level of the state table and the reference state of the object based on the state of the object specified by the specifying means It is characterized by functioning as a changing means for changing the relationship.
本発明によれば、対象物の状態を考慮して画像関連処理を適正に行うことができ、画像処理装置の使い勝手を向上させることができる。 According to the present invention, it is possible to appropriately perform image-related processing in consideration of the state of an object, and it is possible to improve the usability of the image processing apparatus.
以下に、本発明について、図面を用いて具体的な態様を説明する。ただし、発明の範囲は、図示例に限定されない。
図1は、本発明を適用した一実施形態の撮像装置100の概略構成を示すブロック図である。
Hereinafter, specific embodiments of the present invention will be described with reference to the drawings. However, the scope of the invention is not limited to the illustrated examples.
FIG. 1 is a block diagram illustrating a schematic configuration of an
本実施形態の撮像装置100は、撮像部1により撮像される被写体の状態が所定条件を満たした場合に、当該被写体に係る画像データを記録保存する自動撮影処理後に、処理結果に応じて、当該自動撮影処理の実行判定に係る状態テーブルT1の現笑顔度を更新する。
具体的には、図1に示すように、撮像装置100は、撮像部1と、記録媒体制御部2と、記録媒体3と、表示部4と、操作入力部5と、バッファメモリ6と、内蔵メモリ7と、CPU8を備えて構成されている。
When the state of the subject imaged by the imaging unit 1 satisfies a predetermined condition, the
Specifically, as illustrated in FIG. 1, the
撮像部1は、撮像手段として、一のシーンを撮像して画像フレームを生成する。具体的には、図示は省略するが、撮像部1は、例えば、撮像レンズと、撮像レンズを通過した被写体像を二次元の画像信号に変換するCCD(Charge Coupled Device)やCMOS(Complementary Metal-oxide Semiconductor)等からなる電子撮像部と、電子撮像部の制御や、AE(自動露出処理)、AF(自動合焦処理)、AWB(自動ホワイトバランス)の制御などを行う撮像制御部等を備えている。
そして、撮像制御部は、電子撮像部に所定の露出時間で被写体を撮像させ、当該電子撮像部の撮像領域から画像フレームを読み出す。その後、撮像制御部は、読み出した画像フレームをバッファメモリ6に転送して格納する。
The imaging unit 1 generates an image frame by imaging one scene as an imaging unit. Specifically, although not shown, the imaging unit 1 includes, for example, an imaging lens and a CCD (Charge Coupled Device) or CMOS (Complementary Metal-Metal) that converts a subject image that has passed through the imaging lens into a two-dimensional image signal. An electronic imaging unit composed of oxide semiconductor, etc., and an imaging control unit that controls the electronic imaging unit and controls AE (automatic exposure processing), AF (automatic focusing processing), AWB (automatic white balance), etc. ing.
The imaging control unit causes the electronic imaging unit to image the subject with a predetermined exposure time, and reads an image frame from the imaging area of the electronic imaging unit. Thereafter, the imaging control unit transfers the read image frame to the
記録媒体制御部2は、記録媒体3に対する画像ファイルの格納や、記録媒体3からの画像ファイルの読み出しを制御する。
The recording
記録媒体3は、例えば、カード型の不揮発性メモリ(フラッシュメモリ)やハードディスク等により構成されている。
The
表示部4は、図示は省略するが、例えば、液晶などの画像表示部と、この画像表示部への画像フレームの表示を制御する表示制御部等を備えている。そして、表示部4は、撮像部1により撮像される画像フレームを所定のフレームレートで逐次更新しながらライブビュー画像を表示する。 Although not shown, the display unit 4 includes, for example, an image display unit such as a liquid crystal display and a display control unit that controls display of an image frame on the image display unit. The display unit 4 displays the live view image while sequentially updating the image frames captured by the imaging unit 1 at a predetermined frame rate.
操作入力部5は、当該撮像装置100の所定操作を行うためのものである。具体的には、図示は省略するが、操作入力部5は、撮像部1による被写体の記録を指示するシャッターボタンや、各種動作モードや各種項目の選択を行う上下左右のカーソルボタンや、これらカーソルボタンにより選択された動作モードや項目の決定を指示する決定ボタン等を備えている。
The operation input unit 5 is for performing a predetermined operation of the
動作モードとしては、例えば、静止画像を撮影する静止画撮影モードや、撮像部1により生成された撮影対象と類似する所望の画像データを自動的に記録保存する自動撮影モード等が挙げられる。
そして、ユーザにより所定の動作モード(例えば、自動撮影モード等)が選択されると、当該動作モードの設定指示を入力回路(図示略)を介してCPU8に出力する。CPU8は、設定指示が入力されると、各部を制御して当該動作モードに応じた処理を行う。
Examples of the operation mode include a still image shooting mode for shooting a still image, and an automatic shooting mode for automatically recording and saving desired image data similar to the shooting target generated by the imaging unit 1.
When the user selects a predetermined operation mode (for example, an automatic shooting mode), an instruction to set the operation mode is output to the
また、操作入力部5は、自動撮影処理(画像関連処理)を実行するか否かの判定に係る複数の感度レベルのうち、ユーザ所望の何れかの感度レベルを指定する。
感度レベルの指定方法としては、例えば、感度指定画面(図示略)に表示されたレベル1〜3のうち、何れかのレベルを指定するようにしても良いし、所望の感度レベルの数値を入力するようにしても良い。なお、感度レベルは、数値が小さい程、感度が緩くなっており、レベル1が最も感度が低く、レベル3が最も感度が高くなっている。
そして、ユーザにより所定の感度レベル(例えば、レベル1等)が選択されると、当該感度レベルの設定指示を入力回路(図示略)を介してCPU8に出力する。CPU8は、設定指示が入力されると、各部を制御して当該感度レベルに応じた処理を行う。
ここで、操作入力部5は、自動撮影処理の実行に係る感度レベルを指示するレベル指示手段を構成している。
In addition, the operation input unit 5 designates any sensitivity level desired by the user among a plurality of sensitivity levels related to determination as to whether or not to perform automatic shooting processing (image-related processing).
As a method for specifying the sensitivity level, for example, any one of levels 1 to 3 displayed on the sensitivity specification screen (not shown) may be specified, or a desired sensitivity level value may be input. You may make it do. As the sensitivity level is smaller, the sensitivity is lower. Level 1 has the lowest sensitivity, and
When a predetermined sensitivity level (for example, level 1) is selected by the user, an instruction to set the sensitivity level is output to the
Here, the operation input unit 5 constitutes a level instruction means for instructing a sensitivity level related to execution of the automatic photographing process.
バッファメモリ6は、例えば、フラッシュメモリ等により構成され、CPU8によって処理されるデータ等を一時記憶する。
The
CPU8は、撮像装置100の各部を制御するものである。具体的には、CPU8は、内蔵メモリ7のプログラムメモリ(後述)に記憶された撮像装置100用の各種処理プログラムに従って各種の制御動作を行うものである。
The
内蔵メモリ7は、テーブル記憶手段として、自動撮影処理を実行するか否かの判定基準に係る人物の顔の現笑顔度(基準状態)と感度レベルとが対応付けられた状態テーブルT1を記憶する(図2参照)。
状態テーブルT1は、図2に示すように、Aさん、Bさん、Cさん等の人物を識別するための人物IDと、各人物の顔の顔特徴データと、過去の笑顔度を数値化した笑顔度過去履歴と、現在の笑顔度をレベル毎に数値化した現笑顔度(対象物の基準状態)とを対応付けて登録するものである。現笑顔度は、内蔵メモリ7に記憶されている笑顔度判定用テンプレートT2(図3参照)を基準にして数値化したものである。ここで、笑顔度判定用テンプレートT2は、例えば、大笑いを笑顔度100として、笑い量が小さくなるに従って笑顔度が次第に小さくなるように5段階で規定されている。例えば、Aさんの場合には、レベル1が笑顔度50であり、レベル2が笑顔度70であり、レベル3が笑顔度100である。また、Bさんの場合には、レベル1が笑顔度10であり、レベル2が笑顔度30であり、レベル3が笑顔度50である。また、Cさんの場合には、レベル1が笑顔度30であり、レベル2が笑顔度50であり、レベル3が笑顔度70である。
ここで、内蔵メモリ7は、これまでに特定処理(後述)により特定された人物の顔の過去の笑顔度(対象物の過去状態)を複数記憶する過去状態記憶手段を構成している。
The built-in memory 7 stores, as a table storage unit, a state table T1 in which the current smile level (reference state) of the person's face related to the determination criterion for whether or not to execute the automatic photographing process is associated with the sensitivity level. (See FIG. 2).
As shown in FIG. 2, the state table T1 quantifies a person ID for identifying a person such as Mr. A, Mr. B, and Mr. C, facial feature data of each person's face, and past smile level. The past smile degree history and the current smile degree (reference state of the object) obtained by quantifying the current smile degree for each level are registered in association with each other. The current smile level is a numerical value based on the smile level determination template T2 (see FIG. 3) stored in the built-in memory 7. Here, the smile degree determination template T2 is defined in five stages so that, for example, a big smile is a
Here, the built-in memory 7 constitutes past state storage means for storing a plurality of past smile degrees (the past state of the object) of the person's face specified by the specifying process (described later).
また、内蔵メモリ7は、プログラムメモリを備え、CPU8の動作に必要な各種プログラムやデータを記憶している。
このプログラムは、後述する認識処理ルーチン、特定処理ルーチン、判定処理ルーチン、自動撮影制御処理ルーチン、変更処理ルーチンを含む。
ここでいうルーチンとは、コンピュータのプログラムの部分をなし、ある機能をもった一連の命令群のことである。
The built-in memory 7 includes a program memory, and stores various programs and data necessary for the operation of the
This program includes a recognition processing routine, a specific processing routine, a determination processing routine, an automatic photographing control processing routine, and a change processing routine which will be described later.
Here, the routine is a series of instructions that constitute a part of a computer program and have a certain function.
認識処理ルーチンは、CPU8を認識手段として機能させるためのプログラム部分である。即ち、認識処理ルーチンは、新規に取得した画像内の人物の顔を認識する認識処理に係る機能をCPU8に実現させるための命令群を含む。
具体的には、この認識処理ルーチンにより、CPU8は、撮像部1により順次生成される複数の画像データの各々を新規に取得した後、当該画像データに係る画像内の人物(例えば、Aさん)の顔を検出して特定する顔認識処理を行う。
ここで、顔認識処理は、例えば、状態テーブルT1の人物IDと対応付けられている顔特徴データを参照して、目、鼻、ロなどに相当する特徴部分の位置関係や肌色領域の面積などから判定された顔サイズ等から人物を特定する。
The recognition processing routine is a program part for causing the
Specifically, after this recognition processing routine, the
Here, the face recognition process refers to, for example, the facial feature data associated with the person ID in the state table T1, the positional relationship of the feature parts corresponding to the eyes, nose, and the like, the area of the skin color region, etc. The person is identified from the face size determined from the above.
特定処理ルーチンは、CPU8を特定手段として機能させるためのプログラム部分である。即ち、特定処理ルーチンは、認識処理にて認識された人物の顔の状態を特定する特定処理に係る機能をCPU8に実現させるための命令群を含む。
具体的には、この特定処理ルーチンにより、CPU8は、認識処理にて認識された人物の顔の目や口等の座標の変化状態から笑顔度判定用テンプレートT2を用いて笑顔度(例えば、大笑いに対応する笑顔度100等)を特定する。
The specific process routine is a program part for causing the
Specifically, according to this specific processing routine, the
判定処理ルーチンは、CPU8を判定手段として機能させるためのプログラム部分である。即ち、判定処理ルーチンは、特定処理にて特定された人物の顔の笑顔度と、ユーザによる操作入力部5の所定操作に基づいて指定された感度レベル(例えば、レベル2)と状態テーブルT1に対応付けられている人物の顔の現笑顔度(例えば、Aさんの場合、笑顔度70)とを比較判定する判定処理に係る機能をCPU8に実現させるための命令群を含む。
The determination processing routine is a program part for causing the
自動撮影制御処理ルーチンは、CPU8を自動撮影制御手段として機能させるためのプログラム部分である。即ち、自動撮影制御処理ルーチンは、撮像部1により対象物を自動的に撮像させる自動撮影処理に係る機能をCPU8に実現させるための命令群を含む。
具体的には、この自動撮影制御処理ルーチンにより、CPU8は、判定処理による判定結果に応じて、撮像部1により生成された画像データを自動的に記録媒体3に記録保存させるか否かを制御する。例えば、CPU8は、特定処理にて特定された人物の顔の笑顔度が、ユーザにより指定された感度レベルと状態テーブルT1に対応付けられている人物の顔の現笑顔度よりも大きいと判定された場合に、当該判定に係る画像データを取得して記録媒体3に記録保存させる一方で、特定処理にて特定された人物の顔の笑顔度が現笑顔度以下であると判定された場合に、当該判定に係る画像データの記録保存を実行制御しない。
The automatic photographing control processing routine is a program part for causing the
Specifically, the
変更処理ルーチンは、CPU8を変更手段として機能させるためのプログラム部分である。即ち、変更処理ルーチンは、特定処理にて特定された人物の顔の笑顔度、特に、判定処理にて現笑顔度を超えていると判定された当該人物の顔の笑顔度に基づいて、状態テーブルT1の感度レベルと人物の顔の現笑顔度との対応関係を変更するテーブル更新処理に係る機能をCPU8に実現させるための命令群を含む。
具体的には、この変更処理ルーチンにより、CPU8は、状態テーブルT1の笑顔度過去履歴に登録されている最新の画像データの笑顔度「A」、その一つ前の画像データの笑顔度「B」、さらに一つ前の画像データの笑顔度「C」、さらに一つ前の画像データの笑顔度「D」を取得して、これら「A」〜「D」の値を重み付け平均して(例えば、0.4×A+0.3×B+0.2×C+0.1×D等)、その演算結果をレベル2の現笑顔度として上書き保存する。レベル1及び3の現笑顔度は、笑顔度判定用テンプレートT2を用いて、レベル2の笑顔度を挟む笑顔度を特定して、その特定された値をレベル1及び3の現笑顔度として上書き保存する。つまり、CPU8は、状態テーブルT1の笑顔度過去履歴に登録されている複数の笑顔度のうち、特定処理にて新規に特定された最も新しい人物の顔の笑顔度から所定数の笑顔度に基づいて、状態テーブルT1の感度レベルと現笑顔度との対応関係を変更する。
なお、笑顔度の重み付け平均の方法として上記したものは一例であって、これに限られるものではない。
The change processing routine is a program part for causing the
Specifically, by this change processing routine, the
Note that the above-described method of weighted average smile level is an example, and is not limited to this.
図4〜図8は、撮像装置100の全体の動作を説明するためのフローチャートであるとともに、プログラムメモリに記憶されたプログラムのアルゴリズム構造を示すフローチャートである。実際に使用するCPU8に対応した具体的なプログラムコードの記載は省略するが、このフローチャート(アルゴリズム構造)に基づいて適宜設計すればよい。
4 to 8 are flowcharts for explaining the overall operation of the
次に、撮像装置100のメイン動作について図4を参照して説明する。
図4は、撮像装置100によるメイン動作の一例を示すフローチャートである。
Next, the main operation of the
FIG. 4 is a flowchart illustrating an example of a main operation performed by the
図4に示すように、先ず、CPU8は、当該撮像装置100の各部を初期化するイニシャライズ処理を行う(ステップS1)。
その後、CPU8は、ユーザによる操作入力部5の所定操作に基づいて自動撮影処理の実行が指示されると、各部を制御して自動撮影処理を行う(ステップS2;詳細後述)。
そして、自動撮影処理の終了後、CPU8は、ユーザによる操作入力部5の所定操作に基づいてテーブル更新処理の実行が指示されると、各部を制御してテーブル更新処理を行う(ステップS3;詳細後述)。
そして、テーブル更新処理が終了すると、CPU8は、ユーザによる操作入力部5の所定操作に基づいてその他の処理の実行が指示されると、その他の処理を行う(ステップS4)。
As shown in FIG. 4, first, the
Thereafter, when the
After completion of the automatic photographing process, when the
When the table update process is completed, the
次に、自動撮影処理について図5を参照して説明する。
図5は、撮像装置100による自動撮影処理に係る動作の一例を示すフローチャートである。
Next, the automatic photographing process will be described with reference to FIG.
FIG. 5 is a flowchart illustrating an example of an operation related to automatic photographing processing by the
図5に示すように、CPU8は、自動撮影モードに設定されているか否かを判定する(ステップS21)。
ここで、自動撮影モードに設定されていると判定されると(ステップS21;YES)、CPU8は、自動撮影処理の感度レベルの変更指示が入力されているか否かを判定する(ステップS22)。そして、ステップS22にて、感度レベルの変更指示が入力されている、即ち、例えば、感度をレベル2からレベル1に変更する等の指示が入力されていると判定されると(ステップS22;YES)、CPU8は、入力された感度レベルの変更指示に応じて感度レベルを設定する処理を行う(ステップS23)。
As shown in FIG. 5, the
If it is determined that the automatic shooting mode is set (step S21; YES), the
次に、CPU8は、認識処理ルーチンにより、撮像部1により順次生成される複数の画像データの各々を新規に取得して、当該画像データに基づいて表示部4にライブビュー画像を表示させるとともに、当該画像データに係る画像内の人物の顔を検出する(ステップS24)。そして、CPU8は、何れかの画像から人物の顔を検出したと判定すると(ステップS24;YES)、当該顔を認識して個人(例えば、Aさん等)を特定する個人認識処理を行う(ステップS25)。
また、ステップS22にて、感度レベルの変更指示が入力されていないと判定された場合にも(ステップS22;NO)、CPU8は、処理をステップS24に移行させる。
Next, the
Also, when it is determined in step S22 that no sensitivity level change instruction has been input (step S22; NO), the
その後、CPU8は、個人認識された顔が状態テーブルT1に登録されているか否かを判定する(ステップS26)。
なお、ステップS25の個人認識において、複数の人物を認識した場合には、画像の略中心にいる人物についてのみ状態テーブルT1に登録されているか否かを判定するようにしても良いし、全ての人物について状態テーブルT1に登録されているか否かを判定するようにしても良い。
そして、状態テーブルT1に登録されていると判定されると(ステップS26;YES)、CPU8は、特定処理ルーチンにより、個人認識された人物の顔の笑顔の状態から笑顔度判定用テンプレートT2を用いて笑顔度(例えば、大笑いに対応する笑顔度100等)を判定して特定する(ステップS27)。
Thereafter, the
Note that when a plurality of persons are recognized in the personal recognition in step S25, it may be determined whether only the person at the approximate center of the image is registered in the state table T1 or not. It may be determined whether or not a person is registered in the state table T1.
If it is determined that it is registered in the state table T1 (step S26; YES), the
続けて、CPU8は、判定処理ルーチンにより、特定処理にて特定された人物の顔の笑顔度と、指定されている感度レベル(例えば、レベル1)と状態テーブルT1に対応付けられている人物の顔の現笑顔度(例えば、Aさんの場合、笑顔度50)とを比較して、笑顔度が現笑顔度を超えたか否かを判定する(ステップS28)。
なお、ステップS25の個人認識において、複数の人物を認識した場合には、画像の略中心にいる人物についてのみ現笑顔度を超えたか否かを判定するようにしても良いし、全ての人物について現笑顔度を超えたか否かを判定するようにしても良い。
そして、笑顔度が現笑顔度を超えたと判定されると(ステップS28;YES)、CPU8は、自動撮影制御処理ルーチンにより、当該判定に係る画像データを取得して記録媒体3に記録保存させる(ステップS29)。
Subsequently, the
When a plurality of persons are recognized in the individual recognition in step S25, it may be determined whether or not the current smile level is exceeded only for the person at the approximate center of the image, or for all persons. It may be determined whether or not the current smile level has been exceeded.
If it is determined that the smile level exceeds the current smile level (step S28; YES), the
一方、ステップS28にて、笑顔度が現笑顔度を超えていないと判定されると(ステップS28;NO)、CPU8は、自動撮影制御処理ルーチンにより、当該判定に係る画像データの記録保存を実行制御せずに、ユーザにより操作入力部5のシャッターボタンが所定操作されて被写体の撮像が指示されたか否かを判定する(ステップS2A)。
ここで、シャッターボタンが所定操作されて被写体の撮像が指示されると(ステップS2A;YES)、CPU8は、処理をステップS29に移行させて、当該判定に係る画像データを取得して記録媒体3に記録保存させる。
On the other hand, if it is determined in step S28 that the smile level does not exceed the current smile level (step S28; NO), the
Here, when the shutter button is operated for a predetermined time and imaging of the subject is instructed (step S2A; YES), the
また、ステップS26にて、個人認識された顔が状態テーブルT1に登録されていないと判定されると(ステップS26;NO)、CPU8は、当該個人認識に係る人物が状態テーブルT1に未登録である旨(例えば、「この人物は登録されていません」等)を表示部4に表示させて報知する(ステップS2B)。
その後、CPU8は、処理をステップS2Aに移行させて、シャッターボタンが所定操作されたか否かを判定する。
なお、ステップS2Bにて、状態テーブルT1に未登録である旨の報知後に、当該未登録の人物のIDを新規に登録するようにしても良い。
If it is determined in step S26 that the personally recognized face is not registered in the state table T1 (step S26; NO), the
Thereafter, the
In step S2B, after notifying that the status table T1 is not registered, the ID of the unregistered person may be newly registered.
また、ステップS24にて、人物の顔が検出されていないと判定された場合や(ステップS24;NO)、ステップS21にて、自動撮影モードに設定されていないと判定された場合にも(ステップS21;NO)、CPU8は、処理をステップS2Aに移行させて、シャッターボタンが所定操作されたか否かを判定する。
Also, when it is determined in step S24 that no human face has been detected (step S24; NO), or when it is determined in step S21 that the automatic shooting mode has not been set (step S21). S21; NO), the
次に、テーブル更新処理について図6を参照して説明する。
図6は、テーブル更新処理に係る動作の一例を示すフローチャートである。
Next, the table update process will be described with reference to FIG.
FIG. 6 is a flowchart illustrating an example of an operation related to the table update process.
図6に示すように、CPU8は、画像データを新規に取得したか否かを判定する(ステップS31)。
ここで、新規に取得したと判定されると(ステップS31;YES)、CPU8は、認識処理ルーチンにより、新規に取得した画像データに係る画像内の人物の顔を検出する。そして、CPU8は、何れかの画像から人物の顔を検出したと判定すると(ステップS32;YES)、当該顔を認識して個人(例えば、Aさん等)を特定する個人認識処理を行う(ステップS33)。
As shown in FIG. 6, the
If it is determined that the image is newly acquired (step S31; YES), the
次に、CPU8は、特定処理ルーチンにより、個人認識された人物の顔の笑顔の状態から笑顔度判定用テンプレートT2を用いて笑顔度(例えば、大笑いに対応する笑顔度100等)を判定して特定する(ステップS34)。その後、CPU8は、特定した笑顔度を状態テーブルT1の笑顔度過去履歴に登録する(ステップS35)。
Next, the
その後、CPU8は、変更処理ルーチンにより、状態テーブルT1の笑顔度過去履歴に登録されている複数の笑顔度のうち、新しいものから直近4つの笑顔度、即ち、最新の画像データの笑顔度「A」、その一つ前の画像データの笑顔度「B」、さらに一つ前の画像データの笑顔度「C」、さらに一つ前の画像データの笑顔度「D」を取得する(ステップS36)。
続けて、CPU8は、これらの笑顔度「A」〜「D」の値を重み付け平均して、感度レベル2の現笑顔度を算出する(ステップS37)。
そして、CPU8は、笑顔度判定用テンプレートT2を用いて、感度レベル2の現笑顔度から感度レベル1及び3の現笑顔度を特定して、その特定された値を感度レベル1〜3の現笑顔度として上書きすることで、状態テーブルT1を更新する(ステップS38)。
After that, the
Subsequently, the
Then, the
なお、ステップS31にて、画像データを新規に取得していないと判定された場合や(ステップS31;NO)、ステップS32にて、新規に取得した画像データに係る画像内から人物の顔が検出されなかった場合には(ステップS32;NO)、当該テーブル更新処理を終了する。 If it is determined in step S31 that image data has not been newly acquired (step S31; NO), a human face is detected from the image associated with the newly acquired image data in step S32. If not (step S32; NO), the table update process is terminated.
以上のように、本実施形態の撮像装置100によれば、自動撮影処理を行うものであって、撮像部1により撮像される人物の顔の笑顔度と、ユーザ所望の感度レベルと状態テーブルT1に対応付けられている当該人物の顔の現笑顔度とを比較判定して、現笑顔度を超えていると判定された人物の顔の笑顔度に基づいて、当該自動撮影処理の実行判定に係る状態テーブルT1の現笑顔度と感度レベルの対応関係を更新する。
即ち、撮像装置100は、撮像部1により撮像される人物の顔の笑顔度が、状態テーブルT1の現笑顔度を超えたと判定された場合に、当該判定に係る画像データを記録保存する自動撮影処理を実行する。そして、状態テーブルT1に登録されている、自動撮影処理にて新規に記録保存された画像データの笑顔度を含む過去の笑顔度に基づいて、状態テーブルT1の現笑顔度と感度レベルとの対応関係を更新するので、その後の自動撮影処理の実行判定において、人物の笑顔の状態を考慮して自動撮影処理を適正に行うことができる。つまり、自動撮影処理の実行判定の感度レベルを複数の感度レベルの中でユーザ所望のレベルに設定した場合に、当該感度レベルに従って実行判定が複数の人物で一律に行われるのではなく、各人物の笑顔の状態を考慮して状態テーブルT1の現笑顔度と感度レベルとの対応関係を内部的に設定し直すことができ、これにより、表情の変化の少ない人物や表情の変化の多い人物であっても、感度レベルを変更することなく各人物により適した判定基準で自動撮影条件を判定して、自動撮影処理を適正に行うことができる。
特に、状態テーブルT1の笑顔度過去履歴に登録されている最も新しいものから所定数の笑顔度、即ち、各人物の笑顔のより新しい変化状態を考慮して状態テーブルT1の現笑顔度と感度レベルとの対応関係を内部的に設定し直すので、以前は表情の変化が少ない人が最近よく笑うようになった場合に、当該人物の笑顔のより新しい変化状態を考慮して自動撮影条件を判定することができる。
このように、自動撮影処理をより適正に行うことができ、撮像装置100の使い勝手を向上させることができる。
As described above, according to the
That is, when it is determined that the smile level of the person's face imaged by the imaging unit 1 exceeds the current smile level of the state table T1, the
In particular, the current smile level and the sensitivity level of the state table T1 in consideration of a predetermined number of smile levels from the newest ones registered in the past smile history of the state table T1, that is, newer changes in the smiles of each person Is automatically set, so if a person with little change in facial expression recently laughs well, the automatic shooting conditions are determined considering the newer change in the person's smile can do.
In this way, automatic photographing processing can be performed more appropriately, and usability of the
また、状態テーブルT1は、複数の感度レベルの各々と複数の人物の現笑顔度の各々とが対応付けられており、複数の感度レベルの中で、ユーザにより指定された何れか一の感度レベルと対応付けられている人物の現笑顔度と、新規に取得した画像内の人物の笑顔度とを比較判定するので、自動撮影を適正に行うことができない場合等に、感度レベルを変更することができ、より使い勝手の良い撮像装置100を提供することができる。
In the state table T1, each of the plurality of sensitivity levels is associated with each of the current smile levels of the plurality of persons, and one of the plurality of sensitivity levels is designated by the user. Since the current smile level of the person associated with is compared with the smile level of the person in the newly acquired image, the sensitivity level can be changed when automatic shooting cannot be performed properly. Therefore, it is possible to provide the
また、ステップS28にて、笑顔度が現笑顔度を超えていないと判定されて(ステップS28;NO)、自動撮影が実行されない場合であっても、ステップS2Aにて、ユーザによるシャッターボタンの所定操作に基づいて被写体を撮像して、画像データを記録媒体3に記録保存することができるので、自動撮影を適正に行うことができない場合等に感度レベルを変更することなく所望の被写体の撮像を適正に行うことができる。
さらに、当該被写体の撮像により新規に取得した当該画像データの笑顔度に基づいて、状態テーブルT1の現笑顔度と感度レベルの対応関係を更新することができる。即ち、自動撮影処理にて取得された画像データだけでなく、ユーザによる手動撮影指示に基づいて取得された画像データの笑顔度も考慮して、状態テーブルT1の現笑顔度と感度レベルの対応関係を更新することができるため、より使い勝手の良い撮像装置100を提供することができる。
Further, even when it is determined in step S28 that the smile level does not exceed the current smile level (step S28; NO) and automatic shooting is not executed, in step S2A, a predetermined shutter button is set by the user. Since the subject can be imaged based on the operation and the image data can be recorded and saved in the
Furthermore, the correspondence between the current smile level and the sensitivity level in the state table T1 can be updated based on the smile level of the image data newly acquired by imaging the subject. That is, the relationship between the current smile level and the sensitivity level in the state table T1 in consideration of not only the image data acquired by the automatic shooting process but also the smile level of the image data acquired based on the manual shooting instruction by the user. Therefore, it is possible to provide the
なお、本発明は、上記実施形態に限定されることなく、本発明の趣旨を逸脱しない範囲において、種々の改良並びに設計の変更を行っても良い。
例えば、画像関連処理として、複数の画像データの中から検索対象と類似する所望の画像データを特定する検索処理を行う場合について、以下の変形例1に説明する。
The present invention is not limited to the above-described embodiment, and various improvements and design changes may be made without departing from the spirit of the present invention.
For example, a case where a search process for specifying desired image data similar to a search target from a plurality of image data is performed as the image-related process will be described in Modification 1 below.
<変形例1>
以下に、変形例1の撮像装置について、図7及び図8を参照して説明する。
なお、変形例1の撮像装置は、検索処理を行う以外の点で上記実施形態の撮像装置100と略同様の構成をなし、その説明は省略する。
<Modification 1>
Hereinafter, an imaging apparatus of Modification 1 will be described with reference to FIGS. 7 and 8.
Note that the imaging apparatus of the first modification has substantially the same configuration as the
記録媒体3は、画像記憶手段として、複数の画像ファイルを記憶している。ここで、画像ファイルは、例えば、撮像部1による対象物の撮像により生成されたものであっても良いし、外部機器から所定の通信手段を介して転送されたものであっても良い。
The
プログラムメモリに記憶されるプログラムは、認識処理ルーチン、特定処理ルーチン、判定処理ルーチン、自動撮影制御処理ルーチン、変更処理ルーチンに加えて、画像検索処理ルーチンを含んでいる。
画像検索処理ルーチンは、CPU8を画像検索手段として機能させるためのプログラム部分である。即ち、画像検索処理ルーチンは、記録媒体3に記憶されている複数の画像ファイルの中で所望の画像ファイルを特定する検索処理に係る機能をCPU8に実現させるための命令群を含む。
具体的には、この画像検索処理ルーチンにより、CPU8は、判定処理による判定結果に応じて、複数の画像ファイルの中の何れかの画像ファイルを所望の画像ファイルとして特定するか否かを制御する。例えば、CPU8は、特定処理にて特定された検索候補画像内の人物の顔の笑顔度が、ユーザにより指定された感度レベルと状態テーブルT1に対応付けられている人物の顔の現笑顔度よりも大きいと判定された場合に、当該判定に係る検索候補画像を所望の画像ファイルとして特定する一方で、検索候補画像の人物の顔の笑顔度が現笑顔度以下であると判定された場合に、当該判定に係る検索候補画像を所望の画像ファイルとして特定しない。
The program stored in the program memory includes an image search processing routine in addition to a recognition processing routine, a specific processing routine, a determination processing routine, an automatic photographing control processing routine, and a change processing routine.
The image search processing routine is a program part for causing the
Specifically, according to this image search processing routine, the
次に、検索処理について図7及び図8を参照して説明する。
図7及び図8は、撮像装置による検索処理に係る動作の一例を示すフローチャートである。
Next, the search process will be described with reference to FIGS.
7 and 8 are flowcharts illustrating an example of operations related to search processing by the imaging apparatus.
図7に示すように、CPU8は、画像検索モードに設定されているか否かを判定する(ステップS101)。
ここで、検索モードに設定されていると判定されると(ステップS101;YES)、CPU8は、検索処理の感度レベルの変更指示が入力されているか否かを判定する(ステップS102)。そして、ステップS102にて、感度レベルの変更指示が入力されている、即ち、例えば、感度をレベル2からレベル1に変更する等の指示が入力されていると判定されると(ステップS102;YES)、CPU8は、入力された感度レベルの変更指示に応じて感度レベルを設定する処理を行う(ステップS103)。
As shown in FIG. 7, the
If it is determined that the search mode is set (step S101; YES), the
次に、CPU8は、検索処理の検索対象の変更指示が入力されているか否かを判定する(ステップS104)。また、ステップS102にて、感度レベルの変更指示が入力されていないと判定された場合にも(ステップS102;NO)、CPU8は、処理をステップS104に移行させる。
そして、ステップS104にて、検索対象の変更指示が入力されていると判定されると(ステップS104;YES)、CPU8は、入力された検索対象の変更指示に応じて検索対象を設定する処理を行う(ステップS105)。
Next, the
If it is determined in step S104 that a search target change instruction has been input (step S104; YES), the
続けて、CPU8は、ユーザによる操作入力部5の所定操作に基づいて検索開始の指示が入力されたか否かを判定する(ステップS106)。また、ステップS104にて、検索対象の変更指示が入力されていないと判定された場合にも(ステップS104;NO)、CPU8は、処理をステップS106に移行させる。
ここで、検索開始の指示が入力されたと判定されると(ステップS106;YES)、CPU8は、認識処理ルーチンにより、記録媒体3に記憶されている複数の画像ファイルの中から何れか一の検索候補の画像ファイルを新規に取得した後、当該画像ファイルに係る検索候補画像内の人物の顔を検出する。そして、CPU8は、検索候補画像から人物の顔を検出したと判定すると(ステップS107;YES)、当該顔を認識して個人(例えば、Aさん等)を特定する個人認識処理を行う(ステップS108)。
Subsequently, the
If it is determined that a search start instruction has been input (step S106; YES), the
図8に示すように、その後、CPU8は、個人認識された顔が状態テーブルT1に登録されているか否かを判定する(ステップS109)。
ここで、状態テーブルT1に登録されていると判定されると(ステップS109;YES)、CPU8は、特定処理ルーチンにより、個人認識された人物の顔の笑顔の状態から笑顔度判定用テンプレートT2を用いて笑顔度を判定して特定する(ステップS10A)。
As shown in FIG. 8, after that, the
Here, if it is determined that it is registered in the state table T1 (step S109; YES), the
続けて、CPU8は、判定処理ルーチンにより、特定処理にて特定された人物の顔の笑顔度と、指定されている感度レベル(例えば、レベル1)と状態テーブルT1に対応付けられている人物の顔の現笑顔度(例えば、Aさんの場合、笑顔度50)とを比較して、笑顔度が現笑顔度を超えたか否かを判定する(ステップS10B)。
ここで、笑顔度が現笑顔度を超えたと判定されると(ステップS10B;YES)、CPU8は、画像検索処理ルーチンにより、当該判定に係る検索候補画像が検索対象と一致すると判定して、所望の画像として特定する(ステップS10C)。そして、CPU8は、当該検索結果として所望の画像を表示部4に表示させる(ステップS10D)。
Subsequently, the
If it is determined that the smile level has exceeded the current smile level (step S10B; YES), the
一方、ステップS10Bにて、笑顔度が現笑顔度を超えていないと判定されると(ステップS10B;NO)、CPU8は、画像検索処理ルーチンにより、当該判定に係る検索候補画像が検索対象と不一致であると判定する(ステップS10E)。
On the other hand, if it is determined in step S10B that the smile level does not exceed the current smile level (step S10B; NO), the
また、ステップS109にて、個人認識された顔が状態テーブルT1に登録されていないと判定された場合や(ステップS109;NO)、ステップS107にて、人物の顔が検出されていないと判定された場合や(ステップS107;NO)、ステップS106にて、検索開始の指示が入力されていないと判定された場合や(ステップS106;NO)、ステップS101にて、画像検索モードに設定されていないと判定された場合にも(ステップS101;NO)、CPU8は、当該検索処理を終了させる。
Further, when it is determined in step S109 that the personally recognized face is not registered in the state table T1 (step S109; NO), it is determined in step S107 that a human face has not been detected. If it is determined (step S107; NO), or if it is determined in step S106 that a search start instruction is not input (step S106; NO), the image search mode is not set in step S101. Even when it is determined that the
なお、CPU8は、上記の認識処理、特定処理、判定処理、画像検索処理を、記録媒体3に記憶されている複数の画像ファイルの各々について順次実行する。
The
テーブル更新処理は、上記実施形態と同様に、新規に画像を取得する毎に実行されるため、その詳細な説明は省略する。 Since the table update process is executed every time a new image is acquired, as in the above embodiment, detailed description thereof is omitted.
従って、変形例1の撮像装置によれば、自動撮影処理等により画像データを新規に取得した場合に、当該画像データの笑顔度を含む過去の笑顔度に基づいて、状態テーブルT1の現笑顔度と感度レベルとの対応関係を更新するので、その後の検索処理の実行判定において、人物の笑顔の状態を考慮して検索処理を適正に行うことができる。
つまり、検索処理の実行判定の感度レベルを複数の感度レベルの中でユーザ所望のレベルに設定した場合に、当該感度レベルに従って実行判定が複数の人物で一律に行われるのではなく、各人物の笑顔の状態を考慮して状態テーブルT1の現笑顔度と感度レベルとの対応関係を内部的に設定し直すことができ、これにより、表情の変化の少ない人物や表情の変化の多い人物であっても、感度レベルを変更することなく各人物により適した判定基準で検索条件を判定して、検索処理を適正に行うことができる。
特に、状態テーブルT1の笑顔度過去履歴に登録されている最も新しいものから所定数の笑顔度、即ち、各人物の笑顔のより新しい変化状態を考慮して状態テーブルT1の現笑顔度と感度レベルとの対応関係を内部的に設定し直すので、以前は表情の変化が少ない人が最近よく笑うようになった場合に、当該人物の笑顔のより新しい変化状態を考慮して検索条件を判定することができる。
このように、検索処理をより適正に行うことができ、撮像装置の使い勝手をより向上させることができる。
Therefore, according to the imaging apparatus of the first modification, when image data is newly acquired by automatic photographing processing or the like, the current smile level of the state table T1 is based on the past smile level including the smile level of the image data. And the sensitivity level are updated, it is possible to appropriately perform the search process in consideration of the smile state of the person in the subsequent execution determination of the search process.
That is, when the sensitivity level of the search process execution determination is set to a user-desired level among the plurality of sensitivity levels, the execution determination is not uniformly performed by a plurality of persons according to the sensitivity level. The correspondence between the current smile level and the sensitivity level in the state table T1 can be internally set in consideration of the smile state, so that a person with a small change in facial expression or a person with a large change in facial expression can be selected. However, it is possible to appropriately perform the search process by determining the search condition based on a determination criterion more suitable for each person without changing the sensitivity level.
In particular, the current smile level and the sensitivity level of the state table T1 in consideration of a predetermined number of smile levels from the newest ones registered in the past smile history of the state table T1, that is, newer changes in the smiles of each person The search condition is determined in consideration of the newer change state of the person's smile when a person who has little change in facial expression recently laughs well recently. be able to.
Thus, the search process can be performed more appropriately, and the usability of the imaging device can be further improved.
なお、上記変形例1にあっては、画像記憶手段として、記録媒体3を例示したが、これに限られるものではなく、内蔵メモリ7に複数の画像データを記憶するようにしても良い。
In the first modification, the
また、上記変形例1にあっては、検索処理により特定された所望の画像ファイルに係る画像を表示部4に表示させるようにしたが、これに限られるものではなく、所望の画像ファイルを記録媒体3や内蔵メモリ7の所定のフォルダ(図示略)に格納するようにしても良い。 In the first modification, an image related to a desired image file specified by the search process is displayed on the display unit 4, but the present invention is not limited to this, and the desired image file is recorded. You may make it store in the predetermined folder (illustration omitted) of the medium 3 or the internal memory 7. FIG.
なお、上記実施形態にあっては、ステップS27、S34、S10Aにて、人物の顔の笑顔度の判定に笑顔度判定用テンプレートT2を用いるようにしたが、笑顔度の判定方法はこれに限られるものではなく、例えば、目や口の変化度合から判定するようにしても良い。
即ち、例えば、当該笑顔度の判定に係る人物の全ての画像をチェックして、目や口の座標の最大変位(差分)を算出して、変化の大きかった人を表情の豊かな人とし、変化の少なかった人を表情の乏しい人として、個別に感度レベル1〜3に対応する笑顔度を設定するようにしても良い。
また、予め各人物の笑った顔を複数撮影しておき、これらの中から基準となる画像を感度レベル1〜3と対応付けて設定するようにしても良い。
In the above-described embodiment, the smile degree determination template T2 is used for determining the smile level of a person's face in steps S27, S34, and S10A. However, the smile level determination method is not limited to this. For example, the determination may be made based on the degree of change of eyes and mouth.
That is, for example, by checking all the images of the person involved in the determination of the smile degree, calculating the maximum displacement (difference) of the coordinates of the eyes and mouth, and making the person with a large change a person with a rich expression, You may make it set the smile degree corresponding to the sensitivity levels 1-3 separately as a person with few expressions with a person with little change.
Alternatively, a plurality of faces laughed by each person may be photographed in advance, and a reference image among them may be set in association with sensitivity levels 1 to 3.
また、上記実施形態にあっては、画像関連処理として、自動撮影処理及び検索処理を例示したが、これらに限られるものではなく、撮像装置、画像検索装置等の画像処理装置により行われる画像関連処理であれば如何なるものであっても良い。 In the above-described embodiment, the automatic image capturing process and the search process are exemplified as the image related process. However, the image related process is not limited to these, and the image related process performed by an image processing apparatus such as an imaging apparatus or an image search apparatus. Any processing can be used.
さらに、上記実施形態にあっては、画像関連処理に係る対象物の基準状態として人物の顔の表情、特に、笑顔度を例示したが、対象物の基準状態はこれに限られるものではなく、例えば、目や顔の向き、姿勢等に基づいて規定されていても良い。
また、対象物として人物、特に、人物の顔を例示したが、これらに限られるものではない。
なお、上記の場合にあっては、対象物の種類、例えば、目や顔の向き、姿勢等に対応させて状態テーブルを各々設けるようにしても良い。これにより、人物の笑顔度、目や顔の向き、姿勢等の複数の判定条件の中で、ユーザ所望の条件に切り換えて画像関連処理を実行することができる。
Furthermore, in the above embodiment, the facial expression of a person, in particular, the smile level is exemplified as the reference state of the object related to the image-related processing, but the reference state of the object is not limited to this, For example, it may be defined based on the direction of the eyes or face, the posture, or the like.
Moreover, although a person, especially a person's face was illustrated as a target object, it is not restricted to these.
In the above case, a state table may be provided corresponding to the type of the object, for example, the direction of the eyes or face, the posture, or the like. As a result, it is possible to execute image-related processing by switching to a user-desired condition among a plurality of determination conditions such as a person's smile level, eye and face orientation, and posture.
さらに、上記実施形態にあっては、自動撮影処理や検索処理における実行判定の感度レベルをユーザ所望のレベルに設定するようにしたが、これに限られるものではなく、所定の感度レベルで一律に固定されていても良い。 Furthermore, in the above-described embodiment, the sensitivity level of execution determination in the automatic shooting process and the search process is set to a user-desired level. However, the present invention is not limited to this, and it is uniformly at a predetermined sensitivity level. It may be fixed.
また、撮像装置100の構成は、上記実施形態に例示したものは一例であり、これに限られるものではない。
さらに、画像処理装置として、撮像装置100を例示したが、これに限られるものではなく、画像関連処理を行うものであれば画像検索装置等の他の画像処理装置であっても良い。
In addition, the configuration of the
Furthermore, although the
加えて、上記実施形態では、特定手段、判定手段、変更手段、自動撮影制御手段、画像検索手段としての機能を、CPU8によって所定のプログラム等が実行されることにより実現される構成としたが、これに限られるものではなく、例えば、各種機能を実現するためのロジック回路等から構成しても良い。
In addition, in the above-described embodiment, the function as the specifying unit, the determining unit, the changing unit, the automatic photographing control unit, and the image searching unit is realized by the
100 撮像装置
1 撮像部
3 記録媒体
5 操作入力部
8 CPU
DESCRIPTION OF
Claims (11)
前記画像関連処理を実行するか否かの判定基準に係る対象物の基準状態と感度レベルとが対応付けられた状態テーブルを記憶するテーブル記憶手段と、
新規に取得した画像内の対象物の状態を特定する特定手段と、
前記特定手段により特定された前記対象物の状態に基づいて、前記状態テーブルの前記感度レベルと前記対象物の基準状態との対応関係を変更する変更手段と、
を備えることを特徴とする画像処理装置。 Level designation means for designating a sensitivity level related to execution of image-related processing;
A table storage unit that stores a state table in which a reference state and a sensitivity level of an object related to a determination criterion as to whether to execute the image-related processing are associated with each other;
Identifying means for identifying the state of the object in the newly acquired image;
Changing means for changing a correspondence relationship between the sensitivity level of the state table and a reference state of the object based on the state of the object specified by the specifying means;
An image processing apparatus comprising:
前記変更手段は、前記判定手段により前記対象物の基準状態を超えていると判定された前記対象物の状態に基づいて、前記状態テーブルの前記感度レベルと前記対象物の基準状態との対応関係を変更することを特徴とする請求項1に記載の画像処理装置。 And a determination unit for comparing and determining the state of the object specified by the specifying unit, the sensitivity level specified by the level specifying unit, and a reference state of the object associated with the state table. ,
The changing means is a correspondence relationship between the sensitivity level of the state table and the reference state of the object based on the state of the object determined by the determining means to exceed the reference state of the object. The image processing apparatus according to claim 1, wherein:
前記画像関連処理として、前記撮像手段により前記被写体を自動的に撮像させる自動撮影処理を制御する自動撮影制御手段と、を更に備え、
前記自動撮影制御手段は、前記判定手段による判定結果に応じて、前記撮像手段に前記被写体を自動的に撮像させるか否かを制御することを特徴とする請求項2に記載の画像処理装置。 Imaging means for imaging a subject as the object;
The image-related processing further includes automatic photographing control means for controlling automatic photographing processing for automatically photographing the subject by the imaging means,
The image processing apparatus according to claim 2, wherein the automatic photographing control unit controls whether or not the imaging unit automatically images the subject according to a determination result by the determination unit.
前記画像関連処理として、前記画像記憶手段に記憶されている前記複数の画像の中で前記対象物に係る所望の画像を検索する検索処理を行う画像検索手段と、を更に備え、
前記画像検索手段は、前記判定手段による判定結果に応じて、前記複数の画像の中の何れかの画像を前記所望の画像として特定するか否かを制御することを特徴とする請求項2に記載の画像処理装置。 Image storage means for storing a plurality of images;
Image search means for performing a search process for searching for a desired image related to the object among the plurality of images stored in the image storage means as the image-related processing,
The image search means controls whether or not to specify any one of the plurality of images as the desired image according to a determination result by the determination means. The image processing apparatus described.
前記判定手段は、前記複数の感度レベルのうち、前記レベル指定手段により指定された何れか一の感度レベルと前記状態テーブルに対応付けられている対象物の基準状態と、前記特定手段により特定された前記対象物の状態とを比較判定することを特徴とする請求項2〜4の何れか一項に記載の画像処理装置。 In the state table, each of the plurality of sensitivity levels is associated with each of the reference states of the plurality of objects,
The determining means is specified by the specifying means and any one of the plurality of sensitivity levels specified by the level specifying means and the reference state of the object associated with the state table. The image processing apparatus according to claim 2, wherein the image processing apparatus compares and determines the state of the object.
前記変更手段は、前記過去状態記憶手段に記憶されている複数の前記対象物の過去状態のうち、最も新しいものから所定数の前記対象物の過去状態に基づいて、前記状態テーブルの前記感度レベルと前記対象物の基準状態との対応関係を変更することを特徴とする請求項1〜5の何れか一項に記載の画像処理装置。 Past state storage means for storing a plurality of past states of the object identified so far by the specifying means;
The changing unit is configured to determine the sensitivity level of the state table based on a predetermined number of past states of the target object from the newest among the past states of the plurality of target objects stored in the past state storage unit. The image processing apparatus according to claim 1, wherein a correspondence relationship between the object and a reference state of the object is changed.
前記対象物の基準状態は、前記人物の顔の表情に基づいて規定されていることを特徴とする請求項8に記載の画像処理装置。 In the state table, each of the plurality of sensitivity levels is associated with each of the reference states of the plurality of objects,
The image processing apparatus according to claim 8, wherein the reference state of the object is defined based on a facial expression of the person.
新規に取得した画像内の対象物の状態を特定する特定手段、
前記特定手段により特定された前記対象物の状態に基づいて、前記状態テーブルの前記感度レベルと前記対象物の基準状態との対応関係を変更する変更手段、
として機能させることを特徴とするプログラム。 A level designating unit that designates a sensitivity level related to the execution of the image-related processing, and a state table that associates the reference state of the target object and the sensitivity level related to the determination criterion as to whether to execute the image-related processing are stored. A table storage means, and a computer of an image processing apparatus,
Identification means for identifying the state of the object in the newly acquired image;
Changing means for changing a correspondence relationship between the sensitivity level of the state table and a reference state of the object based on the state of the object specified by the specifying means;
A program characterized by functioning as
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2008225829A JP5168034B2 (en) | 2008-09-03 | 2008-09-03 | Image processing apparatus and program |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2008225829A JP5168034B2 (en) | 2008-09-03 | 2008-09-03 | Image processing apparatus and program |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2010062814A true JP2010062814A (en) | 2010-03-18 |
JP5168034B2 JP5168034B2 (en) | 2013-03-21 |
Family
ID=42189136
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2008225829A Active JP5168034B2 (en) | 2008-09-03 | 2008-09-03 | Image processing apparatus and program |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP5168034B2 (en) |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2011237970A (en) * | 2010-05-10 | 2011-11-24 | Nippon Hoso Kyokai <Nhk> | Facial expression variation measurement device, program thereof and broadcast interest level measurement device |
JP2012257168A (en) * | 2011-06-10 | 2012-12-27 | Olympus Imaging Corp | Imaging apparatus and imaging method |
JP2013111172A (en) * | 2011-11-28 | 2013-06-10 | Daikoku Denki Co Ltd | Player management device |
JP2018112831A (en) * | 2017-01-10 | 2018-07-19 | 日本電気株式会社 | Information processing apparatus, method of finding bullying, information processing system, and computer program |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2000187738A (en) * | 1998-10-12 | 2000-07-04 | Fujitsu Ltd | Picture generation device, database and storage medium |
JP2005149370A (en) * | 2003-11-19 | 2005-06-09 | Matsushita Electric Ind Co Ltd | Imaging device, personal authentication device and imaging method |
JP2010041309A (en) * | 2008-08-04 | 2010-02-18 | Nec Corp | Image pickup device, portable telephone terminal, image pickup method, program and recoding medium |
-
2008
- 2008-09-03 JP JP2008225829A patent/JP5168034B2/en active Active
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2000187738A (en) * | 1998-10-12 | 2000-07-04 | Fujitsu Ltd | Picture generation device, database and storage medium |
JP2005149370A (en) * | 2003-11-19 | 2005-06-09 | Matsushita Electric Ind Co Ltd | Imaging device, personal authentication device and imaging method |
JP2010041309A (en) * | 2008-08-04 | 2010-02-18 | Nec Corp | Image pickup device, portable telephone terminal, image pickup method, program and recoding medium |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2011237970A (en) * | 2010-05-10 | 2011-11-24 | Nippon Hoso Kyokai <Nhk> | Facial expression variation measurement device, program thereof and broadcast interest level measurement device |
JP2012257168A (en) * | 2011-06-10 | 2012-12-27 | Olympus Imaging Corp | Imaging apparatus and imaging method |
JP2013111172A (en) * | 2011-11-28 | 2013-06-10 | Daikoku Denki Co Ltd | Player management device |
JP2018112831A (en) * | 2017-01-10 | 2018-07-19 | 日本電気株式会社 | Information processing apparatus, method of finding bullying, information processing system, and computer program |
Also Published As
Publication number | Publication date |
---|---|
JP5168034B2 (en) | 2013-03-21 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP4262082B2 (en) | Image processing apparatus, control method therefor, program, and storage medium | |
KR100731192B1 (en) | Image sensing apparatus and control method thereof | |
JP4900014B2 (en) | Imaging apparatus and program thereof | |
US9041832B2 (en) | Imaging apparatus and method for controlling the same | |
EP1826609B1 (en) | Image pickup apparatus having a help function, and method and program for controlling the same | |
US20100194963A1 (en) | Display control apparatus, image capturing apparatus, display control method, and program | |
JP5293206B2 (en) | Image search apparatus, image search method and program | |
US8989504B2 (en) | Image processing device that renews identification information of specific subject | |
JP2010147808A (en) | Imaging apparatus and image processing method in same | |
US8902344B2 (en) | Display control apparatus, image capture apparatus, display control method, and image capture apparatus control method | |
JP5641813B2 (en) | Imaging apparatus and imaging method, image processing apparatus and image processing method | |
JP2005045600A (en) | Image photographing apparatus and program | |
JP5168034B2 (en) | Image processing apparatus and program | |
JP4895205B2 (en) | Image processing apparatus and program thereof | |
JP2014186580A (en) | Authentication device, imaging device, registration method of authentication data, program, and storage medium | |
JP5826026B2 (en) | Imaging apparatus and control method thereof | |
JP2009038749A (en) | Image processor, control method of image processor, and program for implementing the same | |
JP6143181B2 (en) | Imaging apparatus, moving image shooting method, and program | |
JP5195170B2 (en) | Image processing apparatus and program | |
JP5641069B2 (en) | Image processing apparatus and program | |
JP5854861B2 (en) | Imaging device, control method thereof, and control program | |
JP5375943B2 (en) | Imaging apparatus and program thereof | |
JP5418657B2 (en) | Image processing apparatus and program | |
JP2013141104A (en) | Imaging apparatus | |
JP5482030B2 (en) | Imaging apparatus, imaging control program, and imaging control method |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20110901 |
|
RD02 | Notification of acceptance of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7422 Effective date: 20110901 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20120816 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20120821 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20120910 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20121127 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20121210 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 5168034 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |