JP2011078009A - Imaging device and program for imaging device - Google Patents

Imaging device and program for imaging device Download PDF

Info

Publication number
JP2011078009A
JP2011078009A JP2009229762A JP2009229762A JP2011078009A JP 2011078009 A JP2011078009 A JP 2011078009A JP 2009229762 A JP2009229762 A JP 2009229762A JP 2009229762 A JP2009229762 A JP 2009229762A JP 2011078009 A JP2011078009 A JP 2011078009A
Authority
JP
Japan
Prior art keywords
image
hand
imaging
information
search area
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
JP2009229762A
Other languages
Japanese (ja)
Inventor
Takumi Mori
工 毛利
Original Assignee
Olympus Corp
オリンパス株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Olympus Corp, オリンパス株式会社 filed Critical Olympus Corp
Priority to JP2009229762A priority Critical patent/JP2011078009A/en
Publication of JP2011078009A publication Critical patent/JP2011078009A/en
Withdrawn legal-status Critical Current

Links

Images

Abstract

<P>PROBLEM TO BE SOLVED: To provide an imaging device and a program for the imaging device that can appropriately perform remote control based on states of a face or hands of an object to be photographed regardless of the number of the objects to be photographed. <P>SOLUTION: An imaging device includes: an imaging means that photographs an object to generate digital image data; a face image detection means that detects face images from image data generated by the imaging means; a hand image search area setting means that sets a search area of hand images corresponding to the face image detected by the face image detection means; a hand image detection means that detects the hand image existing in the search area set by the hand image search area setting means; a recognition means that recognizes shapes or motion of the hand image based on the face images detected by the face image detection means and hand images detected by the hand image detection means; and an operation control means that performs operation control according to the shapes or motion of the hand image recognized by the recognition means. <P>COPYRIGHT: (C)2011,JPO&INPIT

Description

本発明は、被写体を撮像してデジタルの画像データを生成する撮像装置および撮像装置用プログラムに関する。   The present invention relates to an imaging apparatus and an imaging apparatus program for imaging a subject and generating digital image data.
近年、被写体を撮像してデジタルの画像データを生成するデジタルカメラ等の撮像装置においては、顔認識技術やジェスチャ認識技術などの種々の入力技術を用いて動作制御を行う技術が提案されている。この技術では、ユーザの顔の表情、ユーザの手や指の3次元位置、形状、動きなどを認識することによって撮像装置の制御を行っている。以下、より具体的な従来技術を説明する。   In recent years, in an imaging apparatus such as a digital camera that captures a subject and generates digital image data, a technique for performing operation control using various input techniques such as a face recognition technique and a gesture recognition technique has been proposed. In this technique, the imaging apparatus is controlled by recognizing the facial expression of the user, the three-dimensional position, shape, movement, etc. of the user's hand or finger. Hereinafter, a more specific conventional technique will be described.
下記特許文献1では、カメラより入力画像から被撮影者を特定し、被撮影者が行うジェスチャによって、カメラおよび運台を制御し、カメラのレリーズなどの動作を行う技術が開示されている(例えば、特許文献1を参照)。   Japanese Patent Application Laid-Open No. 2004-151561 discloses a technique for identifying a person to be photographed from an input image from a camera, controlling a camera and a carriage with gestures performed by the person to be photographed, and performing operations such as release of the camera (for example, , See Patent Document 1).
また、下記特許文献2では、ロボット装置と、そのロボット装置の周囲にいる人間とのコミュニケーションを行う場合において、ロボット装置の周囲を撮影し、撮影された画像から、人間の顔の検出と、手または腕を検出し、検出した顔および手または腕の状態からジェスチャを認識する方法が開示されている(例えば、特許文献2を参照)。   Further, in Patent Document 2 below, when communication is performed between a robot apparatus and a person around the robot apparatus, the surroundings of the robot apparatus are imaged, and human face detection and hand detection are performed from the captured image. Alternatively, a method of detecting an arm and recognizing a gesture from the detected face and hand or arm state is disclosed (for example, see Patent Document 2).
特開2005−51472号公報JP 2005-51472 A 特開2007−257088号公報Japanese Patent Laid-Open No. 2007-257088
しかしながら、上述した従来技術では、被写体として複数の人物が存在している場合、人の顔と手の対応付けを正確に行うことができず、遠隔操作を的確に行うことができないという問題があった。   However, the above-described prior art has a problem in that when there are a plurality of persons as subjects, the human face cannot be accurately associated with the hand and the remote operation cannot be performed accurately. It was.
本発明は、上記に鑑みてなされたものであって、被写体の人数によらず、被写体の顔や手の状態に基づく遠隔操作を的確に行うことができる撮像装置および撮像装置用プログラムを提供することを目的とする。   The present invention has been made in view of the above, and provides an imaging apparatus and an imaging apparatus program that can accurately perform remote operation based on the state of a subject's face and hands regardless of the number of subjects. For the purpose.
上述した課題を解決し、目的を達成するために、本発明に係る撮像装置は、被写体を撮像してデジタルの画像データを生成する撮像手段と、前記撮像手段が生成した画像データから顔画像を検出する顔画像検出手段と、前記顔画像検出手段が検出した顔画像に対応した手画像の探索領域を設定する手画像探索領域設定手段と、前記手画像探索領域設定手段が設定した探索領域に存在する手画像を検出する手画像検出手段と、前記顔画像検出手段が検出した顔画像と前記手画像検出手段が検出した手画像との対応関係に基づいて前記手画像の形状または動きを認識する認識手段と、前記認識手段が認識した前記手画像の形状または動きに応じた動作制御を行う動作制御手段と、を備えたことを特徴とする。   In order to solve the above-described problems and achieve the object, an imaging apparatus according to the present invention includes an imaging unit that images a subject to generate digital image data, and a face image from the image data generated by the imaging unit. A face image detection means for detecting, a hand image search area setting means for setting a search area for a hand image corresponding to the face image detected by the face image detection means, and a search area set by the hand image search area setting means. Recognizing the shape or movement of the hand image based on the correspondence between the hand image detecting means for detecting an existing hand image and the face image detected by the face image detecting means and the hand image detected by the hand image detecting means And a motion control means for performing motion control in accordance with the shape or movement of the hand image recognized by the recognition means.
また、本発明に係る撮像装置は、上記発明において、前記手画像探索領域設定手段は、前記顔画像を含む顔画像領域の近傍に手画像の探索領域を設定することを特徴とする。   In the imaging device according to the present invention as set forth in the invention described above, the hand image search area setting means sets a hand image search area in the vicinity of the face image area including the face image.
また、本発明に係る撮像装置は、上記発明において、前記顔画像検出手段が顔画像を検出する際に参照する顔画像のパターン情報を少なくとも記憶するパターン情報記憶手段を備え、前記顔画像検出手段は、前記パターン情報記憶手段が記憶するパターンのうち特定のパターンに対応した顔画像のみを検出することを特徴とする。   The imaging apparatus according to the present invention further includes a pattern information storage unit that stores at least pattern information of a face image referred to when the face image detection unit detects a face image. Is characterized by detecting only a face image corresponding to a specific pattern among the patterns stored in the pattern information storage means.
また、本発明に係る撮像装置用プログラムは、被写体を撮像してデジタルの画像データを生成する撮像手段と、前記撮像手段が生成した画像データを記憶する記憶手段とを備えた撮像装置に、前記撮像手段が生成した画像データから顔画像を検出する顔画像検出ステップ、前記顔画像検出ステップで検出した顔画像に対応した手画像の探索領域を設定する手画像探索領域設定ステップ、前記手画像探索領域設定ステップで設定した探索領域に存在する手画像を検出する手画像検出ステップ、前記顔画像検出ステップで検出した顔画像および前記手画像検出ステップで検出した手画像を前記記憶手段から読み出し、この読み出した顔画像と手画像の対応関係に基づいて前記手画像の形状または動きを認識する認識ステップ、前記認識ステップで認識した前記手画像の形状または動きに応じた動作制御を行う動作制御ステップ、を実行させることを特徴とする。   In addition, an imaging apparatus program according to the present invention includes an imaging unit that captures an image of a subject and generates digital image data, and a storage unit that stores image data generated by the imaging unit. A face image detection step for detecting a face image from image data generated by the imaging means, a hand image search region setting step for setting a search region for a hand image corresponding to the face image detected in the face image detection step, and the hand image search A hand image detecting step for detecting a hand image existing in the search region set in the region setting step, a face image detected in the face image detecting step, and a hand image detected in the hand image detecting step are read from the storage means; A recognition step for recognizing the shape or movement of the hand image based on the correspondence between the read face image and the hand image; Operation control step for performing an operation control according to the shape or motion of the hand image identification, characterized in that to the execution.
本発明によれば、画像データから顔画像を検出し、この検出した顔画像に対応する手画像の探索領域を設定し、この設定した探索領域で手画像を検出し、この検出した手画像の形状または動きに応じて動作制御を行うため、顔画像と手画像とを正確に対応付けることができる。したがって、被写体の人数によらず、被写体の顔や手の状態に基づく遠隔操作を的確に行うことが可能となる。   According to the present invention, a face image is detected from image data, a hand image search area corresponding to the detected face image is set, a hand image is detected in the set search area, and the detected hand image is detected. Since the motion control is performed according to the shape or movement, the face image and the hand image can be accurately associated with each other. Therefore, remote operation based on the state of the subject's face and hands can be accurately performed regardless of the number of subjects.
図1は、本発明の一実施の形態に係る撮像装置の構成を示すブロック図である。FIG. 1 is a block diagram showing a configuration of an imaging apparatus according to an embodiment of the present invention. 図2は、本発明の一実施の形態に係る撮像装置の個体別情報記憶部が記憶する個体別情報の例を示す図である。FIG. 2 is a diagram illustrating an example of individual information stored in the individual information storage unit of the imaging apparatus according to the embodiment of the present invention. 図3は、顔画像領域および手画像領域の変化の具体例を示す図である。FIG. 3 is a diagram illustrating a specific example of changes in the face image area and the hand image area. 図4は、本発明の一実施の形態に係る撮像装置が撮像した画像における顔および手の検出処理の概要を示す図である。FIG. 4 is a diagram showing an outline of face and hand detection processing in an image captured by the imaging apparatus according to the embodiment of the present invention. 図5は、本発明の一実施の形態に係る撮像装置の手画像探索領域設定部が設定する手の探索領域の設定例を示す図である。FIG. 5 is a diagram illustrating a setting example of the hand search area set by the hand image search area setting unit of the imaging apparatus according to the embodiment of the present invention. 図6は、本発明の一実施の形態に係る撮像装置が行う処理の概要を示すフローチャートである。FIG. 6 is a flowchart showing an outline of processing performed by the imaging apparatus according to the embodiment of the present invention.
以下、添付図面を参照して、本発明を実施するための形態(以下、「実施の形態」という)を説明する。   DESCRIPTION OF EMBODIMENTS Hereinafter, embodiments for carrying out the present invention (hereinafter referred to as “embodiments”) will be described with reference to the accompanying drawings.
図1は、本発明の一実施の形態に係る撮像装置の構成を示す図である。同図に示す撮像装置1は、被写体を撮像して画像データを生成する撮像部2と、撮像部2が生成した画像データに対して画像処理を施す画像処理部3と、画像処理部3が出力する画像データを含む情報を表示する表示部4と、撮像装置1の操作指示信号が入力される入力部5と、撮像装置1の動作を制御する制御部6と、撮像装置1の動作に関する各種情報を記憶する記憶部7と、を備える。   FIG. 1 is a diagram illustrating a configuration of an imaging apparatus according to an embodiment of the present invention. An imaging apparatus 1 shown in FIG. 1 includes an imaging unit 2 that captures an image of a subject and generates image data, an image processing unit 3 that performs image processing on image data generated by the imaging unit 2, and an image processing unit 3. The display unit 4 that displays information including image data to be output, the input unit 5 to which an operation instruction signal of the imaging device 1 is input, the control unit 6 that controls the operation of the imaging device 1, and the operation of the imaging device 1 And a storage unit 7 for storing various types of information.
撮像部2は、一または複数のレンズを有する光学系と、シャッタと、絞りと、撮像素子とを備える。光学系は、例えば焦点距離可変のズームレンズを有し、撮像素子の撮像面上に被写体像を結像する。また、撮像素子は、CCD(Charge Coupled Device)またはCMOS(Complementary Metal Oxide Semiconductor)を用いて実現され、光学系が結像した被写体像をもとにデジタルの画像データを生成する。   The imaging unit 2 includes an optical system having one or more lenses, a shutter, a diaphragm, and an imaging element. The optical system has, for example, a variable focal length zoom lens, and forms a subject image on the imaging surface of the imaging device. The imaging element is realized using a CCD (Charge Coupled Device) or a CMOS (Complementary Metal Oxide Semiconductor), and generates digital image data based on the subject image formed by the optical system.
画像処理部3は、撮像部2が出力した画像データに対応する画像に含まれる人物の顔画像および手画像をそれぞれ検出する顔画像検出部31および手画像検出部32を有する。ここで、顔画像検出部31は、例えば、髪や目や口などの人物像の頭部を構成する各部分に関する幾何学的な形状特徴を利用して人物の頭部領域を抽出する方法や、肌色領域に注目して顔領域を抽出する方法や、ガボールウェーブレット変換などにより画像データの中から人物の顔位置での特徴量から顔領域を認識する方法などの公知の手法を用いて顔画像を検出する。   The image processing unit 3 includes a face image detection unit 31 and a hand image detection unit 32 that respectively detect a human face image and a hand image included in an image corresponding to the image data output by the imaging unit 2. Here, the face image detection unit 31 uses, for example, a method of extracting a person's head region using a geometric shape feature relating to each part constituting the head of a person image such as hair, eyes, or mouth, Face image using a known method such as a method of extracting a face region by paying attention to a skin color region or a method of recognizing a face region from a feature amount at a human face position from image data by Gabor wavelet transform or the like Is detected.
表示部4は、液晶、プラズマ、有機EL(Electro-Luminescense)等を用いて実現される。   The display unit 4 is realized using liquid crystal, plasma, organic EL (Electro-Luminescense), or the like.
入力部5は、撮像装置1の電源ボタン、撮像指示を与えるシャッターボタン、画像データの再生や編集の指示を含む制御ボタンなどを有する。入力部5を構成する各種ボタンの少なくとも一部の機能をタッチパネルによって実現することも可能である。   The input unit 5 includes a power button of the imaging apparatus 1, a shutter button for giving an imaging instruction, a control button including an instruction for reproducing and editing image data, and the like. It is also possible to realize at least a part of functions of various buttons constituting the input unit 5 by a touch panel.
制御部6は、顔画像検出部31によって検出された人物の顔と対応する手を手画像検出部32が探索する領域を設定する手画像探索領域設定部61と、手画像検出部32が検出した手のジェスチャを認識するジェスチャ認識部62と、ジェスチャ認識部62が認識したジェスチャに応じた動作制御を行う動作制御部63とを有する。制御部6はCPU(Central Proccessing Unit)等を用いて実現され、制御対象の各部とバスラインを介して接続されている。ジェスチャ認識部62は、顔画像検出部31が検出した顔画像と手画像検出部32が検出した手画像との対応関係に基づいて手画像の形状または動きを認識する認識手段としての機能を有する。   The control unit 6 includes a hand image search region setting unit 61 that sets a region in which the hand image detection unit 32 searches for a hand corresponding to the face of the person detected by the face image detection unit 31, and the hand image detection unit 32 detects the hand. A gesture recognition unit 62 for recognizing the gesture of the hand, and an operation control unit 63 for performing operation control according to the gesture recognized by the gesture recognition unit 62. The control unit 6 is realized using a CPU (Central Processing Unit) or the like, and is connected to each unit to be controlled via a bus line. The gesture recognition unit 62 has a function as a recognition unit that recognizes the shape or movement of the hand image based on the correspondence between the face image detected by the face image detection unit 31 and the hand image detected by the hand image detection unit 32. .
記憶部7は、撮像部2が撮影した画像データを記憶する画像データ記憶部71と、画像データに含まれる人物被写体の個体別情報を記憶する個体別情報記憶部72と、顔画像検出部31および手画像検出部32が顔画像や手画像の追尾を行う時に参照する顔や手のパターンを記憶するパターン情報記憶部73と、ジェスチャ認識部62が認識したジェスチャと動作制御部63が制御する動作との対応関係を記憶する対応関係記憶部74と、本実施の形態に係る撮像装置用プログラムを含み、撮像装置1が実行する各種プログラムを記憶するプログラム記憶部75と、有する。記憶部7は、撮像装置1の内部に固定的に設けられるフラッシュメモリやDRAM(Dynamic Random Access Memory)等の半導体メモリなどを用いて実現される。なお、記憶部7が、外部から装着されるメモリカード等の記録媒体に対して情報を記録する一方、記録媒体が記録する情報を読み出す記録媒体インターフェースとしての機能を有していてもよい。   The storage unit 7 includes an image data storage unit 71 that stores image data captured by the imaging unit 2, an individual information storage unit 72 that stores individual information of a person subject included in the image data, and a face image detection unit 31. The pattern information storage unit 73 that stores a face or hand pattern to be referred to when the hand image detection unit 32 tracks the face image or the hand image, and the gesture recognized by the gesture recognition unit 62 and the operation control unit 63 control it. A correspondence relationship storage unit 74 that stores a correspondence relationship with the operation, and a program storage unit 75 that stores the various programs executed by the imaging device 1 including the imaging device program according to the present embodiment. The storage unit 7 is realized by using a flash memory or a semiconductor memory such as a dynamic random access memory (DRAM) that is fixedly provided inside the imaging device 1. The storage unit 7 may have a function as a recording medium interface for reading information recorded on a recording medium while recording information on a recording medium such as a memory card mounted from the outside.
図2は、個体別情報記憶部72が記憶する個体別情報の例を示す図である。同図に示す個体別情報は、顔領域情報と手領域情報とを有する。このうち、顔領域情報は、初期情報、ロックオン情報、過去情報、現在情報、追跡位置データ列、動きベクトル情報によって構成されている。初期情報、過去情報、および現在情報は、領域位置情報、領域サイズ情報、肌色情報、髪色情報などをそれぞれ有する。過去情報は現在情報の一つ前の画像フレームで顔画像検出部31が検出した情報である。ロックオン情報は、顔の追尾を行っているロックオン状態(L)にあるか、または顔の追尾を行っていないアンロック状態(U)にあるかを示す情報である。ロックオン情報がアンロック状態にある場合、顔領域情報としては初期情報のみ存在する。追跡位置データ列は、所定の間隔での顔画像領域の領域位置情報のデータ列{Fm(00),Fm(10),Fm(20),・・・}を示している。ここで、mは個体の識別番号である。また、図2では、所定の間隔が10フレームごと(00,10,20,・・・)である場合を示している。動きベクトル情報は、データ列{Fm(00),Fm(10),Fm(20),・・・}において、隣接するデータの差分により算出され、例えばVFm(00,10)=Fm(10)−Fm(00)である。   FIG. 2 is a diagram illustrating an example of individual information stored in the individual information storage unit 72. The individual-specific information shown in the figure includes face area information and hand area information. Of these, the face area information includes initial information, lock-on information, past information, current information, a tracking position data string, and motion vector information. The initial information, past information, and current information include area position information, area size information, skin color information, hair color information, and the like. The past information is information detected by the face image detection unit 31 in the image frame immediately before the current information. The lock-on information is information indicating whether the lock-on state (L) in which face tracking is performed or the unlock state (U) in which face tracking is not performed. When the lock-on information is unlocked, only initial information exists as face area information. The tracking position data string indicates a data string {Fm (00), Fm (10), Fm (20),...} Of the area position information of the face image area at a predetermined interval. Here, m is an individual identification number. FIG. 2 shows a case where the predetermined interval is every 10 frames (00, 10, 20,...). The motion vector information is calculated from the difference between adjacent data in the data string {Fm (00), Fm (10), Fm (20),...}, For example, VFm (00,10) = Fm (10) -Fm (00).
手領域情報は、顔領域情報と同様、初期情報、ロックオン情報、過去情報、現在情報、追跡位置データ列、動きベクトル情報によって構成されている。初期情報、過去情報、および現在情報は、領域位置情報、領域サイズ情報、肌色情報、左右情報などをそれぞれ有する。ロックオン情報、追跡位置データ列、動きベクトル情報は、顔領域情報と同様に定義される。   Like the face area information, the hand area information includes initial information, lock-on information, past information, current information, a tracking position data string, and motion vector information. The initial information, past information, and current information each include area position information, area size information, skin color information, left and right information, and the like. The lock-on information, the tracking position data string, and the motion vector information are defined similarly to the face area information.
図3は、顔画像領域および手画像領域の変化の具体例を示す図である。図3において、顔画像領域Fmは、時間とともに変化しなかった場合を示している(Fm=Fm(00),Fm(10),Fm(20),・・・)。これに対し、手領域はHm(00),Hm(10),Hm(20),Hm(30),Hm(40)と徐々に変化している。このため、手の動きベクトルVHm(00,10),VHm(10,20),VHm(20,30),VHm(30,40)も互いに異なる。なお、顔画像領域が動いている場合には、顔画像の動きベクトル分を差し引いて手画像の領域位置情報のデータ列や動きベクトルを求めればよい。ところで、図3では、10フレーム毎の手画像領域を示しているため、隣接する手画像領域であっても離れているが、1フレームごとで見た場合、隣接するフレーム画像間の手画像領域は図3ほど離れておらず、互いに重なり合っているのが一般的である。   FIG. 3 is a diagram illustrating a specific example of changes in the face image area and the hand image area. In FIG. 3, the face image area Fm shows a case where it does not change with time (Fm = Fm (00), Fm (10), Fm (20),...)). On the other hand, the hand region gradually changes to Hm (00), Hm (10), Hm (20), Hm (30), and Hm (40). For this reason, the hand motion vectors VHm (00, 10), VHm (10, 20), VHm (20, 30), and VHm (30, 40) are also different from each other. When the face image area is moving, the data sequence and the motion vector of the area position information of the hand image may be obtained by subtracting the motion vector of the face image. By the way, in FIG. 3, since the hand image area | region for every 10 frames is shown, even if it is an adjacent hand image area | region, when it sees for every frame, the hand image area | region between adjacent frame images is a figure. In general, they are not separated from each other and overlap each other.
なお、顔領域情報として、顔の大きさ、顔の回転姿勢角度、存在領域、肌のテクスチャ(皺)などの情報を加えてもよい。また、手領域情報として、手の大きさ、手の回転姿勢角度、手の重心、手の色、手の表と裏、手のテクスチャなどの情報を加えてもよい。手の色を記録する際には、RGB表色系からHSV表色系などに変換することにより、光の影響を受けにくい形式で記憶しておくのが好ましい。   As face area information, information such as the face size, the face rotation posture angle, the existence area, and the skin texture (wrinkle) may be added. Further, as hand area information, information such as hand size, hand rotation posture angle, hand center of gravity, hand color, hand front and back, hand texture, and the like may be added. When recording a hand color, it is preferable to store it in a format that is not easily affected by light by converting from the RGB color system to the HSV color system.
次に、図4および図5を参照して、撮像装置1が行う処理の特徴を説明する。図4は、撮像装置1が撮像した画像における顔および手の検出処理の概要を示す図である。図4に示す画像100は、3人の人物が被写体として写っている。撮像装置1では、顔画像検出部31が、画像100に写っている人物の顔およびその顔の位置を検出する。図4に示す場合、顔画像検出部31は、3つの顔画像を検出し、各顔画像に対応する顔画像領域F(1)〜F(3)を設定する。その後、手画像探索領域設定部61は、顔画像領域F(1)〜F(3)にそれぞれ対応した手画像の探索領域を設定する。   Next, with reference to FIG. 4 and FIG. 5, features of processing performed by the imaging device 1 will be described. FIG. 4 is a diagram illustrating an outline of face and hand detection processing in an image captured by the image capturing apparatus 1. In the image 100 shown in FIG. 4, three persons are shown as subjects. In the imaging apparatus 1, the face image detection unit 31 detects the face of a person shown in the image 100 and the position of the face. In the case illustrated in FIG. 4, the face image detection unit 31 detects three face images, and sets face image regions F (1) to F (3) corresponding to the face images. Thereafter, the hand image search area setting unit 61 sets a search area for hand images corresponding to the face image areas F (1) to F (3).
図5は、手画像の探索領域の設定例を示す図である。図5において、探索領域DH(N)は、顔画像領域DF(N)の左下方に設定される。顔画像領域DF(N)に横のサイズをWとし、縦のサイズHとすると、探索領域DH(N)の横のサイズはaW,縦のサイズはbHとなる。ここで、a,bは1より小さい定数である。また、顔画像領域DF(N)の重心GFと探索領域DH(N)の重心GHとの水平方向の差分はΔxであり,鉛直方向の差分はΔyである。手画像検出部32は、手画像探索領域設定部61が設定した探索領域で手画像の検出を行う。 FIG. 5 is a diagram illustrating an example of setting a search region for hand images. In FIG. 5, the search area DH (N) is set to the lower left of the face image area DF (N) . If the horizontal size of the face image area DF (N) is W and the vertical size is H, the horizontal size of the search area DH (N) is aW and the vertical size is bH. Here, a and b are constants smaller than 1. The horizontal direction of the difference between the center of gravity G H of the center of gravity G F and the search area D H of the face image area D F (N) (N) is the [Delta] x, the difference in the vertical direction is [Delta] y. The hand image detection unit 32 detects a hand image in the search area set by the hand image search area setting unit 61.
図4に示す場合、手画像検出部32は、顔画像領域F(2),F(3)にそれぞれ対応した手画像を検出し、この検出した手画像に対応する手画像領域H(2),H(3)を設定している。これに対し、手画像検出部32は、顔画像領域F(1)に対応する手画像を検出していないため、顔画像領域F(1)に対応する手画像領域は設定されていない。なお、手領域Ha、Hbは、図5に示す探索領域DH(N)とは無関係の領域である。このため、手画像検出部32は、手領域Ha、Hbを検出しない。 In the case illustrated in FIG. 4, the hand image detection unit 32 detects hand images corresponding to the face image regions F (2) and F (3), and the hand image region H (2) corresponding to the detected hand image. , H (3) are set. On the other hand, since the hand image detection unit 32 has not detected the hand image corresponding to the face image region F (1), the hand image region corresponding to the face image region F (1) is not set. The hand areas Ha and Hb are areas unrelated to the search area D H (N) shown in FIG. For this reason, the hand image detection unit 32 does not detect the hand regions Ha and Hb.
このようにして、本実施の形態では、画像中で検出した顔の近傍にある手を検出するようにしているため、被写体である人物に対して顔の近くに手を持ってくるように伝えれば、顔画像と手画像との対応付けを容易にかつ正確に行うことができる。   In this way, in this embodiment, since the hand in the vicinity of the face detected in the image is detected, it is possible to tell the person who is the subject to bring the hand near the face. For example, it is possible to easily and accurately associate the face image with the hand image.
図6は、撮像装置1の処理の概要を示すフローチャートである。図6において、撮像装置1は、まず撮像部2が撮像することによって画像(スルー画像)を取得する(ステップS1)。   FIG. 6 is a flowchart illustrating an outline of processing of the imaging apparatus 1. In FIG. 6, the imaging device 1 first acquires an image (through image) by imaging by the imaging unit 2 (step S <b> 1).
続いて、顔画像検出部31は、パターン情報記憶部73が記憶する人物の顔のパターン情報を用いることにより、取得した画像に含まれる人物の顔画像の検出を行う(ステップS2)。顔画像検出部31が画像中に含まれる人物の顔画像を検出した場合(ステップS2:Yes)、制御部6は検出した人物の顔画像にラベルN(Nは自然数)を付与する(ステップS3)。このラベルは画像中での人物を識別するための便宜的なものであり、個体別情報記憶部72が記憶する識別番号mとは異なる。以下、画像中に含まれる人物の総数がNSであるとし(N=1,2,・・・,NS)、顔画像を「顔画像F(N)」という。この後、制御部6は、N=0と初期化(ステップS4)した後、N+1をNとおく(ステップS5)。なお、ステップS2において、顔画像検出部31が顔画像を検出しなかった場合(ステップS2:No)、撮像装置1は一連の処理を終了する。 Subsequently, the face image detection unit 31 detects the face image of the person included in the acquired image by using the pattern information of the person's face stored in the pattern information storage unit 73 (step S2). When the face image detection unit 31 detects a face image of a person included in the image (step S2: Yes), the control unit 6 assigns a label N (N is a natural number) to the detected face image of the person (step S3). ). This label is convenient for identifying a person in the image, and is different from the identification number m stored in the individual-specific information storage unit 72. Hereinafter, the total number of persons included in the image is to be N S (N = 1,2, ··· , N S), a face image of "a face image F (N)". Thereafter, the control unit 6 initializes N = 0 (step S4), and then sets N + 1 to N (step S5). In step S2, when the face image detection unit 31 does not detect a face image (step S2: No), the imaging device 1 ends a series of processes.
ステップS5に続いて、撮像装置1は、個体別情報記憶部72を参照して、顔画像F(N)に対応する初期情報があるか否かを判定する(ステップS6)。顔画像F(N)に対応する初期情報がある場合(ステップS6:Yes)、制御部6は、顔画像F(N)の現在情報を過去情報として個体別情報記憶部72へ記録し(ステップS7)、顔画像F(N)の検出結果を現在情報として個体別情報記憶部72へ記録する(ステップS8)。続いて、制御部6は、顔画像F(N)の過去情報の領域位置情報を追跡位置データ列に記録する(ステップS9)。その後、制御部6は、顔画像F(N)の動きベクトルを算出して個体別情報記憶部72へ記録する(ステップS10)。   Subsequent to step S5, the imaging device 1 refers to the individual information storage unit 72 and determines whether there is initial information corresponding to the face image F (N) (step S6). When there is initial information corresponding to the face image F (N) (step S6: Yes), the control unit 6 records the current information of the face image F (N) as past information in the individual information storage unit 72 (step). S7) The detection result of the face image F (N) is recorded in the individual information storage unit 72 as current information (step S8). Subsequently, the control unit 6 records the area position information of the past information of the face image F (N) in the tracking position data string (step S9). Thereafter, the control unit 6 calculates a motion vector of the face image F (N) and records it in the individual-specific information storage unit 72 (step S10).
その後、ラベルNがNSである場合(ステップS11:Yes)、撮像装置1はラベルN=0と再初期化し(ステップS12)、N+1をNとおく(ステップS13)。一方、ラベルNがNSでない場合(ステップS11:No)、撮像装置1はステップS5へ戻る。 Thereafter, if the label N is N S (step S11: Yes), the imaging apparatus 1 is reinitialized with the label N = 0 (step S12), the (N + 1) is denoted by N (step S13). On the other hand, if the label N is not N S (step S11: No), the imaging apparatus 1 returns to step S5.
ステップS6において、顔画像F(N)に対応する初期情報がない場合(ステップS6:No)、制御部6は、顔画像F(N)の検出結果を初期情報として記録する(ステップS14)。この後、撮像装置1は、上述したステップS11へ移行する。   In step S6, when there is no initial information corresponding to the face image F (N) (step S6: No), the control unit 6 records the detection result of the face image F (N) as initial information (step S14). Thereafter, the imaging apparatus 1 proceeds to step S11 described above.
以下、ステップS15以降の処理を説明する。まず、顔画像F(N)に対応する手画像F(N)の初期情報、過去情報がない場合(ステップS15:No)、手画像探索領域設定部61は、顔画像F(N)の現在情報に基づいて手画像H(N)の探索領域DH(N)を設定する(ステップS16)。 Hereinafter, the process after step S15 is demonstrated. First, when there is no initial information or past information of the hand image F (N) corresponding to the face image F (N) (step S15: No), the hand image search area setting unit 61 displays the current image of the face image F (N). Based on the information, a search area DH (N) for the hand image H (N) is set (step S16).
続いて、手画像検出部32は、設定した探索領域で手画像H(N)を検出する(ステップS17)。手画像検出部32が探索領域DH(N)で手画像H(N)を検出した場合(ステップS17:Yes)、制御部6は、手画像H(N)の検出結果を初期情報、過去情報として記録する(ステップS18)。一方、手画像検出部32が探索領域DH(N)手画像H(N)を検出しなかった場合(ステップS17:No)、撮像装置1は一連の処理を終了する。 Subsequently, the hand image detection unit 32 detects the hand image H (N) in the set search region (step S17). When the hand image detection unit 32 detects the hand image H (N) in the search region DH (N) (step S17: Yes), the control unit 6 displays the detection result of the hand image H (N) as the initial information, the past Information is recorded (step S18). On the other hand, when the hand image detection unit 32 does not detect the search area DH (N) hand image H (N) (step S17: No), the imaging device 1 ends a series of processes.
次に、顔画像F(N)に対応する手F(N)の初期情報、過去情報がある場合(ステップS15:Yes)を説明する。この場合、撮像装置1は、顔画像F(N)の現在情報と手画像H(N)の過去情報とに基づいて手の探索領域DH(N)を設定する(ステップS19)。ここでの探索領域DH(N)は、過去情報を検出した場合の検出領域を含み、かつ過去情報を検出した場合の探索領域よりも大きい面積を有するように通常は設定される。これにより、手画像検出部32は、手画像を確実に追尾、検出することができる。なお、頭部領域の位置に変動があった場合には、この変動に合わせて手の探索範囲の位置を調整することが望ましい。 Next, a case where there is initial information and past information of the hand F (N) corresponding to the face image F (N) (step S15: Yes) will be described. In this case, the imaging device 1 sets the hand search area D H (N) based on the current information of the face image F (N) and the past information of the hand image H (N) (step S19). The search area DH (N) here is normally set so as to include a detection area when the past information is detected and to have an area larger than the search area when the past information is detected. Thereby, the hand image detection part 32 can track and detect a hand image reliably. If there is a change in the position of the head region, it is desirable to adjust the position of the hand search range in accordance with this change.
ステップS19の後、設定した探索領域DH(N)で手画像H(N)を検出した場合(ステップS20:Yes)、制御部6は、手画像H(N)の過去情報との相関度を判定する(ステップS21)。ここでの相関度は、例えばテンプレートマッチングによる画像相関処理など、従来より知られている画像処理技術を適用することができる。一般的なテンプレートマッチングによる画像相関処理を行う場合、撮影された画像をモノクロ化し、一つ前の画像フレームの画像データを比較基準画像として用いる。このため、最新の手画像領域内の画像データは、パターン情報記憶部73にテンプレート画像として記録される。なお、ステップS20において、設定した探索領域DH(N)で手画像H(N)を検出しなかった場合(ステップS20:No)、撮像装置1は後述するステップS28へ移行する。 After step S19, when the hand image H (N) is detected in the set search area DH (N) (step S20: Yes), the control unit 6 correlates with the past information of the hand image H (N). Is determined (step S21). Conventionally known image processing techniques such as image correlation processing by template matching can be applied to the degree of correlation here. When image correlation processing by general template matching is performed, a captured image is converted into monochrome, and image data of the previous image frame is used as a comparison reference image. Therefore, the latest image data in the hand image area is recorded as a template image in the pattern information storage unit 73. In step S20, when the hand image H (N) is not detected in the set search area D H (N) (step S20: No), the imaging apparatus 1 proceeds to step S28 described later.
制御部6が判定した結果、手画像H(N)の過去情報と一定の相関がある場合(ステップS22:Yes)、制御部6は、手画像H(N)の現在情報を過去情報として記録し(ステップS23)、手画像H(N)の検出結果を現在情報として記録する(ステップS24)。   As a result of the determination by the control unit 6, when there is a certain correlation with the past information of the hand image H (N) (step S22: Yes), the control unit 6 records the current information of the hand image H (N) as past information. Then, the detection result of the hand image H (N) is recorded as current information (step S24).
続いて、制御部6は、手画像H(N)の過去情報の領域位置情報を追跡位置データ列に記録する(ステップS25)。その後、制御部6は、手画像H(N)の動きベクトルを算出して個体別情報記憶部72へ記録する(ステップS26)。   Subsequently, the control unit 6 records the area position information of the past information of the hand image H (N) in the tracking position data string (step S25). Thereafter, the control unit 6 calculates a motion vector of the hand image H (N) and records it in the individual information storage unit 72 (step S26).
この後、ジェスチャ認識部62は、手画像H(N)の追跡位置データ列および動きベクトルに基づいて、手画像H(N)のジェスチャを認識する(ステップS27)。   Thereafter, the gesture recognition unit 62 recognizes the gesture of the hand image H (N) based on the tracking position data string and the motion vector of the hand image H (N) (step S27).
その後、ラベルNがNSである場合(ステップS28:Yes)、動作制御部63はジェスチャ認識部62の認識結果をもとに対応関係記憶部74を参照して撮像装置1の動作制御を行う(ステップS29)。例えば、被写体が図3に示すようなジェスチャを行った場合、動作制御部63は、対応関係記憶部74を参照し、そのジェスチャに対応する動作(例えばレリーズ、動作ロック/ロック解除など)を撮像装置1に行わせるように制御する。これに対し、ラベルNがNSでない場合(ステップS28:No)、撮像装置1はステップS13へ戻る。 Thereafter, if the label N is N S (step S28: Yes), the operation control unit 63 controls the operation of the imaging apparatus 1 by referring to the correspondence relation storage unit 74 based on the recognition result of the gesture recognition unit 62 (Step S29). For example, when the subject performs a gesture as shown in FIG. 3, the operation control unit 63 refers to the correspondence storage unit 74 and images an operation (for example, release, operation lock / unlock, etc.) corresponding to the gesture. Control is performed so that the apparatus 1 performs the operation. In contrast, if the label N is not N S (step S28: No), the imaging apparatus 1 returns to step S13.
ステップS22において制御部6が判定した結果、手画像H(N)の過去情報と一定の相関がない場合(ステップS22:No)、制御部6は、手領域情報をリセットする(ステップS30)。これにより、ロックオン情報はアンロック状態となる。その後、撮像装置1は、ステップS28へ移行する。   As a result of the determination by the control unit 6 in step S22, when there is no constant correlation with the past information of the hand image H (N) (step S22: No), the control unit 6 resets the hand region information (step S30). As a result, the lock-on information is unlocked. Thereafter, the imaging apparatus 1 proceeds to step S28.
なお、図6においては、全てのフレームで追跡位置データ列の記録と動きベクトルの算出、記録を行う場合を説明したが、図2、図3を参照して説明したように、所定間隔のフレームごと(例:10フレームごと)に追跡位置データ列の記録と動きベクトルの算出、記録を行うようにしてもよいし、動きベクトルの変化量が大きくなるフレームのみを記録するようにしてもよい。   In FIG. 6, the case where the tracking position data string is recorded and the motion vector is calculated and recorded in all frames has been described. However, as described with reference to FIGS. The tracking position data string may be recorded and the motion vector may be calculated and recorded every time (for example, every 10 frames), or only the frame in which the amount of change in the motion vector increases may be recorded.
以上説明した本発明の一実施の形態によれば、画像データから顔画像を検出し、この検出した顔画像に対応する手画像の探索領域を設定し、この設定した探索領域で手画像を検出し、この検出した手画像の形状または動きに応じて動作制御を行うため、手の探索範囲を狭めることによって顔画像と手画像とを正確に対応付けることができる。したがって、被写体の人数によらず、被写体の顔や手の状態に基づく遠隔操作を的確に行うことが可能となる。   According to the embodiment of the present invention described above, a face image is detected from image data, a hand image search area corresponding to the detected face image is set, and a hand image is detected in the set search area. Since the operation control is performed according to the detected shape or movement of the hand image, the face image and the hand image can be accurately associated with each other by narrowing the hand search range. Therefore, remote operation based on the state of the subject's face and hands can be accurately performed regardless of the number of subjects.
また、本実施の形態によれば、顔と手の対応関係を初期化し、この初期化に基づいて手の動きを追跡するため、複数の人物の手の動きを個別に追尾することができる。したがって、複数の人が同時に行うジェスチャで撮像装置を操作させることも可能となる。また、一人の人物の手の動きについて、片手だけではなく、両手を同時に検出することもできるので、両手を使ったジェスチャで操作させることも当然可能となる。   In addition, according to the present embodiment, the correspondence between the face and the hand is initialized, and the movement of the hand is tracked based on the initialization. Therefore, the movement of the hands of a plurality of persons can be individually tracked. Therefore, it is also possible to operate the imaging device with gestures simultaneously performed by a plurality of people. Moreover, since it is possible to detect not only one hand but also both hands simultaneously with respect to the movement of one person's hand, it is naturally possible to operate with a gesture using both hands.
また、本実施の形態によれば、初期化の位置をジェスチャ動作開始位置として定義することにより、ジェスチャ動作の解析が容易となる。   Further, according to the present embodiment, by defining the initialization position as the gesture operation start position, the gesture operation can be easily analyzed.
なお、本発明は、上述した一実施の形態に限定されるべきものではない。例えば、被写体全ての顔画像を検出する代わりに、撮像装置の持ち主など特定の人物の顔画像のみを検出することができる。この場合には、人物ごとにジェスチャと動作との対応関係を設定することができるようにしてもよい。   The present invention should not be limited to the embodiment described above. For example, instead of detecting the face images of all the subjects, only the face image of a specific person such as the owner of the imaging device can be detected. In this case, the correspondence between gestures and actions may be set for each person.
また、本発明において、ジェスチャとしては、特定の人物の手をその人物の顔の前に置いたり、他の人物の頭部に接触するようなジェスチャを設定することも可能である。   In the present invention, as a gesture, it is possible to set a gesture in which a specific person's hand is placed in front of the person's face or in contact with the head of another person.
また、本発明において、ジェスチャの代わりに手の位置および形状から定まるポスチャ(posture)認識によって動作制御を行うようにしてもよい。例えば、図4に示す場合、真ん中の人は顔の左側で指を3本立てたポスチャをしている。そこで、このようなポスチャをしている人物が少なくとも一人いる場合に撮像装置1の動作制御を行うようにしてもよい。また、画像中の全ての人物が同じポスチャをしている場合に撮像装置1の動作制御を行うようにしてもよい。   In the present invention, motion control may be performed by posture recognition determined from the position and shape of a hand instead of a gesture. For example, in the case shown in FIG. 4, the person in the middle has a posture with three fingers on the left side of the face. Therefore, the operation control of the imaging device 1 may be performed when there is at least one person who has such a posture. Further, the operation control of the image pickup apparatus 1 may be performed when all persons in the image have the same posture.
なお、本発明は、撮像装置のみならず、テレビ等の家電製品の遠隔操作にも広く利用することができる。   Note that the present invention can be widely used not only for imaging apparatuses but also for remote operation of home appliances such as televisions.
1 撮像装置
2 撮像部
3 画像処理部
4 表示部
5 入力部
6 制御部
7 記憶部
31 顔画像検出部
32 手画像検出部
61 手画像探索領域設定部
62 ジェスチャ認識部
63 動作制御部
71 画像データ記憶部
72 個体別情報記憶部
73 パターン情報記憶部
74 対応関係記憶部
75 プログラム記憶部
100 画像
DESCRIPTION OF SYMBOLS 1 Imaging device 2 Imaging part 3 Image processing part 4 Display part 5 Input part 6 Control part 7 Storage part 31 Face image detection part 32 Hand image detection part 61 Hand image search area | region setting part 62 Gesture recognition part 63 Operation control part 71 Image data Storage unit 72 Individual information storage unit 73 Pattern information storage unit 74 Correspondence relationship storage unit 75 Program storage unit 100 Image

Claims (4)

  1. 被写体を撮像してデジタルの画像データを生成する撮像手段と、
    前記撮像手段が生成した画像データから顔画像を検出する顔画像検出手段と、
    前記顔画像検出手段が検出した顔画像に対応した手画像の探索領域を設定する手画像探索領域設定手段と、
    前記手画像探索領域設定手段が設定した探索領域に存在する手画像を検出する手画像検出手段と、
    前記顔画像検出手段が検出した顔画像と前記手画像検出手段が検出した手画像との対応関係に基づいて前記手画像の形状または動きを認識する認識手段と、
    前記認識手段が認識した前記手画像の形状または動きに応じた動作制御を行う動作制御手段と、
    を備えたことを特徴とする撮像装置。
    Imaging means for imaging a subject and generating digital image data;
    Face image detection means for detecting a face image from the image data generated by the imaging means;
    Hand image search area setting means for setting a search area for a hand image corresponding to the face image detected by the face image detection means;
    Hand image detecting means for detecting a hand image existing in the search area set by the hand image search area setting means;
    Recognizing means for recognizing the shape or movement of the hand image based on the correspondence between the face image detected by the face image detecting means and the hand image detected by the hand image detecting means;
    Motion control means for performing motion control according to the shape or movement of the hand image recognized by the recognition means;
    An imaging apparatus comprising:
  2. 前記手画像探索領域設定手段は、
    前記顔画像を含む顔画像領域の近傍に手画像の探索領域を設定することを特徴とする請求項1に記載の撮像装置。
    The hand image search area setting means includes:
    The imaging apparatus according to claim 1, wherein a hand image search area is set in the vicinity of the face image area including the face image.
  3. 前記顔画像検出手段が顔画像を検出する際に参照する顔画像のパターン情報を少なくとも記憶するパターン情報記憶手段を備え、
    前記顔画像検出手段は、
    前記パターン情報記憶手段が記憶するパターンのうち特定のパターンに対応した顔画像のみを検出することを特徴とする請求項1または2に記載の撮像装置。
    Pattern information storage means for storing at least pattern information of a face image referred to when the face image detection means detects a face image;
    The face image detecting means includes
    The imaging apparatus according to claim 1, wherein only the face image corresponding to a specific pattern among the patterns stored in the pattern information storage unit is detected.
  4. 被写体を撮像してデジタルの画像データを生成する撮像手段と、前記撮像手段が生成した画像データを記憶する記憶手段とを備えた撮像装置に、
    前記撮像手段が生成した画像データから顔画像を検出する顔画像検出ステップ、
    前記顔画像検出ステップで検出した顔画像に対応した手画像の探索領域を設定する手画像探索領域設定ステップ、
    前記手画像探索領域設定ステップで設定した探索領域に存在する手画像を検出する手画像検出ステップ、
    前記顔画像検出ステップで検出した顔画像および前記手画像検出ステップで検出した手画像を前記記憶手段から読み出し、この読み出した顔画像と手画像の対応関係に基づいて前記手画像の形状または動きを認識する認識ステップ、
    前記認識ステップで認識した前記手画像の形状または動きに応じた動作制御を行う動作制御ステップ、
    を実行させることを特徴とする撮像装置用プログラム。
    An imaging apparatus comprising: an imaging unit that images a subject to generate digital image data; and a storage unit that stores image data generated by the imaging unit.
    A face image detection step of detecting a face image from the image data generated by the imaging means;
    A hand image search area setting step for setting a search area for a hand image corresponding to the face image detected in the face image detection step;
    A hand image detection step of detecting a hand image existing in the search area set in the hand image search area setting step;
    The face image detected in the face image detection step and the hand image detected in the hand image detection step are read from the storage means, and the shape or movement of the hand image is determined based on the correspondence between the read face image and the hand image. Recognition steps to recognize,
    An operation control step for performing an operation control according to the shape or movement of the hand image recognized in the recognition step;
    A program for an imaging apparatus, characterized in that
JP2009229762A 2009-10-01 2009-10-01 Imaging device and program for imaging device Withdrawn JP2011078009A (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2009229762A JP2011078009A (en) 2009-10-01 2009-10-01 Imaging device and program for imaging device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2009229762A JP2011078009A (en) 2009-10-01 2009-10-01 Imaging device and program for imaging device

Publications (1)

Publication Number Publication Date
JP2011078009A true JP2011078009A (en) 2011-04-14

Family

ID=44021456

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2009229762A Withdrawn JP2011078009A (en) 2009-10-01 2009-10-01 Imaging device and program for imaging device

Country Status (1)

Country Link
JP (1) JP2011078009A (en)

Cited By (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102761706A (en) * 2011-04-26 2012-10-31 株式会社理光 Imaging device and imaging method and program
KR20130116013A (en) * 2012-04-13 2013-10-22 삼성전자주식회사 Camera apparatus and method for controlling thereof
CN103442177A (en) * 2013-08-30 2013-12-11 程治永 PTZ video camera control system and method based on gesture identification
JP2014021760A (en) * 2012-07-19 2014-02-03 Canon Inc Control device, control method, and control program
CN103974113A (en) * 2014-05-26 2014-08-06 中国科学院上海高等研究院 Remote control device with gesture recognition function
JP2014168149A (en) * 2013-02-28 2014-09-11 Casio Comput Co Ltd Imaging apparatus, imaging processing method and program
CN104243791A (en) * 2013-06-19 2014-12-24 联想(北京)有限公司 Information processing method and electronic device
JP2015041381A (en) * 2013-08-21 2015-03-02 株式会社リコー Method and system of detecting moving object
JP2015222600A (en) * 2015-08-20 2015-12-10 カシオ計算機株式会社 Detection device, detection method, and program
CN105282582A (en) * 2014-06-16 2016-01-27 深圳Tcl新技术有限公司 Fingerprint identification remote control method and device
JP2016119059A (en) * 2014-12-22 2016-06-30 キヤノンイメージングシステムズ株式会社 Image processing apparatus and image processing method
WO2016104156A1 (en) * 2014-12-22 2016-06-30 キヤノンイメージングシステムズ株式会社 Image processing method
US11003957B2 (en) 2019-08-21 2021-05-11 Advanced New Technologies Co., Ltd. Method and apparatus for certificate identification

Cited By (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102761706A (en) * 2011-04-26 2012-10-31 株式会社理光 Imaging device and imaging method and program
US8831282B2 (en) 2011-04-26 2014-09-09 Ricoh Company, Ltd. Imaging device including a face detector
KR20130116013A (en) * 2012-04-13 2013-10-22 삼성전자주식회사 Camera apparatus and method for controlling thereof
KR102070598B1 (en) * 2012-04-13 2020-01-29 삼성전자주식회사 Camera apparatus and method for controlling thereof
JP2014021760A (en) * 2012-07-19 2014-02-03 Canon Inc Control device, control method, and control program
JP2014168149A (en) * 2013-02-28 2014-09-11 Casio Comput Co Ltd Imaging apparatus, imaging processing method and program
CN104243791A (en) * 2013-06-19 2014-12-24 联想(北京)有限公司 Information processing method and electronic device
JP2015041381A (en) * 2013-08-21 2015-03-02 株式会社リコー Method and system of detecting moving object
CN103442177A (en) * 2013-08-30 2013-12-11 程治永 PTZ video camera control system and method based on gesture identification
CN103974113A (en) * 2014-05-26 2014-08-06 中国科学院上海高等研究院 Remote control device with gesture recognition function
CN105282582A (en) * 2014-06-16 2016-01-27 深圳Tcl新技术有限公司 Fingerprint identification remote control method and device
CN105282582B (en) * 2014-06-16 2019-04-16 深圳Tcl新技术有限公司 Finger identifies remote control method and device
JP2016119059A (en) * 2014-12-22 2016-06-30 キヤノンイメージングシステムズ株式会社 Image processing apparatus and image processing method
WO2016104156A1 (en) * 2014-12-22 2016-06-30 キヤノンイメージングシステムズ株式会社 Image processing method
US10007846B2 (en) 2014-12-22 2018-06-26 Canon Imaging Systems Inc. Image processing method
JP2015222600A (en) * 2015-08-20 2015-12-10 カシオ計算機株式会社 Detection device, detection method, and program
US11003957B2 (en) 2019-08-21 2021-05-11 Advanced New Technologies Co., Ltd. Method and apparatus for certificate identification

Similar Documents

Publication Publication Date Title
JP2011078009A (en) Imaging device and program for imaging device
US7639282B2 (en) Image sensing device that acquires a movie of a person or an object and senses a still image of the person or the object, and control method thereof
JP6106921B2 (en) Imaging apparatus, imaging method, and imaging program
US8897490B2 (en) Vision-based user interface and related method
JP2007316882A (en) Remotely-controlled device and method
KR101185243B1 (en) Apparatus and method for registering a plurlity of face image for face recognition
EP2339536B1 (en) Image processing system, image processing apparatus, image processing method, and program
US9256324B2 (en) Interactive operation method of electronic apparatus
JP6007682B2 (en) Image processing apparatus, image processing method, and program
KR101537948B1 (en) Photographing method and apparatus using pose estimation of face
JP5959923B2 (en) Detection device, control method thereof, control program, imaging device and display device
KR101642402B1 (en) Apparatus and method for capturing digital image for guiding photo composition
CN109076159A (en) Electronic equipment and its operating method
JP2010160743A (en) Apparatus and method for detecting object
JP5174492B2 (en) Image recognition apparatus, image recognition method, image recognition program, gesture motion recognition system, gesture motion recognition method, and gesture motion recognition program
KR101661211B1 (en) Apparatus and method for improving face recognition ratio
JP5001930B2 (en) Motion recognition apparatus and method
JP2012068948A (en) Face attribute estimating apparatus and method therefor
JP6025557B2 (en) Image recognition apparatus, control method thereof, and program
US10867161B2 (en) Auxiliary filtering device for face recognition and starting method for electronic device
JP6049448B2 (en) Subject area tracking device, control method thereof, and program
JP2004295775A (en) Image recognition equipment and image recognition program
JP2000268161A (en) Real time expression detector
JP2013242768A (en) Information processing apparatus, control method and program
JP2013073434A (en) Information input device and information input method

Legal Events

Date Code Title Description
A300 Withdrawal of application because of no request for examination

Free format text: JAPANESE INTERMEDIATE CODE: A300

Effective date: 20121204