JP2011171921A - Digital camera - Google Patents
Digital camera Download PDFInfo
- Publication number
- JP2011171921A JP2011171921A JP2010032617A JP2010032617A JP2011171921A JP 2011171921 A JP2011171921 A JP 2011171921A JP 2010032617 A JP2010032617 A JP 2010032617A JP 2010032617 A JP2010032617 A JP 2010032617A JP 2011171921 A JP2011171921 A JP 2011171921A
- Authority
- JP
- Japan
- Prior art keywords
- face
- person
- unit
- voice data
- digital camera
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Abstract
Description
本発明は、デジタルカメラに係り、特に画像中の被写体人物を検出する機能を有するデジタルカメラに関する。 The present invention relates to a digital camera, and more particularly to a digital camera having a function of detecting a subject person in an image.
被写体人物の笑顔を撮影したい場合に、被写体人物に所定の単語、例えば、比較的ポピュラーな「はい、チーズ」を発声するように案内し、発声を認識した後に、予め設定したタイミングで撮影を行う人物撮影装置が知られている(例えば、特許文献1参照)。
この人物撮影装置は、例えば証明写真撮影システムなどに使用されることが好適なものであり、被写体人物に対して予め定められた所定の音声でもって撮影手順などを説明する。
When you want to shoot a smile on the subject person, guide the subject person to utter a predetermined word, for example, “yes, cheese”, which is relatively popular. After recognizing the utterance, shoot at a preset timing. A person photographing apparatus is known (see, for example, Patent Document 1).
This person photographing apparatus is suitable for use in, for example, an ID photo photographing system, and a photographing procedure and the like will be described with a predetermined sound predetermined for a subject person.
一般のデジタルカメラは、被写体人物の色々な表情、例えば、笑い顔や泣き顔や怒り顔や驚き顔などの表情を撮影する場合があり、被写体人物の顔表情に無関係に常に一定の音声を被写体人物に発することは、全く無意味であり、むしろ好ましくない場合がある。 A general digital camera may shoot various facial expressions of a subject person, such as a laughing face, a crying face, an angry face, or a surprised face. It is completely meaningless and may not be preferable.
請求項1の発明によるデジタルカメラは、被写体人物を撮像して、画像データを作成する撮像手段と、撮影動作を開始させる撮影手段と、撮影準備段階において撮像手段が撮像した画像データ中の被写体人物画像を検出し、被写体人物情報を取得する人物情報取得手段と、複数の音声データを記憶する音声データ記憶手段と、人物情報取得手段が取得した被写体人物情報に基づき、音声データ記憶手段に記憶されている複数の音声データの中から所定の音声データを選択する音声データ選択手段と、撮影手段による撮影動作に先立って、選択された音声データを再生する音声再生手段と、を備えることを特徴とする。 According to a first aspect of the present invention, there is provided a digital camera that captures an image of a subject person and creates image data, an image capturing unit that starts an image capturing operation, and a subject person in image data captured by the image capturing unit in the image capturing preparation stage. Person information acquisition means for detecting an image and acquiring subject person information, sound data storage means for storing a plurality of sound data, and subject data acquired by the person information acquisition means are stored in the sound data storage means. Voice data selection means for selecting predetermined voice data from a plurality of voice data, and voice playback means for playing back the selected voice data prior to a shooting operation by the shooting means, To do.
本発明のデジタルカメラによれば、被写体人物を検出して、その検出した被写体人物情報に応じた音声データを選択して、撮影前の被写体人物の顔表情情報などの被写体人物情報に適した音声を発することができる。 According to the digital camera of the present invention, a subject person is detected, voice data corresponding to the detected subject person information is selected, and voice suitable for subject person information such as facial expression information of the subject person before photographing is selected. Can be issued.
以下、本発明の実施の形態によるデジタルカメラについて、図面を参照しながら説明する。
図1に示されるように、デジタルカメラは、撮影レンズ11、絞り12、撮像素子13、バッファメモリ14および画像処理部15を備える。また、デジタルカメラは、画像記録部16、CPU(Central Processing Unit)17、ROM(Read Only Memory)18、バス19、操作部41、ディスプレイ42、スピーカー43および通信部44を備える。
Hereinafter, a digital camera according to an embodiment of the present invention will be described with reference to the drawings.
As shown in FIG. 1, the digital camera includes a
画像処理部15、画像記録部16、CPU17、ROM18、操作部41、ディスプレイ42、スピーカー43および通信部44は、バス19を介して互いに接続されている。
CPU17は、顔検出部21、顔表情検出部22、年代/性別推論部23、顔認識部24、音声データ選択部25、効果評価部26およびランキング部27として機能する。
また、CPU17は、撮影手段である撮影レンズ11、絞り12、撮像素子13などを制御する。
ROM18は、顔データ記憶部31、顔表情データ記憶部32、年代/性別データ記憶部33、顔登録データ記憶部34および音声データ記憶部35として機能する。
The
The
The
The
撮影レンズ11は、ズームレンズやフォーカスレンズを含む複数のレンズで構成され、被写体像を撮像素子13上に結像する。図1では簡単のため、撮影レンズ11は1枚のレンズで示されている。撮像素子13は、撮影レンズ11からの被写体光L1を光電変換することにより画像信号を生成する。
The photographing
撮像素子13から出力される画像信号は、バッファメモリ14を介して画像処理部15に送られ、ここで所定の種々の画像処理が施される。
撮影開始前の段階、即ち撮影準備段階では、撮像素子13からの画像信号は、バッファメモリ14、画像処理部15を経てバス19を介してディスプレイ42に送られ、スルー画像として表示される。
撮影段階では、撮像素子13からの画像信号は、バッファメモリ14、画像処理部15を経てバス19を介して画像記録部16の不揮発性のメモリ(記憶媒体)16aに記録される。
The image signal output from the
At the stage before shooting is started, that is, at the shooting preparation stage, the image signal from the
At the photographing stage, the image signal from the
顔検出部21は、スルー画像用の被写体画像データを顔データ記憶部31に予め記憶されている顔データと比較することにより、画像中の被写体人物の顔を検出する。顔データ記憶部31は、例えば、眉、眼、鼻、唇の形状に関する特徴点のデータを記憶している。
The
顔検出には、例えば、特開2001−16573号公報に開示されている検出手法を用いることができる。この検出手法は、入力画像中から特徴点を抽出して被写体の顔領域、顔の大きさ等を検出するものである。特徴点としては、眉、眼、鼻、唇の各端点、および顔の輪郭点、例えば頭頂点や顎の下端点が挙げられる。 For the face detection, for example, a detection method disclosed in Japanese Patent Laid-Open No. 2001-16573 can be used. In this detection method, feature points are extracted from an input image to detect the face area, face size, etc. of the subject. The feature points include end points of eyebrows, eyes, nose, lips, and face contour points, such as the head vertex and the lower end point of the chin.
他の顔検出としては、例えば、特開2005−157679号公報に開示されている検出手法を用いることができる。この検出手法は、先ず、入力画像中の2画素間の輝度差を特徴量として学習しておき、その特徴量に基づいて入力画像中の所定領域に顔が存在するか否かを示す推定値を算出し、推定値が1以上のときにその所定領域に顔が存在すると判別するものである。 As other face detection, for example, a detection method disclosed in JP-A-2005-157679 can be used. In this detection method, first, a luminance difference between two pixels in an input image is learned as a feature amount, and an estimated value indicating whether or not a face exists in a predetermined region in the input image based on the feature amount. And when the estimated value is 1 or more, it is determined that a face exists in the predetermined area.
顔表情検出部22は、顔検出部21により検出された顔領域の画像の顔表情を顔表情データ記憶部32に予め記憶されている複数の顔表情データと比較することにより、顔画像中の被写体人物の顔表情の種類を検出する。
顔表情には、笑顔、泣き顔、怒り顔、驚き顔などの様々な種類があり、顔表情データ記憶部32は、これらの様々な顔表情をデータとして記憶している。
The facial
There are various types of facial expressions such as a smiling face, a crying face, an angry face, and a surprised face, and the facial expression
顔表情検出部22が顔領域の画像の顔表情を検出する場合には、例えば、特開2008−42319号公報に開示されている検出手法を用いることができる。この検出手法は、例えば笑顔であることを検出するには、検出された画像の顔が笑顔と通常時の顔という2つの顔表情のいずれに近いかに基づいて表情の種類を判断するものである。顔表情検出部22は、被写体人物の顔表情の種類に対応する検出信号を出力する。
When the facial
年代/性別推論部23は、顔検出部21により検出された顔領域の画像に基づき被写体人物の年代/性別を推論する。すなわち、年代/性別推論部23は、被写体人物の顔画像中の各特徴点と、年代/性別データ記憶部33に予め記憶されている顔の各特徴点とについて、各特徴点が持つ特徴量や色彩データなどを比較して被写体人物の年代、性別を推論する。そして、年代/性別推論部23は、推論結果、例えば、被写体人物の年代は幼児で性別は男子や、年代は20歳代で性別は女性と言った推論データを出力する。
年代/性別データ記憶部33は、男女それぞれの年代別に、例えば、眉、眼、鼻、唇などの特徴点が持つ特徴量(寸法、間隔)のデータおよび色彩データを記憶している。
The age /
The age / sex
年代/性別を推論する方法としては、例えば、特開2004−222118号公報に開示されている方法を用い、上記の特徴量をサポートベクタマシンというシステムに入力することによって行う。 As a method for inferring age / sex, for example, a method disclosed in Japanese Patent Application Laid-Open No. 2004-222118 is used, and the above-described feature amount is input to a system called a support vector machine.
顔認識部24は、事前に撮影した被写体人物の顔画像の特徴情報を顔登録データとして顔登録データ記憶部34に記録する人物登録機能と、新たに撮影する被写体人物の顔画像が顔登録データ記憶部34に記録された顔登録データに対応するかを識別する人物認識機能とを有する。
これらの機能を詳述すると、顔認識部24は、事前に撮影した人物の顔画像の特徴を分析して、それを顔登録データとして顔登録データ記憶部34に記録する。この際に、この人物の氏名情報や年代情報や性別情報もこの顔登録データに関連付けて、顔登録データ記憶部34に記録する。こうして、被写体人物の登録が行われる。
なお、この氏名情報と年代情報と性別情報は、図示を省略した情報入力部から撮影者によって入力される。
The
In detail, the
The name information, age information, and gender information are input by the photographer from an information input unit (not shown).
また、顔認識部24は、顔検出部21が検出した被写体人物の顔画像と顔登録データ記憶部34に記録されている顔登録データとを比較して、被写体人物が登録済みの人物、即ち登録人物であるか否かを判別する。
なお、顔登録データ記憶部34に記憶される顔登録データは、登録人物の顔画像の顔情報、例えば眉や眼や鼻や唇などの特徴点に関する情報である。
In addition, the
Note that the face registration data stored in the face registration
音声データ選択部25は、被写体人物に関する情報に基づき、音声データ記憶部35に記録されている音声データを選択し、選択した音声データをスピーカー43により音声として再生させる。具体的には、音声データ選択部25は、顔表情検出部22が検出した顔表情の種類、年代/性別推論部23が推論した年代/性別の情報、顔認識部24が認識した登録人物の情報などに応じて、再生すべき音声データを選択する。
The audio
音声データ選択部25は、選択した音声データを、撮影動作の少し前、例えば、撮影動作の1秒前にスピーカー43に送出して再生する。具体的には、後述の操作部41のレリーズスイッチが操作されると、音声データ選択部25が選択済みの音声データをスピーカー43に送り再生して、その再生の所定時間後に撮影動作が開始される。
The audio
音声データ記憶部35には、撮影時に発声する種々の音声データが記録されている。例えば、「ハイ、笑ってぇ」、「もっと笑ってぇ」、「スマイル!」、「微笑んで」、「そんなに怒らないの」、「泣かないで、チーズ」、「ニコニコして」、「爆笑」、「笑いましょう」、「Aちゃん、ニコニコして」、「B君、爆笑」、「Cさん、笑いましょう」、「Dさん、Eさん、ハイ、チーズ」、「皆さん、一斉に笑いましょう」等の音声データが音声データ記憶部35に記録されている。
なお、「Aちゃん、ニコニコして」、「B君、爆笑」、「Cさん、笑いましょう」、「Dさん、Eさん、ハイ、チーズ」の音声データ中の「Aちゃん」、「B君」、「Cさん」、「Dさん」、「Eさん」は、顔登録データ記憶部34に記憶された登録人物の名前である。これらの名前を含む音声データ「Aちゃん、ニコニコして」、「B君、爆笑」、「Cさん、笑いましょう」、「Dさん、Eさん、ハイ、チーズ」は、登録人物の氏名情報と年代情報と性別情報とが顔登録データ記憶部34に記憶される際に不図示の音声データ作成部によって自動的に作成され、音声データ記憶部35に記憶される。
また、音声データは、アニメソングなどの歌声であってもよく、更には、人間の音声に限るものでなく、犬や猫などの鳴き声であってもよい。
The audio
"A-chan, smile", "B-kun, laughter", "C-san, let's laugh", "D-san, E-san, Hai, cheese""A-chan","B “Kimi”, “Mr. C”, “Mr. D”, and “Mr. E” are names of registered persons stored in the face registration
The voice data may be a singing voice such as an animation song, and is not limited to a human voice, and may be a crying voice of a dog or a cat.
音声データは、本実施の形態のデジタルカメラの製造段階において、多数の音声データが音声データ記憶部35に記憶されると共に、顔登録データ記憶部34への被写体人物の登録時にその登録人物の名前情報を含んだ音声データが音声データ記憶部35に追加記憶され、更には、後述の通信部44によって外部から入力された音声データが音声データ記憶部35に追加記憶される。
In the manufacturing stage of the digital camera of the present embodiment, a large number of audio data is stored in the audio
例えば、顔表情検出部22が被写体人物の笑顔を検出して笑顔情報を取得した場合は、音声データ選択部25は、より良い笑顔を誘うために例えば「もっと笑ってぇ」という音声データを選択し、また、顔表情検出部22が被写体人物の非笑顔を検出した場合は、音声データ選択部25は、笑いを誘発するために例えば「はい、笑ってぇー」という音声データを選択する。
For example, when the facial
年代/性別推論部23が、被写体が例えば幼児であると推論した場合には、音声データ選択部25は、例えば幼児語の「ニコニコして」や犬の鳴き声「ワン、ワン」の音声データを選択し、年代/性別推論部23が、被写体が例えば若い男性、又は若い女性であると推論した場合には、音声データ選択部25は、それぞれ「爆笑」、又は「笑いましょう」や「微笑んで」の音声データを選択する。
When the age /
顔認識部24が、被写体人物が顔登録データ記憶部34に登録されている登録人物であると認識した場合には、音声データ選択部25は、その人物の名前を含んだ「Aちゃん、ニコニコして」、「B君、爆笑」、「Cさん、笑いましょう」、「Dさん、Eさん、ハイ、チーズ」などの音声データを選択する。
When the
効果評価部26は、撮影した撮影画像データの被写体人物の顔表情がその撮影時の再生音声データの内容を反映した顔表情に成っているか否かを評価する。具体的には、顔表情検出部22が撮影画像データの被写体人物の顔表情を検出すると、効果評価部26は、その検出された被写体人物の顔表情が撮影時の再生音声データの内容を反映した表情になっているか否かを評価する。例えば、撮影前に再生された再生音声データが「ニコニコして」であった場合に、撮影された画像の顔表情が笑い顔であったか否かを判断し、笑い顔であった場合には音声再生の効果があったと評価し、この音声データに得点1を与える。
The
ランキング部27は、効果評価部26の評価結果に基づき、音声データ記憶部35に記録された複数の音声データに対してランキングを付与する。具体的には、ランキング部27は、効果評価部26が音声データに付与した得点を音声データ毎に加算してこの加算結果から音声データのランキングを決める。
The ranking
操作部41は、デジタルカメラの電源スイッチ、撮影動作を開始するレリーズスイッチ、撮影画像を再生する再生スイッチ、撮影条件モードなどを選択・設定する選択/設定スイッチなどを含み、撮影者が各スイッチを操作すると、その操作に対応する操作信号がCPU17へ出力される。例えば、操作部41の選択機能としては、顔表情検出部22、年代/性別推論部23又は顔認識部24などを選択して作動させる。
The
ディスプレイ42は、スルー画像を表示し、メモリ16aに保存されている画像データに基づく再生画像を表示し、また、操作メニューなどを表示する。
スピーカー43は、音声データ記憶部35に記録されている音声データを音声として再生する。
通信部44は、通信ネットワークを介して外部のサーバー100と接続され、サーバー100から必要に応じて音声データをダウンロードし、ダウンロードされた音声データは、音声データ記憶部35に格納される。
The
The
The
以上のように構成されたデジタルカメラの動作について説明する。
−顔表情検出モード−
先ず、顔表情に基づいて、それに相応しい音声データを選択する場合を説明する。
操作者が操作部41によって顔表情検出モードを選択すると、顔検出部21と顔表情検出部22が起動する。
顔検出部21は、スルー画像データ中の被写体人物画像を顔データ記憶部31の顔データと比較して、被写体人物の顔部分を検出する。顔表情検出部22は、顔検出部21によって検出された被写体人物の顔表情を顔表情データ記憶部32の顔表情データと比較して、被写体人物の顔表情が「笑顔」又は「泣き顔」又は「怒り顔」などの何れであるかを検出して、笑い顔情報、泣き顔情報、怒り顔情報などを取得する。
The operation of the digital camera configured as described above will be described.
-Facial expression detection mode-
First, a description will be given of a case in which sound data appropriate for a facial expression is selected.
When the operator selects the facial expression detection mode using the
The
音声データ選択部25は、顔表情検出部22からの顔表情情報に基づき、音声データ記憶部35に記憶されている複数の音声データから、その顔表情情報に適した音声データを選択する。例えば、顔表情検出部22が取得した顔表情情報が、例えば微笑み顔、又は泣き顔を表す場合に、音声データ「もっと笑ってぇ」又は音声データ「泣かないで、チーズ」をそれぞれ選択する。
The voice
その後に操作部41のレリーズスイッチが操作されると、音声データ選択部25はこのレリーズスイッチ操作に応じて選択音声データをスピーカー43に送り、これによって、「もっと笑ってぇ」又は「泣かないで、チーズ」などの音声データが再生される。
この音声データの再生後、所定時間後に、撮影動作が開始され、撮像素子13からの撮像信号が画像処理部15で処理された後に画像記録部16によってメモリ16aに記憶される。
Thereafter, when the release switch of the
A photographing operation is started after a predetermined time after reproduction of the audio data, and the image signal from the
顔表情検出部22はこの撮影された被写体画像の顔表情を検出し、効果評価部26は、この検出された撮影被写体画像の顔表情が音声データの再生効果によって「笑い顔」になっているか、即ち、撮影前の「微笑み顔」又は「泣き顔」から撮影時の「笑い顔」に変化したかを判別し、音声データの効果を評価する。
効果評価部26は「笑い顔」に変化したと判断した場合には、この音声データに得点1を付与し、「笑い顔」になっていないと判断した場合には、得点1を付与しない。
The facial
When the
ランキング部27は、効果評価部26が音声データに付与した得点を、音声データ毎に加算して音声データのランキングを決定する。
このランキングは、操作部41の選択スイッチの操作に応じて、ディプレイ42に表示される。このランキング表示は、例えば、1位「もっと笑ってぇ」15点、2位「泣かないで、チーズ」14点、3位「ニコニコして」10点などのように行われる。
The ranking
This ranking is displayed on the
−年代/性別推論モード−
次に、年代、性別の推論に基づいて、それに相応しい音声データを選択する場合を説明する。
操作者が操作部41によって年代/性別推論モードを選択すると、これによって顔検出部21と年代/性別推論部23が起動する。
顔検出部21が、スルー画像データ中の被写体人物の顔画像を検出すると、年代/性別推論部23は、顔検出部21により検出された顔領域の画像に基づき被写体人物の年代/性別を推論し、被写体人物の年代や性別に関する情報を取得する。
年代/性別推論部23は、被写体人物を例えば、「幼児」又は「20歳代の女性」であると推論して、「幼児」情報又は「20歳代の女性」情報を取得する。
-Age / gender inference mode-
Next, a description will be given of a case where sound data suitable for the age and gender is selected.
When the operator selects the age / gender inference mode using the
When the
The age /
音声データ選択部25は、年代/性別推論部23からの年代、性別情報に基づき、音声データ記憶部35に記憶されている複数の音声データから、その年代、性別情報に適した音声データを選択する。
例えば、年代/性別推論部23が取得した年代、性別情報が「幼児」又は「20歳代の女性」を表す場合に、音声データ「ニコニコして」又は音声データ「微笑んで」をそれぞれ選択する。また、「幼児」の場合には、犬や猫の鳴き声を選択するようにしても良い。
The voice
For example, when the age and gender information acquired by the age /
操作部41のレリーズスイッチが操作されると、音声データ選択部25はこのレリーズスイッチ操作に応じて選択音声データをスピーカー43に送り、これによって「ニコニコして」又は「微笑んで」などが再生される。
この音声データの再生後、所定時間後に、撮影動作が開始され、撮像素子13からの撮像信号が画像処理部15で処理された後に画像記録部16によってメモリ16aに記憶される。
When the release switch of the
A photographing operation is started after a predetermined time after reproduction of the audio data, and the image signal from the
顔表情検出部22は、この撮影された被写体画像の顔表情を検出し、効果評価部26は、この検出された撮影被写体画像の顔表情が音声データの再生効果によって、幼児が「笑顔」になっているか、又は「20歳代の女性」が「微笑み顔」になっているかを判別し、音声データの効果を評価する。
効果評価部26は効果があったと判断した場合には、この音声データに得点1を付与し、効果が無いと判断した場合には、得点1を付与しない。
ランキング部27は、効果評価部26が音声データに付与した得点を、音声データ毎に加算して音声データのランキングを決定する。
The facial
When the
The ranking
上述の顔表情検出モードと年代/性別推論モードとを組み合わせることもできる。この組み合わせモードの場合には、顔表情検出部22が検出した被写体人物の顔表情と年代/性別推論部23が推論した被写体人物の年代や性別とに基づき、音声データ選択部25は音声データ記憶部35から音声データを選択する。
It is also possible to combine the facial expression detection mode described above and the age / gender inference mode. In this combination mode, the voice
−人物登録+顔表情検出モード−
操作者が操作部41によって人物登録+顔表情検出モードを選択すると、顔検出部21と顔表情検出部22と顔認識部24とが起動する。
先ず、顔登録データの作成を説明する。
人物登録したい被写体人物を撮影してその人物の顔画像データを作成する。顔認識部24は、このように事前に撮影した人物の顔画像の特徴を分析して、それを顔登録データとして顔登録データ記憶部34に記録する。この際に、図示を省略した情報入力部によってこの人物の氏名情報や年代情報や性別情報などを入力して、これらの氏名情報や年代情報や性別情報などを顔登録データに関連付けて顔登録データ記憶部34に記録する。
-Person registration + facial expression detection mode-
When the operator selects the person registration + facial expression detection mode using the
First, creation of face registration data will be described.
A subject person to be registered as a person is photographed and face image data of the person is created. The
これらの顔登録データ及び氏名情報や年代情報や性別情報の顔登録データ記憶部34への記録に応じて、この顔登録データに関連する名前情報を含む音声データを作成し、この音声データをそれの顔登録データに関連付けて、音声データ記憶部35に記憶する。
以上の動作を繰り返すことにより、複数人の顔登録データとその氏名情報などとを顔登録データ記憶部34に記録すると共に、それらの顔登録データに関連する音声データが音声データ記憶部35に記憶される。
In response to recording of the face registration data, name information, age information, and gender information in the face registration
By repeating the above operation, the face registration data and name information of a plurality of persons are recorded in the face registration
その後に、撮影準備段階において、顔検出部21は、スルー画像データ中の被写体人物の画像を顔データ記憶部31の顔データと比較して、被写体人物の顔部分を検出する。この説明では、被写体人物は1人のみとする。
顔表情検出部22は、顔検出部21によって検出された被写体人物の顔表情を顔表情データ記憶部32の顔表情データと比較して、被写体人物の顔表情が「笑顔」又は「泣き顔」又は「怒り顔」などの何れであるかを検出して、笑い顔情報、泣き顔情報、怒り顔情報などの顔表情情報を取得する。
これと同時に、顔認識部24は、顔検出部21が検出した被写体人物の顔画像と顔登録データ記憶部34に記録されている顔登録データとを比較して、被写体人物が登録済みの人物の誰に該当するかを判別する。
Thereafter, in the shooting preparation stage, the
The facial
At the same time, the
音声データ選択部25は、顔認識部24が判別した登録人物に関する氏名情報、年代情報及び性別情報と、顔表情検出部22が取得した顔表情情報とに基づき、音声データ記憶部35に記憶されている複数の音声データから、その顔表情情報に適した音声データを選択する。このときに選択される音声データは、上記の氏名情報を含んだ音声データであり、例えば、「Aちゃん、ニコニコして」、「B君、爆笑」、「Cさん、笑いましょう」などの音声データが選択される。
The voice
次いで、操作部41のレリーズスイッチが操作されると、音声データ選択部25はこのレリーズスイッチ操作に応じて、選択された音声データをスピーカー43に送り、これによって「Aちゃん、ニコニコして」などが再生される。
この音声データの再生後、所定時間後に、撮影動作が開始され、撮像素子13からの撮像信号が画像処理部15で処理された後に画像記録部16によってメモリ16aに記憶される。
Next, when the release switch of the
A photographing operation is started after a predetermined time after reproduction of the audio data, and the image signal from the
顔表情検出部22はこの撮影された被写体画像の顔表情を検出し、効果評価部26はこの検出された撮影被写体画像の顔表情が音声データの再生効果によって「笑い顔」になっているかを判断する。
効果評価部26は、顔表情検出部22が「笑い顔」を検出した場合には、この音声データに得点1を付与し、「笑い顔」でないと判断した場合には、得点1を付与しない。
ランキング部27は、効果評価部26が音声データに付与した得点を、音声データ毎に加算して音声データのランキングを決定する。
The facial
The
The ranking
次に、顔検出部21が、スルー画像データから複数の被写体人物の顔画像を検出した場合について説明する。
顔検出部21が検出した複数の被写体人物の内に登録人物が1人のみであることを顔認識部24が判別した場合には、音声データ選択部25は、「皆さん」のような複数人に呼びかけるような音声データを選択するか、又は氏名情報を含まない音声データを選択する。これは、複数の被写体人物を撮影する時に1人の登録人物の名前を含んだ音声データ、例えば「Cさん、笑いましょう」を再生することによってその登録人物のみが笑顔になり、他の被写体人物が非笑顔のままであるという状況を避けるためである。
Next, a case where the
When the
また、顔検出部21が検出した複数の被写体人物の内に登録人物が所定人数以上、例えば3人以上いることを顔認識部24が判別した場合には、音声データ選択部25は、「皆さん」のような複数人に呼びかけるような音声データを選択するか、又は氏名情報を含まない音声データを選択する。
また、顔検出部21が検出した被写体人物が2人であり、その2人が共に登録人物である場合には、音声データ選択部25は、その2名の氏名情報を含んだ音声データ、例えば「Aさん、Bさん、笑って」を選択する。
When the
When there are two subject persons detected by the
上述の実施の形態は、以下の効果を有するものである。
(1)被写体人物の顔表情を検出して、その顔表情に基づき音声データを選択して、その選択した音声データを撮影動作の直前に再生することができる。
(2)被写体人物の年代/性別を推論して、その推論した年代/性別に基づき音声データを選択して、その選択した音声データを撮影動作の直前に再生することができる。
(3)被写体人物の顔表情を検出し、かつ被写体人物が登録人物であることを認識し、その顔表情と認識した登録人物情報とに基づいて音声データを選択して、その選択した音声データを撮影動作の直前に再生することができる。
(4)被写体人物が事前に登録された登録人物に相当することを認識した場合には、その登録人物の氏名情報を含む音声データを選択し、その選択した音声データを撮影動作の直前に再生することができる。
(5)被写体人物が複数であり、その複数の被写体人物のうち登録人物が1人のみの場合には、その登録人物の名前を含まない音声データを選択することができる。
(6)被写体人物が複数である場合には、「皆さん」のような複数人に呼びかけるような音声データを選択することができる。
The above-described embodiment has the following effects.
(1) It is possible to detect a facial expression of a subject person, select audio data based on the facial expression, and reproduce the selected audio data immediately before the shooting operation.
(2) The age / gender of the subject person can be inferred, audio data can be selected based on the inferred age / sex, and the selected audio data can be reproduced immediately before the shooting operation.
(3) detecting the facial expression of the subject person, recognizing that the subject person is a registered person, selecting voice data based on the facial expression and the recognized registered person information, and selecting the selected voice data Can be played immediately before the shooting operation.
(4) When it is recognized that the subject person corresponds to a registered person registered in advance, audio data including the name information of the registered person is selected, and the selected audio data is reproduced immediately before the shooting operation. can do.
(5) When there are a plurality of subject persons and only one registered person is among the plurality of subject persons, audio data that does not include the name of the registered person can be selected.
(6) When there are a plurality of subject persons, it is possible to select audio data that calls to a plurality of persons such as “you”.
なお、上述の実施の形態では、顔表情検出部22によって単に被写体人物の顔表情を検出するものであったが、顔表情の度合い即ち表情レベルをも検出し、その顔表情レベルに応じて音声データを選択してもよい。
例えば、顔表情の度合い、即ち顔表情レベル、例えば「微笑み」、「中位の笑い」及び「大笑い」を区別して検出することができる顔表情レベル検出部をCPU17に設け、この顔表情レベル検出部が検出した顔表情レベルに応じて、音声データを選択することもできる。
この場合には、顔表情レベル検出部が「中位の笑い」レベルを検出した場合には、例えば「もっと大きく笑って」などの音声データを選択する。
In the above-described embodiment, the facial
For example, the
In this case, when the facial expression level detection unit detects the “middle laughter” level, for example, voice data such as “laugh more loudly” is selected.
13:撮像素子 17:CPU
18:ROM 19:バス
22:顔表情検出部 23:年代/性別推論部
24:顔認識部 25:音声データ選択部
26:効果評価部 27:ランキング部
32:顔表情データ記憶部 33:年代/性別データ記憶部
34:顔登録データ記憶部 35:音声データ記憶部
41:操作部 42:ディスプレイ
43:スピーカー
13: Image sensor 17: CPU
18: ROM 19: Bus 22: Facial expression detection unit 23: Age / gender reasoning unit 24: Face recognition unit 25: Speech data selection unit 26: Effect evaluation unit 27: Ranking unit 32: Facial expression data storage unit 33: Age / Gender data storage unit 34: Face registration data storage unit 35: Audio data storage unit 41: Operation unit 42: Display 43: Speaker
Claims (9)
撮影動作を開始させる撮影手段と、
撮影準備段階において前記撮像手段が撮像した前記画像データ中の被写体人物画像を検出し、前記被写体人物情報を取得する人物情報取得手段と、
複数の音声データを記憶する音声データ記憶手段と、
前記人物情報取得手段が取得した前記被写体人物情報に基づき、前記音声データ記憶手段に記憶されている前記複数の音声データの中から所定の音声データを選択する音声データ選択手段と、
前記撮影手段による撮影動作に先立って、前記選択された前記音声データを再生する音声再生手段と、を備えることを特徴とするデジタルカメラ。 Imaging means for imaging a person and creating image data;
Photographing means for starting the photographing operation;
A person information acquisition unit that detects a subject person image in the image data captured by the imaging unit in a shooting preparation stage and acquires the subject person information;
Voice data storage means for storing a plurality of voice data;
Voice data selection means for selecting predetermined voice data from the plurality of voice data stored in the voice data storage means based on the subject person information acquired by the person information acquisition means;
A digital camera comprising: an audio reproducing unit that reproduces the selected audio data prior to an imaging operation by the imaging unit.
前記人物情報取得手段は、前記画像データ中の被写体人物の顔画像が所定の顔表情であることを検出し、顔表情情報を取得する顔表情検出手段を含み、
前記音声データ選択手段は、前記顔表情検出手段が取得した前記顔表情情報に基づき、前記所定の音声データを選択することを特徴とするデジタルカメラ。 The digital camera according to claim 1, wherein
The person information acquisition means includes face expression detection means for detecting that the face image of the subject person in the image data is a predetermined facial expression and acquiring facial expression information,
The digital camera according to claim 1, wherein the voice data selection means selects the predetermined voice data based on the facial expression information acquired by the facial expression detection means.
前記人物情報取得手段は、前記画像データ中の被写体人物画像に基づきその人物の年代と性別との少なくとも一方を前記被写体人物情報として推論する推論手段を含み、
前記音声データ選択手段は、前記推論手段が推論した前記年代と性別との少なくとも一方に基づき、前記所定の音声データを選択することを特徴とするデジタルカメラ。 The digital camera according to claim 1, wherein
The person information acquisition means includes inference means for inferring at least one of the age and sex of the person as the subject person information based on the subject person image in the image data,
The digital camera, wherein the audio data selection means selects the predetermined audio data based on at least one of the age and sex inferred by the inference means.
所定の人物の顔情報を顔登録データとして記憶する顔登録データ記憶手段と、
前記画像データ中の被写体人物の顔画像が前記顔登録データ記憶手段に記憶された所定の顔登録データに対応することを検出し、前記被写体人物が登録人物であることを認識する顔認識手段と、を更に備え、
前記音声データ記憶手段は、前記登録人物の名前を含む音声データを記憶しており、
前記音声データ選択手段は、前記顔認識手段が認識した前記登録人物に応じて、前記音声データ記憶手段に記憶されている複数の音声データの中から前記登録人物の名前を含む音声データを選択することを特徴とするデジタルカメラ。 The digital camera according to any one of claims 1 to 3,
Face registration data storage means for storing face information of a predetermined person as face registration data;
Face recognition means for detecting that a face image of a subject person in the image data corresponds to predetermined face registration data stored in the face registration data storage means, and recognizing that the subject person is a registered person; Further comprising
The voice data storage means stores voice data including the name of the registered person,
The voice data selection unit selects voice data including the name of the registered person from a plurality of voice data stored in the voice data storage unit according to the registered person recognized by the face recognition unit. A digital camera characterized by that.
前記画像データ中の被写体人物が複数人存在し、前記複数人の被写体人物の中に登録人物が所定数以上含まれる場合に、前記音声データ選択手段は、前記登録人物の名前を含まない音声データを選択することを特徴とするデジタルカメラ。 The digital camera according to claim 4, wherein
When there are a plurality of subject persons in the image data, and the predetermined number or more of registered persons are included in the plurality of subject persons, the sound data selecting unit does not include the names of the registered persons. A digital camera characterized by selecting.
前記画像データ中の被写体人物が複数人存在し、前記複数人の被写体人物の中に登録人物が前記所定数未満である場合に、前記音声データ選択手段は、前記登録人物の全員の名前を含む音声データを選択することを特徴とするデジタルカメラ。 The digital camera according to claim 4, wherein
When there are a plurality of subject persons in the image data, and the number of registered persons is less than the predetermined number among the plurality of subject persons, the audio data selection unit includes the names of all of the registered persons. A digital camera characterized by selecting audio data.
前記画像データ中の被写体人物が複数人存在し、前記複数人の被写体人物の中に登録人物が一人のみである場合に、前記音声データ選択手段は、前記登録人物の名前を含まない音声データを選択することを特徴とするデジタルカメラ。 The digital camera according to claim 4, wherein
When there are a plurality of subject persons in the image data, and only one registered person is among the plurality of subject persons, the sound data selecting means selects sound data not including the name of the registered person. A digital camera characterized by selection.
前記撮影手段による撮影段階において前記撮像手段が撮像した前記画像データ中の被写体人物の顔画像に前記音声再生手段によって再生された前記音声データの効果が反映されているか否かを評価する評価手段と、
前記評価手段の評価結果に基づき、前記音声データ記憶手段に記録された複数の音声データに対してランキングを付与するランキング手段と、
前記ランキング手段が付与した前記ランキング結果を表示する表示手段と、を更に備えることを特徴とするデジタルカメラ。 The digital camera according to claim 2,
Evaluation means for evaluating whether or not the effect of the audio data reproduced by the audio reproduction means is reflected in the face image of the subject person in the image data imaged by the imaging means in the imaging stage by the imaging means; ,
Ranking means for assigning rankings to a plurality of audio data recorded in the audio data storage means based on the evaluation result of the evaluation means;
A digital camera further comprising display means for displaying the ranking result given by the ranking means.
前記音声データ記憶手段に記憶されている複数の音声データは、サーバーからダウンロードされることを特徴とするデジタルカメラ。
The digital camera according to any one of claims 1 to 8,
A digital camera, wherein a plurality of audio data stored in the audio data storage means is downloaded from a server.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2010032617A JP2011171921A (en) | 2010-02-17 | 2010-02-17 | Digital camera |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2010032617A JP2011171921A (en) | 2010-02-17 | 2010-02-17 | Digital camera |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2011171921A true JP2011171921A (en) | 2011-09-01 |
Family
ID=44685592
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2010032617A Pending JP2011171921A (en) | 2010-02-17 | 2010-02-17 | Digital camera |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2011171921A (en) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2016188304A1 (en) * | 2016-03-04 | 2016-12-01 | 中兴通讯股份有限公司 | Photographing method and device |
-
2010
- 2010-02-17 JP JP2010032617A patent/JP2011171921A/en active Pending
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2016188304A1 (en) * | 2016-03-04 | 2016-12-01 | 中兴通讯股份有限公司 | Photographing method and device |
CN107155056A (en) * | 2016-03-04 | 2017-09-12 | 中兴通讯股份有限公司 | The method and device taken pictures |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5474062B2 (en) | Content reproduction apparatus, content reproduction method, program, and integrated circuit | |
JP5195120B2 (en) | Digital camera | |
JP5401420B2 (en) | Imaging device | |
CN101262561B (en) | Imaging apparatus and control method thereof | |
JP2009141516A (en) | Image display device, camera, image display method, program, image display system | |
JP4641389B2 (en) | Information processing method and information processing apparatus | |
CN105721765A (en) | IMAGE Generation device and image generation method | |
CN105744179A (en) | Image Capture Apparatus Capable of Processing Photographed Images | |
JP2009210992A (en) | Photographing device | |
JP2010252008A (en) | Imaging device, displaying device, reproducing device, imaging method and displaying method | |
JP2010178259A (en) | Digital camera | |
JP2010068190A (en) | Digital camera, image processing apparatus and digital camera system | |
US10075631B2 (en) | Imaging apparatus, imaging method and recording medium having program for performing self-timer shooting | |
JP2010176224A (en) | Image processor and digital camera | |
JP5157704B2 (en) | Electronic still camera | |
JP5272797B2 (en) | Digital camera | |
US20090010628A1 (en) | Camera Apparatus and a Method and Software For Using Such | |
WO2016188304A1 (en) | Photographing method and device | |
JP2014112787A (en) | Video processing device and video processing method | |
JP2011171921A (en) | Digital camera | |
JP2010226484A (en) | Image display and digital camera | |
JP2015179969A (en) | Imaging apparatus, imaging method, and program | |
JP6617396B2 (en) | Imaging apparatus and imaging method | |
JP5526620B2 (en) | Digital camera | |
JP2010045518A (en) | Image processing apparatus |