JP2011061461A - Imaging apparatus, directivity control method, and program therefor - Google Patents
Imaging apparatus, directivity control method, and program therefor Download PDFInfo
- Publication number
- JP2011061461A JP2011061461A JP2009208483A JP2009208483A JP2011061461A JP 2011061461 A JP2011061461 A JP 2011061461A JP 2009208483 A JP2009208483 A JP 2009208483A JP 2009208483 A JP2009208483 A JP 2009208483A JP 2011061461 A JP2011061461 A JP 2011061461A
- Authority
- JP
- Japan
- Prior art keywords
- face
- unit
- angle
- directivity
- subject
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- Circuit For Audible Band Transducer (AREA)
- Studio Devices (AREA)
Abstract
Description
本発明は、撮像装置、指向性制御方法及びそのプログラムに関し、例えば撮像装置におけるマイクロホンの指向性を制御する際に適用して好適なものである。 The present invention relates to an imaging apparatus, a directivity control method, and a program thereof, and is suitable for application when controlling the directivity of a microphone in an imaging apparatus, for example.
デジタルビデオカメラ（以下、これをＤＶＣとも呼ぶ）などの撮像装置において、被写体が発する音声を強調して入力する撮像装置が提案されている。例えば、撮像装置から見た被写体の方向を検出し、当該方向から入力される音声を強調して入力する撮像装置が提案されている（例えば特許文献１参照）。 In an imaging apparatus such as a digital video camera (hereinafter also referred to as “DVC”), an imaging apparatus that emphasizes and inputs sound emitted from a subject has been proposed. For example, there has been proposed an imaging apparatus that detects the direction of a subject viewed from an imaging apparatus and emphasizes and inputs sound input from the direction (see, for example, Patent Document 1).
ところで、被写体から発せられる音声というのは、撮像装置から見て必ずしも被写体の中心から発せられるわけではなく、被写体の右端から発せられたり左端から発せられたりする場合もある。 By the way, the sound emitted from the subject is not necessarily emitted from the center of the subject when viewed from the imaging device, and may be emitted from the right end or the left end of the subject.
このような場合、上述した装置において、例えば被写体の中心から撮像装置に向かう方向の音声を強調して入力するようにしていると、被写体の右端から発せられる音声や左端から発せられる音声を強調して入力することはできない。 In such a case, in the above-described apparatus, for example, if the voice in the direction from the center of the subject toward the imaging device is emphasized and input, the voice emitted from the right end of the subject and the voice emitted from the left end are emphasized. Cannot be entered.
つまり上述した撮像装置では、一点から入力される音声しか強調して入力することができないので、必ずしも被写体が発する音声を強調して入力し得るとは言えなかった。 That is, in the above-described imaging apparatus, only the sound input from one point can be emphasized and input, and thus it cannot always be said that the sound emitted from the subject is emphasized and input.
本発明は以上の点を考慮してなされたもので、一段と確実に被写体が発する音声を強調して入力し得る撮像装置、指向性制御方法及びそのプログラムを提案しようとするものである。 The present invention has been made in consideration of the above points, and intends to propose an imaging apparatus, a directivity control method, and a program thereof that can emphasize and input sound emitted from a subject more reliably.
かかる課題を解決するため本発明の撮像装置においては、撮像画像を取得する撮像部と、音声を入力する音声入力部と、撮像画像における被写体を認識する認識部と、撮像画像における被写体の占める範囲に基づいて、音声入力部の指向性を制御する制御部とを設けるようにした。 In order to solve this problem, in the imaging apparatus of the present invention, an imaging unit that acquires a captured image, an audio input unit that inputs sound, a recognition unit that recognizes a subject in the captured image, and a range occupied by the subject in the captured image And a control unit for controlling the directivity of the voice input unit.
このように本発明の撮像装置は、撮像画像における被写体の占める範囲に基づいて音声入力部の指向性を制御することにより、撮像範囲のうち被写体の占める範囲から入力される音声を強調する指向性で音声を入力できる。これにより本発明の撮像装置は、撮像装置から見て被写体のどの部分から発せられたかによらず、被写体が発する音声を強調して入力することができる。 As described above, the imaging apparatus of the present invention controls the directivity of the audio input unit based on the range occupied by the subject in the captured image, thereby enhancing the directivity that emphasizes the sound input from the range occupied by the subject in the imaging range. Voice can be input with. As a result, the image pickup apparatus of the present invention can emphasize and input the sound emitted from the subject regardless of which part of the subject is emitted from the image pickup apparatus.
本発明によれば、撮像画像における被写体の占める範囲に基づいて音声入力部の指向性を制御することにより、撮像範囲のうち被写体の占める範囲から入力される音声を強調する指向性で音声を入力できる。これにより、撮像装置から見て被写体のどの部分から発せられたかによらず、被写体が発する音声を強調して入力することができる。かくして一段と確実に被写体が発する音声を強調して入力し得る撮像装置、指向性制御方法及びそのプログラムを実現できる。 According to the present invention, by controlling the directivity of the sound input unit based on the range occupied by the subject in the captured image, the sound is input with the directivity that emphasizes the sound input from the range occupied by the subject in the imaging range. it can. This makes it possible to emphasize and input the sound emitted from the subject regardless of which part of the subject is emitted from the imaging device. In this way, it is possible to realize an imaging apparatus, a directivity control method, and a program thereof that are capable of enhancing and inputting the sound emitted from the subject.
以下、発明を実施するための最良の形態（以下実施の形態とする）について説明する。尚、説明は以下の順序で行う。
１．第１の実施の形態
２．第２の実施の形態
３．第３の実施の形態
４．第４の実施の形態
５．他の実施の形態
Hereinafter, the best mode for carrying out the invention (hereinafter referred to as an embodiment) will be described. The description will be given in the following order.
1. 1.
＜１．第１の実施の形態＞
［１−１．第１の実施の形態の概要］
まず、第１の実施の形態の概要を説明する。この概要を説明した後、本実施の形態の具体例の説明に移る。
<1. First Embodiment>
[1-1. Outline of First Embodiment]
First, the outline of the first embodiment will be described. After the outline is described, the description moves to a specific example of the present embodiment.
図１において１は、撮像装置を示す。この撮像装置１は、撮像画像を取得する撮像部２と、音声を入力する音声入力部３と、撮像画像における被写体を認識する認識部４と、撮像画像における被写体の占める範囲に基づいて、音声入力部３の指向性を制御する制御部５とを有している。
In FIG. 1,
このような構成により撮像装置１は、撮像範囲のうち被写体の占める範囲から入力される音声を強調する指向性で音声を入力できる。これにより撮像装置１は、撮像装置１から見て被写体のどの部分から発せられたかによらず被写体が発する音声を強調して入力することができる。
With such a configuration, the
このような構成でなる撮像装置１の具体例について、以下、詳しく説明する。
A specific example of the
［１−２．ＤＶＣのハードウェア構成］
上述した撮像装置１の具体例となるデジタルビデオカメラ（ＤＶＣ）のハードウェア構成について、図２を用いて説明する。
[1-2. Hardware configuration of DVC]
A hardware configuration of a digital video camera (DVC), which is a specific example of the
ＤＶＣ１００は、制御部１０１が、内蔵のフラッシュメモリ１０２に書き込まれたプログラムをＲＡＭ１０３にロードして実行することで各種処理を実行すると共に、タッチパネル１０４や操作部１０５からの入力信号に応じて各部を制御する。因みにＲＡＭは、Random Access Memoryの略である。
In the
タッチパネル１０４は、液晶パネル１０６と共にタッチスクリーン１０７を構成するデバイスであり、タッチパネル１０４上の任意の位置が指でタッチされると、タッチされた位置を液晶パネル１０６に表示させる画面の座標として検出する。そしてタッチパネル１０４は、タッチされた位置の座標に応じた入力信号を制御部１０１に送る。
The
操作部１０５は、ズームレバー（ＴＥＬＥ／ＷＩＤＥ）、シャッタボタン、電源ボタン、モード切替ボタンなどからなるデバイスであり、これらの押下操作に応じた入力信号を制御部１０１に送る。
The
制御部１０１は、タッチパネル１０４又は操作部１０５を介して、撮影モードへ切り替えるよう指示されると、動作モードを撮影モードに切り替える。
When instructed to switch to the shooting mode via the
すると撮像部１０８は、制御部１０１の制御のもと、レンズ部１０９を介して取り込んだ被写体からの光を撮像素子で電気信号に変換（すなわち光電変換）することで、アナログの画像信号を得る。そして撮像部１０８は、この画像信号をデジタルの画像信号に変換した後、制御部１０１に送る。
Then, under the control of the
制御部１０１は、撮像部１０８から送られてくる画像信号に所定の処理を施して液晶パネル１０６に送る。この結果、液晶パネル１０６には、被写体の画像がスルー画像として表示される。こうすることで、ＤＶＣ１００は、撮影者に被写体を確認させることができる。
The
またこのとき、制御部１０１は、撮像部１０８から送られてくる画像信号を顔認識処理部１１０に送る。顔認識処理部１１０は、制御部１０１の制御のもと、送られてきた画像信号を解析して、この画像信号に基づく画像（つまりスルー画像）から人物の顔を認識する処理（これを顔認識処理とも呼ぶ）を行う。そして顔認識処理部１１０は、スルー画像から人物の顔が認識されたか否か、顔と認識されたのはスルー画像のどの部分かなどを、顔認識処理の結果として、制御部１０１に返す。
At this time, the
制御部１０１は、アイコンや、顔と認識された部分を示す矩形の枠（これを顔枠とも呼ぶ）などのグラフィックス信号を生成して、これを画像信号に重畳する。この結果、液晶パネル１０６には、スルー画像と共にアイコンや顔枠などが表示される。
The
またこのとき、制御部１０１は、顔認識処理の結果に基づいて、人物の発する声を強調して入力するのに適したマイクロホン部１１１の指向角（これを適切指向角とも呼ぶ）を算出する。尚、この適切指向角を算出する方法については、後述する指向角制御処理の中で詳しく説明する。
At this time, the
そして制御部１０１は、指向角可変部１１２を介して、マイクロホン部１１１の指向角を適切指向角になるように制御する。
Then, the
ここで、マイクロホン部１１１及び指向角可変部１１２のハードウェア構成の具体例を、図３を用いて説明する。
Here, a specific example of the hardware configuration of the
例えばマイクロホン部１１１は、鋭指向性マイクロホン１１１Ａ及び無指向性マイクロホン１１１Ｂで構成される。図４（Ａ）に鋭指向性マイクロホン１１１Ａの指向特性（ポーラパターン）を示し、図４（Ｂ）に無指向性マイクロホン１１１Ｂの指向特性を示す。
For example, the
ここではマイクロホンの指向角とは、例えば指向主軸を０［ｄＢ］とした場合、−６［ｄＢ］以上となる範囲の角度を示したものとする。尚ここでは、鋭指向性マイクロホン１１１Ａの指向主軸は、撮像部１０８の撮像主軸（つまりＤＶＣ１００の正面方向）と一致しているとする。
Here, the directivity angle of the microphone indicates an angle in a range of −6 [dB] or more when the directivity main axis is 0 [dB], for example. Here, it is assumed that the directional main axis of the
指向角可変部１１２（図３）は、レベル可変部１１２Ａ及び１１２Ｂと、加算器１１２Ｃとから構成される。レベル可変部１１２Ａは、制御部１０１の制御のもと、鋭指向性マイクロホン１１１Ａから送られてくる音声信号のレベルを変化させるようになされている。レベル可変部１１２Ｂは、制御部１０１の制御のもと、無指向性マイクロホン１１１Ｂから送られてくる音声信号のレベルを変化させるようになされている。
The directivity angle variable unit 112 (FIG. 3) includes level
加算器１１２Ｃは、レベル可変部１１２Ａから送られてくる鋭指向性マイクロホン１１１Ａの音声信号と、レベル可変部１１２Ｂから送られてくる無指向性マイクロホン１１１Ｂの音声信号とを合成するようになされている。
The
図４（Ｃ）に、例えば鋭指向性マイクロホン１１１Ａのレベルが５０％であり、無指向性マイクロホン１１１Ｂのレベルが５０％である場合のマイクロホン部１１１の指向特性を示す。図４（Ｃ）に示すように、マイクロホン部１１１の指向特性は、鋭指向性マイクロホン１１１Ａ及び無指向性マイクロホン１１１Ｂの指向特性をレベル比に応じて合成したものとなる。尚、マイクロホン部１１１の指向主軸は、鋭指向性マイクロホン１１１Ａの指向主軸（すなわち撮像部１０８の撮像主軸）と一致している。
FIG. 4C shows the directivity characteristics of the
マイクロホン部１１１の指向角を小さくする場合、制御部１０１は、レベル可変部１１２Ａを制御して鋭指向性マイクロホン１１１Ａのレベルを大きくし、レベル可変部１１２Ｂを制御して無指向性マイクロホン１１１Ｂのレベルを小さくする。
When the directivity angle of the
一方、マイクロホン部１１１の指向角を大きくする場合、制御部１０１は、レベル可変部１１２Ａを制御して鋭指向性マイクロホン１１１Ａのレベルを小さくし、レベル可変部１１２Ｂを制御して無指向性マイクロホン１１１Ｂのレベルを大きくする。
On the other hand, when the directivity angle of the
尚、マイクロホン部１１１の指向角の最小値は、鋭指向性マイクロホン１１１Ａの指向角となり、マイクロホン部１１１の指向角の最大値は、無指向性マイクロホン１１１Ｂの指向角（つまり３６０度）となる。
The minimum value of the directivity angle of the
因みにマイクロホン部１１１の指向角を可変制御する構成としては、上述の構成に限らず、この他種々の構成を用いるようにしてもよい。またマイクロホンの指向角の定義としては、上述の定義に限らず、マイクロホンが音声を強調して入力し得る範囲の角度を示すものであれば、例えば聴感上の効果によって定義したものなど、この他種々の定義を用いるようにしてもよい。
Incidentally, the configuration for variably controlling the directivity angle of the
ここで、操作部１０５（図２）のシャッタボタンが押下されたとする。すると制御部１０１は、シャッタボタンの押下に応じて動画像の記録を開始する。すなわち制御部１０１は、撮像部１０８から送られてくる画像信号と、マイクロホン部１１１から指向角可変部１１２を介して入力される音声信号とをＲＡＭ１０３に一時記憶させ、画像信号を動画エンコーダ１１３に送る。
Here, it is assumed that the shutter button of the operation unit 105 (FIG. 2) is pressed. Then, the
動画エンコーダ１１３は、この画像信号を所定の動画フォーマットで圧縮することで、動画データを生成していく。尚、ここでは、所定の動画フォーマットとして、例えば、Ｈ．２６４フォーマットを利用することとする。
The moving
また制御部１０１は、ＲＡＭ１０３に一時記憶させた音声信号を所定の音声フォーマットで圧縮することで、音声データを生成していく。そして制御部１０１は、この音声データと、動画エンコーダ１１３で生成された動画データとを多重化することで動画音声データを生成していく。
The
さらに制御部１０１は、この動画音声データを、ＲＡＭ１０３に書き戻してから、フラッシュメモリ１０２又は記録媒体１１４に記録していく。
Further, the
その後、再び操作部１０５のシャッタボタンが押下されると、制御部１０１は、動画像の記録を終了する。すなわち制御部１０１は、このときＲＡＭ１０３に残存する動画音声データをフラッシュメモリ１０２又は記録媒体１１４に記録することで、撮影開始から終了までの一連の動画音声データの記録を完了する。そして制御部１０１は、この動画音声データに例えば撮影日時などの付帯情報を付与し、動画音声ファイルとしてフラッシュメモリ１０２又は記録媒体１１４に記録する。このようにしてＤＶＣ１００は、動画像を記録する。
Thereafter, when the shutter button of the
また制御部１０１は、タッチパネル１０４又は操作部１０５を介して再生モードへの切換操作が行われると、再生モードに切り換わる。すると制御部１０１は、フラッシュメモリ１０２又は記録媒体１１４から指定された動画音声ファイルを読み出して、ＲＡＭ１０３に一時記憶させる。
Further, the
そして制御部１０１は、この動画音声ファイルから、動画データと音声データとを分離して、動画データを動画デコーダ１１５に送る。
Then, the
動画デコーダ１１５は、この動画データを圧縮されたときと同一の動画フォーマットで伸張することで元の画像信号を得、この画像信号がＲＡＭ１０３に書き戻されていく。
The moving
また制御部１０１は、音声データを圧縮されたときと同一の音声フォーマットで伸張することで元の音声信号を得、これをＲＡＭ１０３に書き戻していく。
Further, the
そして制御部１０１は、画像信号をＲＡＭ１０３から読み出し、所定の処理を施して液晶パネル１０６に送る。これと共に制御部１１０は、音声信号をＲＡＭ１０３から読み出し、所定の処理を施してスピーカ１１６に送る。
Then, the
この結果、液晶パネル１０６には、画像信号に基づく動画像が表示される。またこのとき、音声信号に基づく音声がスピーカ１１６から出力される。このようにしてＤＶＣ１００は、動画像及び音声を再生する。
As a result, a moving image based on the image signal is displayed on the
尚、このＤＶＣ１００の撮像部１０８が、上述した撮像装置１の撮像部２に相当するハードウェアであり、ＤＶＣ１００のマイクロホン部１１１及び指向角可変部１１２が、上述した撮像装置１の音声入力部３に相当するハードウェアである。またＤＶＣ１００の顔認識処理部１１０が、上述した撮像装置１の認識部４に相当するハードウェアであり、ＤＶＣ１００の制御部１０１が、上述した撮像装置１の制御部５に相当するハードウェアである。
The
［１−３．指向角制御処理］
上述したようにＤＶＣ１００は、人物の発する声を強調して入力するのに適切なマイクロホン部１１１の指向角（適切指向角）を算出し、適切指向角となるようにマイクロホン部１１１の指向角を制御するようになされている。以下、このマイクロホン部１１１の指向角を適切指向角となるように制御する処理（以下、これを指向角制御処理とも呼ぶ）について詳しく説明する。
[1-3. Directional angle control processing]
As described above, the
まず、指向角制御処理の概要について、図５を用いて説明する。 First, the outline of the directivity control process will be described with reference to FIG.
図５（Ａ）及び（Ｂ）は、被写体となっている人物Ｐ及びＤＶＣ１００を真上から見下ろした様子を示した図である。
FIGS. 5A and 5B are views showing a state in which the person P and the
ここで、人物Ｐの発する声を強調して入力するためには、撮像範囲Ａｃのうち人物Ｐの発する声の音源である顔Ｐｆが占める範囲Ａｆから入力される音声を強調するように、マイクロホン部１１１の指向角を制御すればよいと考えられる。
Here, in order to emphasize and input the voice uttered by the person P, the microphone is emphasized so as to emphasize the voice input from the range Af occupied by the face Pf which is the sound source of the voice uttered by the person P in the imaging range Ac. It is considered that the directivity angle of the
ゆえにＤＶＣ１００は、撮像部１０８における撮像範囲Ａｃの画角（これを撮像画角とも呼ぶ）θのうち顔Ｐｆが占める範囲Ａｆの画角（以下、これを顔画角とも呼ぶ）αに応じて、マイクロホン部１１１の指向角を制御するようになされている。すなわち顔画角αは、顔Ｐｆが占める範囲Ａｆのみが撮像されるような画角を示す。
Therefore, the
尚ＤＶＣ１００は、水平方向における撮像画角θ及び顔画角αを用いるようになされている。音声に対する人間の耳の指向性は、水平方向の方がより影響を受けるためである。
Note that the
例えば図５（Ａ）に示すように人物ＰがＤＶＣ１００から遠い場合、顔画角αは人物ＰがＤＶＣ１００に近い場合よりも小さい。ゆえにこの場合ＤＶＣ１００は、指向角制御処理において、マイクロホン部１１１の指向角を小さくする。つまりＤＶＣ１００は、図５（Ｃ）に示すようにマイクロホン部１１１の指向性を狭くする。
For example, as shown in FIG. 5A, when the person P is far from the
一方図５（Ｂ）に示すように人物ＰがＤＶＣ１００に近い場合、顔画角αは、人物ＰがＤＶＣ１００から遠い場合よりも大きい。ゆえにこの場合ＤＶＣ１００は、指向角制御処理において、マイクロホン部１１１の指向角を大きくする。つまりＤＶＣ１００は、図５（Ｄ）に示すように、マイクロホン部１１１の指向性を広くする。
On the other hand, as shown in FIG. 5B, when the person P is close to the
このようにＤＶＣ１００は、指向角制御処理において、被写体となる人物ＰがＤＶＣ１００から遠いほどマイクロホン部１１１の指向角を小さくし、人物ＰがＤＶＣ１００から近いほどマイクロホン部１１１の指向角を大きくするようになされている。
In this way, in the directivity angle control process, the
以上が指向角制御処理の概要である。次に指向角制御処理の具体的な処理について説明する。制御部１０１は、動作モードを撮影モードに切り替えるよう指示されると、動作モードを撮影モードに切り替えると共に、指向角制御処理を開始する。
The above is the outline of the directivity control process. Next, specific processing of the directivity control process will be described. When instructed to switch the operation mode to the shooting mode, the
そして制御部１０１は、次のようにして顔画角αを算出する。
Then, the
まず制御部１０１は、撮像部１０８における撮像画角θを算出する。図６（Ａ）に示すように、３５ｍｍフィルムのフレームサイズは、横方向の長さが３６[ｍｍ]であり、縦方向の長さが２４［ｍｍ］である。
First, the
そして図６（Ｂ）に示すように、水平方向における撮像画角θは、焦点距離ｆ（３５ｍｍフィルム換算値）が高さであり、３５ｍｍフィルムにおけるフレームの横方向の長さ３６[ｍｍ]が底辺である二等辺三角形の頂角と等しい。 As shown in FIG. 6B, the imaging field angle θ in the horizontal direction is such that the focal length f (35 mm film equivalent) is the height, and the horizontal length 36 [mm] of the 35 mm film is It is equal to the apex angle of the base isosceles triangle.
ゆえに制御部１０１は、撮像部１０８から現在の焦点距離ｆを取得し、撮像画角θを、焦点距離ｆを用いて式（１）及び式（２）より算出する。尚、式（２）は、式（１）を変形したものである。
Therefore, the
次に制御部１０１は、顔認識処理部１１０から取得した顔認識処理の結果に基づいて、図７（Ａ）に示すように、スルー画像Ｔｐにおける顔枠Ｆｓの位置及び大きさを検出する。
Next, the
顔枠Ｆｓが１つ検出された場合、制御部１０１は、スルー画像Ｔｐの縦方向の中心線Ｏから顔枠Ｆｓの右端までの長さｓＲ１と、中心線Ｏから顔枠Ｆｓの左端までの長さｓＬ１とを比較する。そして制御部１０１は、これらのうち長い方を、顔画角αを算出するための長さ（これを算出用長さとも呼ぶ）ｓとして設定する。
When one face frame Fs is detected, the
例えば図７（Ａ）に示す場合は、長さｓＲ１の方が長さｓＬ１よりも長いので、制御部１０１は、長さｓＲ１を算出用長さｓとして設定する。
For example, in the case shown in FIG. 7A, since the length sR1 is longer than the length sL1, the
このように算出用長さｓを算出すると、制御部１０１は、スルー画像Ｔｐの横方向の半分の長さｗに対する算出用長さｓの比ｎを、式（３）より算出する。
When the calculation length s is calculated in this manner, the
図７（Ｂ）に、顔が認識された人物ＰとＤＶＣ１００とを真上から見下ろした様子を示す。このとき制御部１０１は、撮像範囲において顔枠Ｆｓに対応する顔（つまり人物Ｐの顔Ｐｆ）が占める範囲の画角を顔画角αとして算出する。
FIG. 7B shows a state in which the person P whose face is recognized and the
図７（Ｂ）に示すように、撮像画角θの半分の角度（θ／２）の正接であるｔａｎ（θ／２）と、顔画角αの半分の角度（α／２）の正接である（ｔａｎ（α／２）との比は、長さｗと算出用長さｓとの比ｎと一致する。ゆえに制御部１０１は、顔画角αを、比ｎと撮像画角θとを用いて式（４）より算出する。
As shown in FIG. 7B, tan (θ / 2), which is a half angle (θ / 2) of the imaging field angle θ, and a tangent of a half angle (α / 2) of the face field angle α. (Tan (α / 2)) is equal to the ratio n between the length w and the calculation length s. Therefore, the
このように制御部１０１は、スルー画像Ｔｐにおいて、中心線Ｏを中心とする、顔枠Ｆｓが占める範囲を含む最小の範囲（つまり中心線Ｏから左右に算出用長さｓの範囲）を検出する。そして制御部１０１は、当該範囲と撮像画角θとに基づいて、撮像画角θにおける人物の顔が占める範囲の画角を顔画角αとして算出するようになされている。
In this way, the
一方、顔認識処理の結果より顔枠Ｆｓが複数検出された場合、制御部１０１は、当該複数の顔枠Ｆｓのうち中心線Ｏから一番遠い顔枠Ｆｓの端までの長さを、算出用長さｓとして設定する。
On the other hand, when a plurality of face frames Fs are detected from the result of the face recognition process, the
例えば図８に示すように、左から順に顔枠Ｆｓ１、顔枠Ｆｓ２、顔枠Ｆｓ３が検出されたとする。ここでは、中心線Ｏから顔枠Ｆｓ１の左端までの長さｓＬ２の方が、中心線Ｏから顔枠Ｆｓ３の右端までの長さｓＲ２よりも長く、顔枠Ｆｓ１が中心線Ｏから一番遠いので、制御部１０１は、長さｓＬ２を算出用長さｓとして設定する。
For example, as shown in FIG. 8, it is assumed that a face frame Fs1, a face frame Fs2, and a face frame Fs3 are detected in order from the left. Here, the length sL2 from the center line O to the left end of the face frame Fs1 is longer than the length sR2 from the center line O to the right end of the face frame Fs3, and the face frame Fs1 is farthest from the center line O. Therefore, the
そして制御部１０１は、顔枠Ｆｓが１つ検出された場合と同様に、式（３）及び式（４）を用いて顔画角αを算出する。
And the
このように制御部１０１は、スルー画像Ｔｐにおいて、中心線Ｏを中心とする、複数の顔枠Ｆｓを全て含む最小の範囲（つまり、中心線Ｏから左右に算出用長さｓの範囲）を検出する。そして制御部１０１は、当該範囲と撮像画角θとに基づいて、認識された複数の顔を全て含む最小の範囲の画角を顔画角αとして算出するようになされている。
In this way, the
このようにして顔画角αを算出すると、制御部１０１は、顔画角αを用いて適切指向角βを算出する。
When the face angle of view α is calculated in this way, the
ここで理想的には、図９（Ａ）に示すグラフのように、適切指向角βは顔画角αと同じ値である方が望ましい。こうすることで、マイクロホン部１１１が、顔Ｐｆが占める範囲Ａｆ（図５）から入力される音声のみを強調して入力できるからである。
Here, ideally, it is desirable that the appropriate directivity angle β is the same value as the face angle of view α, as in the graph shown in FIG. This is because the
しかし、指向角を小さいところまで制御しうるマイクロホン、つまり非常に鋭い指向性に制御可能なマイクロホンは製造が困難でありコストが高いので、使用できないことも多いと考えられる。 However, a microphone that can control the directivity angle to a small level, that is, a microphone that can be controlled to have a very sharp directivity is difficult to manufacture and expensive, so it is considered that the microphone cannot be used in many cases.
ゆえにこのＤＶＣ１００において、顔画角αと適切指向角βとの関係は、図９（Ｂ）に示すグラフのようになっている。すなわち顔画角αが大きくなるほど適切指向角βが大きくなり、適切指向角βはマイクロホン部１１１における指向角の最小値βｍｉｎ以上の値をとる。
Therefore, in this
また顔画角αは、撮像部１０８における撮像画角θの最大値αｍａｘ以下の値をとる。ゆえに適切指向角βは、例えば撮像画角θの最大値αｍａｘに適した指向角であるβｍａｘ以下の値をとる。
Further, the face angle of view α takes a value that is less than or equal to the maximum value αmax of the imaging angle of view θ in the
このように顔画角αと適切指向角βとが対応付けられるよう、制御部１０１は、顔画角αを用いて、例えば式（５）を用いて適切指向角βを算出するようになされている。尚、係数ｋは０以上であり、顔画角αがαｍａｘのとき適切指向角βがβｍａｘとなるような係数である。
In this way, the
因みに顔画角αから適切指向角βを算出する式としては、顔画角αが示す範囲から入力される音声を強調するような適切指向角βを算出する式であれば、式（５）に限らず、この他種々の式を用いるようにしてもよい。 Incidentally, the expression for calculating the appropriate directivity angle β from the face angle of view α is an expression for calculating the appropriate directivity angle β that emphasizes the voice input from the range indicated by the face angle of view α. Not limited to this, various other formulas may be used.
このようにして適切指向角βを算出すると、制御部１０１は、指向角可変部１１２を介して、マイクロホン部１１１の指向角を適切指向角βとなるように制御し、指向角制御処理を終了する。
When the appropriate directivity angle β is calculated in this way, the
以上のようにして制御部１０１は、顔認識処理により認識された顔が占める範囲の画角（顔画角α）に基づいて適切指向角βを算出し、適切指向角βとなるようにマイクロホン部１１１の指向角を制御するようになされている。
As described above, the
［１−４．指向角制御処理手順］
次に上述した指向角制御処理の動作処理手順（これを指向角制御処理手順とも呼ぶ）について、図１０に示すフローチャートを用いて説明する。
[1-4. Directional angle control processing procedure]
Next, the operation processing procedure of the directivity angle control process described above (also referred to as a directivity angle control process procedure) will be described with reference to the flowchart shown in FIG.
因みにこの指向角制御処理手順ＲＴ１は、ＤＶＣ１００の制御部１０１が、フラッシュメモリ１０２に書き込まれているプログラムに従って実行する処理手順である。
Incidentally, this directivity angle control processing procedure RT1 is a processing procedure executed by the
制御部１０１は、タッチパネル１０４又は操作部１０５を介して、撮影モードへ切り替えるよう指示されると、動作モードを撮影モードに切り替えると共に指向角制御処理手順ＲＴ１を開始して、ステップＳＰ１に移る。
When the
ステップＳＰ１において制御部１０１は、撮像部１０８からスルー画像Ｔｐを取得し、顔認識処理部１１０に送る。そして制御部１０１は、顔認識処理部１１０から送られてきた顔認識処理の結果に基づいて、スルー画像Ｔｐから人物の顔が認識されたか否かを判別する。
In step SP <b> 1, the
このステップＳＰ１において否定結果が得られると、このことは、ＤＶＣ１００において人物が撮影されていないことを意味する。このとき制御部１０１は、マイクロホン部１１１の指向角の制御を行わず（つまり現在の指向角を変化させず）、再度ステップＳＰ１に戻り、スルー画像Ｔｐから人物の顔が認識されるまで待ち受ける。
If a negative result is obtained in this step SP1, this means that no person is photographed in the
一方ステップＳＰ１において肯定結果が得られると、このことは、ＤＶＣ１００において人物が撮影されていることを意味し、このとき制御部１０１は次のステップＳＰ２に移る。
On the other hand, if a positive result is obtained in step SP1, this means that a person is photographed in the
ステップＳＰ２において制御部１０１は、撮像部１０８から現在の焦点距離ｆを取得し、次のステップＳＰ３に移る。
In step SP2, the
ステップＳＰ３において制御部１０１は、焦点距離ｆを用いて撮像画角θを算出する。また制御部１０１は、顔認識処理の結果に基づいて、スルー画像Ｔｐにおける顔枠Ｆｓが占める範囲を検出する。そして制御部１０１は、撮像画角θとスルー画像Ｔｐにおける顔枠Ｆｓが占める範囲とに基づいて顔画角αを算出し、次のステップＳＰ４に移る。
In step SP3, the
ステップＳＰ４において制御部１０１は、顔画角αから適切指向角βを算出して、次のステップＳＰ５に移る。
In step SP4, the
ステップＳＰ５において制御部１０１は、指向角可変部１１２を介して、適切指向角βと現在のマイクロホン部１１１の指向角とが一致するか否かを判別する。
In step SP5, the
このステップＳＰ５において否定結果が得られると、このとき制御部１０１は次のステップＳＰ６に移る。
If a negative result is obtained in step SP5, the
ステップＳＰ６において制御部１０１は、指向角可変部１１２を介して、マイクロホン部１１１の指向角を適切指向角βとなるように制御して、再度ステップＳＰ５に戻る。
In step SP6, the
一方ステップＳＰ５において適切指向角βと現在のマイクロホン部１１１の指向角とが一致することより肯定結果が得られると、このとき制御部１０１は次のステップＳＰ７に移る。
On the other hand, if a positive result is obtained in step SP5 that the appropriate directivity angle β matches the current directivity angle of the
ステップＳＰ７において制御部１０１は、タッチパネル１０４又は操作部１０５を介して指向角制御処理を終了するよう指示されたか否かを判別する。
In step SP7, the
このステップＳＰ７において否定結果が得られると、制御部１０１は再度ステップＳＰ１に戻り、ステップＳＰ１〜ＳＰ７を繰り返す。
If a negative result is obtained in step SP7, the
一方ステップＳＰ７において肯定結果が得られると、制御部１０１は、指向角制御処理手順ＲＴ１を終了する。
On the other hand, if a positive result is obtained in step SP7, the
このような指向角制御処理手順ＲＴ１により、ＤＶＣ１００は、適切指向角βを算出し、適切指向角βとなるようにマイクロホン部１１１の指向角を制御するようになされている。
By such a directivity angle control processing procedure RT1, the
［１−５．第１の実施の形態における動作及び効果］
以上の構成において、ＤＶＣ１００の顔認識処理部１１０は、ＤＶＣ１００の撮像部１０８で撮像された画像（スルー画像Ｔｐ）から、被写体となっている人物の顔を認識する処理（顔認識処理）を行う。そして顔認識処理部１１０は、顔認識処理の結果をＤＶＣ１００の制御部１０１に送る。
[1-5. Operation and Effect in First Embodiment]
In the above configuration, the face
制御部１０１は、撮像部１０８から、画像が撮像された際の焦点距離ｆを取得し、撮像画角θを算出する。
The
また制御部１０１は、顔認識処理の結果に基づいて、スルー画像Ｔｐにおいて、人物の顔と認識された部分を示す顔枠Ｆｓが占める範囲を検出する。
Further, the
そして制御部１０１は、スルー画像Ｔｐの中心線Ｏを中心とする、顔枠Ｆｓが占める範囲を含む最小の範囲を検出し、当該範囲に基づいて撮像画角θにおける人物の顔が占める範囲の画角（顔画角α）を算出する。
Then, the
そして制御部１０１は、この顔画角αを用いて、この顔画角αが示す範囲から入力される音声を強調するような適切指向角βを算出する。そして制御部１０１は、指向角可変部１１２を介して、適切指向角βとなるようにマイクロホン部１１１の指向角を制御する。
Then, the
これによりＤＶＣ１００は、撮像範囲のうち人物の顔が占める範囲から入力される音声を強調する指向性で音声を入力できるので、ＤＶＣ１００から見て人物の顔のどの部分から発せられたかによらず人物が発する声を強調して入力することができる。
Thus, the
ゆえに例えば人物がＤＶＣ１００に対して正面を向けている場合、つまりＤＶＣ１００から見て人物の顔のほぼ中心から声が発せられる場合でも、ＤＶＣ１００は、人物が発する声を強調して入力することができる。また人物がＤＶＣ１００に対して横を向けている場合、つまりＤＶＣ１００から見て人物の顔のおよそ右端又は左端から声が発せられる場合でも、ＤＶＣ１００は、人物が発する声を強調して入力することができる。
Therefore, for example, even when a person is facing the
また制御部１０１は、顔認識処理により複数の顔が認識された場合、スルー画像Ｔｐの中心線Ｏを中心とする、当該複数の顔を示す複数の顔枠Ｆｓが全て含まれる最小の範囲を検出する。
In addition, when a plurality of faces are recognized by the face recognition process, the
そして制御部１０１は、当該範囲と撮像画角θとに基づいて、認識された複数の顔が全て含まれる範囲の画角（顔画角α）を算出し、この顔画角αに基づいて、マイクロホン部１１１の指向性を制御するようにした。
Then, the
これによりＤＶＣ１００は、撮像範囲のうち複数の人物の顔が占める範囲から入力される音声を強調する指向性で音声を入力できるので、一人のみならず、複数の人物が発する声を強調して入力することができる。
As a result, the
ところで、被写体となる人物が移動する場合、人物の移動に合わせてマイクロホン部１１１の指向主軸の方向を移動させることで、人物の発する声を強調して入力することが考えられる。
By the way, when the person who becomes the subject moves, it is conceivable that the voice of the person is emphasized and inputted by moving the direction of the directional main axis of the
しかしこのようにマイクロホン部１１１の指向主軸の方向を移動させると、それに伴ってマイクロホン部１１１に入力される音声の音像定位が移動してしまうので、当該音声が再生されたときにユーザに違和感を与えてしまうこととなる。
However, if the direction of the directional main axis of the
これに対して本発明のＤＶＣ１００は、顔画角αが示す範囲、強調して入力するようにマイクロホン部１１１の指向角の大きさを制御するようにした。つまりＤＶＣ１００は、人物の顔が占める範囲を含む、撮像主軸を中心とする範囲を強調して入力するようにマイクロホン部１１１の指向角の大きさを制御するようにした。
On the other hand, the
これによりＤＶＣ１００は、撮像主軸を中心として、つまりマイクロホン部１１１の指向主軸を中心として、マイクロホン部１１１の指向角の大きさを変化させるだけで、人物の発する声を強調して入力できる。ゆえにＤＶＣ１００は、マイクロホン部１１１の指向主軸を変化させなくても人物の発する声を強調して入力できるので、音像定位を移動させることなく、ユーザに違和感を与えないようにできる。
As a result, the
またＤＶＣ１００は、顔画角αを、マイクロホン部１１１において制御されうる範囲内（つまり最小指向角βｍｉｎ以上）の指向角と対応付ける式（５）を用いて、顔画角αから適切指向角βを算出するようにした。そしてＤＶＣ１００は、このようにして算出した適切指向角βとなるようにマイクロホン部１１１の指向角を制御するようにした。
In addition, the
これによりＤＶＣ１００は、マイクロホン部１１１において指向角が制御されうる範囲によらず、顔画角αに基づいてマイクロホン部１１１の指向角を制御することができる。つまりＤＶＣ１００において、例えば鋭指向性に制御可能なマイクロホンでなくても、指向性を可変制御しうるマイクロホンであれば、種々のマイクロホンを用いることができる。
Thereby, the
以上の構成によれば、ＤＶＣ１００は、スルー画像における人物の顔を認識し、スルー画像における人物の顔が占める範囲に基づいて、マイクロホン部１１１の指向性を制御するようにした。
According to the above configuration, the
これによりＤＶＣ１００は、撮像範囲のうち人物の顔が占める範囲から入力される音声を強調する指向性で音声を入力できるので、人物の顔のどの部分から発せられたかによらず人物が発する声を強調して入力することができる。かくしてＤＶＣ１００は、一段と確実に人物が発する声を強調して入力することができる。
As a result, the
＜２．第２の実施の形態＞
［２−１．第２の実施の形態の概要］
次に第２の実施の形態について説明する。因みにこの概要を説明した後、本実施の形態の具体例の説明に移る。
<2. Second Embodiment>
[2-1. Outline of Second Embodiment]
Next, a second embodiment will be described. By the way, after explaining this outline, it moves to the explanation of a specific example of the present embodiment.
図１と対応する部分について同様の符号を付した図１１において、１０は、第２の実施の形態における撮像装置を示す。この撮像装置１０は、上述した第１の実施の形態と同様の撮像部２、音声入力部３及び認識部４を有している。
In FIG. 11, in which parts corresponding to those in FIG. 1 are denoted by the same reference numerals, reference numeral 10 denotes an imaging apparatus according to the second embodiment. The imaging device 10 includes the
また撮像装置１０は、認識部４により認識された被写体の中から、任意の被写体を選択する選択部１１を有している。
In addition, the imaging apparatus 10 includes a
さらに撮像装置１０は、撮像画像において、選択部１１により選択された一又は複数の被写体が全て含まれる範囲を検出し、当該範囲に基づいて音声入力部３の指向性を制御する制御部１２を有している。
Furthermore, the imaging device 10 detects a range including all of one or a plurality of subjects selected by the
このような構成でなる撮像装置１０の具体例であるＤＶＣ２００について、以下、詳しく説明する。尚ＤＶＣ２００のハードウェア構成については、第１の実施の形態におけるＤＶＣ１００のハードウェア構成（図２）と同様であるので第１の実施の形態を参照とする。
The
尚第２の実施の形態において、ＤＶＣ２００の撮像部１０８が、上述した撮像装置１０の撮像部２に相当するハードウェアである。またＤＶＣ２００のマイクロホン部１１１及び指向角可変部１１２が、上述した撮像装置１０の音声入力部３に相当するハードウェアである。さらにＤＶＣ２００の顔認識処理部１１０が、上述した撮像装置１０の認識部４に相当するハードウェアである。さらにＤＶＣ２００の制御部１０１が、上述した撮像装置１０の選択部１１及び制御部１２に相当するハードウェアである。
In the second embodiment, the
［２−２．指向角制御処理］
第２の実施の形態におけるＤＶＣ２００の制御部１０１は、顔認識処理部１１０から顔認識処理の結果を取得すると、これに基づいて、スルー画像Ｔｐにおける顔枠Ｆｓの位置及び大きさを検出する。
[2-2. Directional angle control processing]
When the
顔枠Ｆｓが１つ検出された場合、制御部１０１は、第１の実施の形態と同様に、顔枠Ｆｓが含まれる範囲を検出し、この範囲を用いて、顔枠Ｆｓが示す顔が占める範囲の画角を顔画角αとして算出する。
When one face frame Fs is detected, the
一方顔枠Ｆｓが複数検出された場合、制御部１０１は、それぞれの顔枠Ｆｓの面積を算出し、最も面積の大きい顔枠Ｆｓがどれかを判別する。最も面積の大きい顔枠Ｆｓは、ＤＶＣ２００に最も距離が近い顔を示している。つまり最も面積の大きい顔枠Ｆｓが示す顔の人物は、ＤＶＣ２００に向かって声を発している可能性が高いと考えられる。
On the other hand, when a plurality of face frames Fs are detected, the
ゆえに制御部１０１は、最も面積の大きい顔枠Ｆｓが示す顔の人物を、声を発している人物であると予測し、当該最も面積の大きい顔枠Ｆｓを選択する。そして制御部１０１は、選択した顔枠Ｆｓにおいて、中心線Ｏから右端までの長さ及び中心線Ｏから左端までの長さを算出し、これらのうち長い方を算出用長さｓとして設定する。
Therefore, the
例えば図１２に示すように、顔認識処理により、左から順に顔枠Ｆｓ４、顔枠Ｆｓ５、顔枠Ｆｓ６が検出されたとする。このとき制御部１０１は、顔枠Ｆｓ６の面積が一番大きいと判別したとすると、顔枠Ｆｓ６を選択する。ここでは中心線Ｏから顔枠Ｆｓ６の左端までの長さｓＬ３よりも、中心線Ｏから顔枠Ｆｓ６の右端までの長さｓＲ３の方が長いので、制御部１０１は、長さｓＲ３を算出用長さｓとして設定する。
For example, as shown in FIG. 12, it is assumed that a face frame Fs4, a face frame Fs5, and a face frame Fs6 are detected in order from the left by the face recognition process. At this time, if it is determined that the area of the face frame Fs6 is the largest, the
そして制御部１０１は、上述した第１の実施の形態と同様に、式（３）及び式（４）を用いて顔画角αを算出する。
And the
つまり制御部１０１は、スルー画像Ｔｐにおいて一番面積の大きい顔枠Ｆｓが占める範囲を検出する。そして制御部１０１は、中心線Ｏを中心とする、当該顔枠Ｆｓが占める範囲を含む最小の範囲（つまり中心線Ｏから左右に算出用長さｓの範囲）を検出し、この範囲を用いて当該顔枠Ｆｓが示す顔が占める範囲の画角を顔画角αとして算出する。
That is, the
そして制御部１０１は、上述した第１の実施の形態と同様に、顔画角αを用いて式（５）により適切指向角βを算出し、指向角可変部１１２を介して、マイクロホン部１１１の指向角を適切指向角βとなるように制御する。
Then, as in the first embodiment described above, the
以上の構成によればＤＶＣ２００は、複数の顔が認識された場合、複数の顔枠Ｆｓの中から最も面積の大きい顔枠Ｆｓが示す顔の人物を、ＤＶＣ２００に向かって声を発している人物であると予測し、当該最も面積の大きい顔枠Ｆｓを選択する。
According to the above configuration, when a plurality of faces are recognized, the
そしてＤＶＣ２００は、選択した顔枠Ｆｓが含まれる範囲に基づいて、当該顔枠Ｆｓが示す人物の顔が占める範囲の画角（顔画角α）を算出し、この顔画角αに基づいて、マイクロホン部１１１の指向性を制御するようにした。
The
これによりＤＶＣ２００は、ＤＶＣ２００に最も距離が近い人物、つまりＤＶＣ２００に向かって声を発している可能性が高い人物の顔が占める範囲から入力される音声を強調する指向性で音声を入力できる。ゆえにＤＶＣ２００は、ＤＶＣ２００に向かって声を発している可能性が高い人物の声を強調して入力できるので、一段と確実に人物が発する声を強調して入力することができる。
As a result, the
＜３．第３の実施の形態＞
次に第３の実施の形態について説明する。第３の実施の形態における撮像装置２０は、上述した第２の実施の形態における撮像装置１０（図１１）と機能構成については同様であるので、第２の実施の形態を参照とする。
<3. Third Embodiment>
Next, a third embodiment will be described. Since the imaging apparatus 20 in the third embodiment is similar in functional configuration to the imaging apparatus 10 (FIG. 11) in the second embodiment described above, reference is made to the second embodiment.
このような撮像装置２０の具体例であるＤＶＣ３００について、以下、詳しく説明する。尚ＤＶＣ３００のハードウェア構成については、第１の実施の形態におけるＤＶＣ１００のハードウェア構成（図３）と同様であるので第１の実施の形態を参照とする。
The
［３−１．指向角制御処理］
第３の実施の形態におけるＤＶＣ３００の顔認識処理部１１０は、顔認識処理において、第１の実施の形態と同様にスルー画像Ｔｐから人物の顔を認識すると共に、人物の口を認識する。そして顔認識処理部１１０は、認識された顔において口が認識されたか否かも顔認識処理の結果として制御部１０１に返す。
[3-1. Directional angle control processing]
In the face recognition process, the face
ここで口が認識された顔の人物は、ＤＶＣ３００に向かって声を発している可能性が高いと考えられる。ゆえに制御部１０１は、顔認識処理部１１０から顔認識処理の結果を取得すると、口が認識された顔枠Ｆｓが示す顔の人物を、声を発している人物であると予測し、当該口が認識された顔枠Ｆｓを選択する。
Here, it is considered that the face person whose mouth is recognized has a high possibility of speaking toward the
例えば図１３に示すように、顔認識処理により、左から順に顔枠Ｆｓ７、顔枠Ｆｓ８、顔枠Ｆｓ９が検出されたとする。尚、顔枠Ｆｓ７においては、例えば人物が横を向いているために口が認識されていないとし、顔枠Ｆｓ８及び顔枠Ｆｓ９においては、口が認識されているとする。このとき制御部１０１は、口が認識されている顔枠Ｆｓ８及び顔枠Ｆｓ９を選択する。
For example, as shown in FIG. 13, it is assumed that a face frame Fs7, a face frame Fs8, and a face frame Fs9 are detected in order from the left by the face recognition process. In the face frame Fs7, for example, it is assumed that the mouth is not recognized because a person is facing sideways, and the mouth is recognized in the face frames Fs8 and Fs9. At this time, the
そして制御部１０１は、選択した顔枠Ｆｓの中で、中心線Ｏから一番遠い顔枠Ｆｓの端までの長さを算出用長さｓとして設定する。
Then, the
図１３に示す場合では、中心線Ｏから顔枠Ｆｓ８の左端までの長さｓＬ４よりも、中心線Ｏから顔枠Ｆｓ９の右端までの長さｓＲ４の方が長いので、制御部１０１は、長さｓＲ４を算出用長さｓとして設定する。 In the case illustrated in FIG. 13, the length sR4 from the center line O to the right end of the face frame Fs9 is longer than the length sL4 from the center line O to the left end of the face frame Fs8. The length sR4 is set as the calculation length s.
そして制御部１０１は、上述した第１の実施の形態と同様に、式（３）及び式（４）を用いて顔画角αを算出する。
And the
つまり制御部１０１は、スルー画像Ｔｐにおいて、中心線Ｏを中心とする、口が認識された顔枠Ｆｓを全て含む最小の範囲（つまり中心線Ｏから左右に算出用長さｓの範囲）を検出する。そして制御部１０１は、この範囲と撮像画角θとに基づいて、口が認識された顔を全て含む最小の範囲の画角を顔画角αとして算出する。
That is, in the through image Tp, the
そして制御部１０１は、上述した第１の実施の形態と同様に、顔画角αを用いて式（５）により適切指向角βを算出し、指向角可変部１１２を介して、マイクロホン部１１１の指向角を適切指向角βとなるように制御する。
Then, as in the first embodiment described above, the
以上の構成によればＤＶＣ３００は、認識された顔枠Ｆｓの中から口が認識された一又は複数の顔枠Ｆｓが示す顔の人物を、ＤＶＣ３００に向かって声を発している人物であると予測し、当該顔枠Ｆｓを選択する。
According to the above configuration, the
そしてＤＶＣ３００は、選択した顔枠Ｆｓが全て含まれる範囲に基づいて、当該顔枠Ｆｓが示す人物の顔が全て含まれるような範囲の画角（顔画角α）を算出し、この顔画角αに基づいて、マイクロホン部１１１の指向性を制御するようにした。
Then, the
これによりＤＶＣ３００は、ＤＶＣ３００に向かって口を向けている人物、つまりＤＶＣ３００に向かって声を発している可能性が高い人物の顔が占める範囲から入力される音声を強調する指向性で音声を入力できる。ゆえにＤＶＣ３００は、ＤＶＣ３００に向かって声を発している可能性が高い一又は複数の人物の声を強調して入力できるので、一段と確実に人物が発する声を強調して入力することができる。
As a result, the
＜４．第４の実施の形態＞
次に第４の実施の形態について説明する。第４の実施の形態における撮像装置４０は、上述した第２の実施の形態における撮像装置１０（図１１）と機能構成については同様であるので、第２の実施の形態を参照とする。
<4. Fourth Embodiment>
Next, a fourth embodiment will be described. Since the imaging apparatus 40 in the fourth embodiment is similar in functional configuration to the imaging apparatus 10 (FIG. 11) in the second embodiment described above, reference is made to the second embodiment.
このような撮像装置４０の具体例であるＤＶＣ４００について、以下、詳しく説明する。尚ＤＶＣ４００のハードウェア構成についても、第１の実施の形態におけるＤＶＣ１００のハードウェア構成（図３）と同様であるので第１の実施の形態を参照とする。
The
［４−１．指向角制御処理］
第４の実施の形態におけるＤＶＣ１００の制御部１０１は、顔認識処理部１１０から顔認識処理の結果を取得すると、これに基づいて、スルー画像Ｔｐにおける顔枠Ｆｓの位置及び大きさを検出する。そして制御部１０１は、液晶パネル１０６に表示されているスルー画像Ｔｐ上に顔枠Ｆｓを表示させる。
[4-1. Directional angle control processing]
When the
そして制御部１０１は、ユーザ操作によりタッチパネル１０４又は操作部１０５を介して、任意の顔枠Ｆｓが指定されると、指定された顔枠Ｆｓを選択する。
Then, when an arbitrary face frame Fs is designated by the user operation via the
例えば図１４に示すように、顔認識処理により、左から順に顔枠Ｆｓ１０、顔枠Ｆｓ１１、顔枠Ｆｓ１２が検出されたとする。このとき、ユーザ操作によりタッチパネル１０４又は操作部１０５を介して、例えば顔枠Ｆｓ１１が指定された場合、制御部１０１は、顔枠Ｆｓ１１を選択する。
For example, as shown in FIG. 14, it is assumed that a face frame Fs10, a face frame Fs11, and a face frame Fs12 are detected in order from the left by the face recognition process. At this time, for example, when the face frame Fs11 is designated by the user operation via the
そして制御部１０１は、選択した顔枠Ｆｓにおいて、中心線Ｏから右端までの長さ及び中心線Ｏから左端までの長さを算出し、これらのうち長い方を算出用長さｓとして設定する。
Then, the
図１４に示す場合では、中心線Ｏから顔枠Ｆｓ１１の左端までの長さｓＬ５の方が中心線Ｏから顔枠Ｆｓ１１の右端までの長さｓＲ５よりも長いので、制御部１０１は、長さｓＬ５を算出用長さｓとして設定する。 In the case illustrated in FIG. 14, the length sL5 from the center line O to the left end of the face frame Fs11 is longer than the length sR5 from the center line O to the right end of the face frame Fs11. sL5 is set as the calculation length s.
そして制御部１０１は、上述した第１の実施の形態と同様に、式（３）及び式（４）を用いて顔画角αを算出する。
And the
つまり制御部１０１は、スルー画像Ｔｐにおいて、中心線Ｏを中心とする、ユーザ入力に基づいて選択した顔枠Ｆｓが占める範囲を含む最小の範囲（つまり中心線Ｏから左右に算出用長さｓの範囲）を検出する。そして制御部１０１は、この範囲を用いて選択した顔枠Ｆｓに対応する顔が占める範囲の画角を顔画角αとして算出する。
That is, in the through image Tp, the
そして制御部１０１は、上述した第１の実施の形態と同様に、顔画角αを用いて式（５）により適切指向角βを算出し、指向角可変部１１２を介して、マイクロホン部１１１の指向角を適切指向角βとなるように制御する。
Then, as in the first embodiment described above, the
また制御部１０１は、図１４（Ｂ）に示すように、選択している顔枠Ｆｓ１１を強調して（例えば二重線などで）表示させる。これと共に制御部１０１は、指向角制御処理を行っていることを示す指向角制御アイコンＩｃをスルー画像Ｔｐ上に表示させる。
Further, as shown in FIG. 14B, the
またこれと共に制御部１０１は、中心線Ｏから左右に算出用長さｓの範囲、つまりマイクロホン部１１１に声が強調して入力される範囲を示すマイクロホンバーＢｍをスルー画像Ｔｐ上に表示させる。マイクロホンバーＢｍは、塗りつぶされた範囲がマイクロホン部１１１に声が強調して入力される範囲を示すようになされている。
At the same time, the
これによりＤＶＣ４００は、現在どの範囲がマイクロホン部１１１に声が強調して入力されるかをユーザに通知することができるようになされている。
As a result, the
以上の構成によればＤＶＣ４００は、認識された顔枠Ｆｓの中から、タッチパネル１０４又は操作部１０５を介したユーザ操作に基づいて顔枠Ｆｓを選択する。そしてＤＶＣ４００は、選択した顔枠Ｆｓが含まれる範囲に基づいて、当該顔枠Ｆｓが示す人物の顔が占める範囲の画角（顔画角α）を算出する。そしてＤＶＣ４００は、この顔画角αに基づいてマイクロホン部１１１の指向性を制御するようにした。
According to the above configuration, the
これによりＤＶＣ４００は、ユーザ操作に基づいて選択した人物の顔が占める範囲から入力される声を強調する指向性で声を入力できるので、ユーザの所望する人物が発する声を強調して入力することができる。
As a result, the
＜５．他の実施の形態＞
［５−１．他の実施の形態１］
尚上述した第１の実施の形態では、制御部１０１は、顔認識処理により認識された人物の顔が占める範囲の画角（顔画角α）を算出し、これに基づいてマイクロホン部１１１の指向性を制御するようにした。
<5. Other embodiments>
[5-1. Other Embodiment 1]
In the first embodiment described above, the
これに限らず制御部１０１は、顔認識処理により人物の口が認識された場合、人物の口が占める範囲の画角を算出し、これに基づいてマイクロホン部１１１の指向性を制御するようにしてもよい。
Not limited to this, when the person's mouth is recognized by the face recognition process, the
この場合、制御部１０１は、顔認識処理の結果から、図１５に示すように口と認識された部分を示す矩形の枠（これを口枠とも呼ぶ）Ｍｓの位置及び大きさを検出する。
In this case, the
そして制御部１０１は、口枠Ｍｓにおいて、中心線Ｏから右端までの長さｓＲ６及び中心線Ｏから左端ｓＬ６までの長さを算出し、これらのうち長い方（図１５ではｓＬ６）を算出用長さｓとして設定する。つまり制御部１０１は、スルー画像Ｔｐの中心線Ｏを中心とする、口枠Ｍｓが占める範囲を含む最小の範囲を検出する。
Then, the
そして制御部１０１は、上述した第１の実施の形態と同様の方法で、顔画角αの代わりに、撮像画角θにおける口が占める範囲の画角を算出し、これを用いて適切指向角βを算出する。そして制御部１０１は、指向角可変部１１２を介して、適切指向角βとなるようにマイクロホン部１１１の指向角を制御する。
Then, the
これによりＤＶＣ１００は、撮像範囲において、人物の発する声の音源である口が占める範囲から入力される音声を強調する指向性で音声を入力できるので、一段と確実に人物の発する声を強調して入力することができる。
As a result, the
またこれに限らず制御部１０１は、音声を発する被写体であれば、例えば動物など、この他種々の被写体が占める範囲の画角に基づいて、マイクロホン部１１１の指向性を制御するようにしてもよい。
In addition, the
［５−２．他の実施の形態２］
また上述した第２の実施の形態では、制御部１０１は、最も面積の大きい顔枠Ｆｓが示す顔の人物を、声を発している人物であると予測し、この人物の顔が占める範囲の画角に基づいてマイクロホン部１１１の指向性を制御するようにした。
[5-2. Other Embodiment 2]
In the second embodiment described above, the
これに限らず制御部１０１は、この他種々の方法で声を発している被写体を予測し、声を発していると予測された被写体が占める範囲の画角に基づいてマイクロホン部１１１の指向性を制御してもよい。
The
例えば制御部１０１は、最も横幅の広い顔枠Ｆｓが示す顔の人物を、声を発している人物であると予測し、この人物の顔が占める範囲の画角に基づいてマイクロホン部１１１の指向性を制御してもよい。
For example, the
この場合制御部１０１は、顔認識処理の結果に基づいて、検出された顔枠Ｆｓの横幅をそれぞれ算出し、最も横幅の広い顔枠Ｆｓがどれかを判別する。最も横幅の広い顔枠Ｆｓは、ＤＶＣ２００に距離が近く且つＤＶＣ２００に正面を向けていると考えられる。つまり最も横幅の広い顔枠Ｆｓが示す顔の人物は、ＤＶＣ２００に向かって声を発している可能性が高いと考えられる。
In this case, the
例えば図１６（Ａ）に示すように、顔認識処理により、左から順に顔枠Ｆｓ１３、顔枠Ｆｓ１４、顔枠Ｆｓ１５が検出されたとする。このとき顔枠Ｆｓ１３が示す顔の人物はＤＶＣ２００から遠いために、図１６（Ｂ）に示すように、顔枠Ｆｓ１３の横幅Ｌ１３は最も狭いとする。
For example, as shown in FIG. 16A, it is assumed that a face frame Fs13, a face frame Fs14, and a face frame Fs15 are detected in order from the left by the face recognition process. At this time, since the face person indicated by the face frame Fs13 is far from the
また顔枠Ｆｓ１４が示す顔の人物は、最もＤＶＣ２００に近いため顔枠Ｆｓ１４の面積は最も大きいが、ＤＶＣ２００に対して斜めを向いているため、その横幅Ｌ１４は、顔枠Ｆｓ１５の横幅Ｌ１５よりも狭いとする。
Since the face person indicated by the face frame Fs14 is closest to the
また顔枠Ｆｓ１５が示す顔の人物は、顔枠Ｆｓ１４よりも面積は小さいが、ＤＶＣ２００に対して正面を向いているため、その横幅Ｌ１５は最も広いとする。
Further, the face person indicated by the face frame Fs15 has a smaller area than the face frame Fs14, but faces the front with respect to the
このとき制御部１０１は、最も横幅の広い顔枠Ｆｓ１５が示す顔の人物を、声を発している人物であると予測し、顔枠Ｆｓ１５を選択する。そして制御部１０１は、選択した顔枠Ｆｓ１５において、中心線Ｏから右端までの長さｓＲ７及び中心線Ｏから左端までの長さｓＬ７を算出し、これらのうち長い方（図１６の場合はｓＬ７）を算出用長さｓとして設定する。つまり制御部１０１は、スルー画像Ｔｐの中心線Ｏを中心とする、選択した顔枠Ｆｓ１５が占める範囲を含む最小の範囲を検出する。
At this time, the
そして制御部１０１は、上述した第１の実施の形態と同様に、顔画角α及び適切指向角βを算出し、指向角可変部１１２を介して、マイクロホン部１１１の指向角を適切指向角βとなるように制御する。
Then, as in the first embodiment described above, the
こうすることでＤＶＣ２００は、ＤＶＣ２００に向かって声を発している可能性が高い人物の顔が占める範囲から入力される音声を強調する指向性で音声を入力できる。ゆえにＤＶＣ２００は、声を発している可能性が高い人物が発する声を強調して入力できるので、一段と確実に人物が発する声を強調して入力することができる。
By doing so, the
またこれに限らず制御部１０１は、例えば口が開いていると認識された顔の人物を、声を発している人物であると予測し、この人物の顔が占める範囲の画角に基づいてマイクロホン部１１１の指向性を制御するようにしてもよい。
For example, the
この場合、顔認識処理部１１０は、顔認識処理においてスルー画像から人物の顔を認識すると共に人物の口が開いているか否かを認識し、顔認識処理の結果として制御部１０１に返す。
In this case, the face
例えば図１７に示すように、顔認識処理により、左から順に顔枠Ｆｓ１６、顔枠Ｆｓ１７、顔枠Ｆｓ１８が検出されたとする。尚、顔枠Ｆｓ１６及びＦｓ１８においては、例えば人物が口を閉じているために口が開いていないと認識され、顔枠Ｆｓ１７においては、口が開いていると認識されたとする。 For example, as shown in FIG. 17, it is assumed that a face frame Fs16, a face frame Fs17, and a face frame Fs18 are detected in order from the left by the face recognition process. In the face frames Fs16 and Fs18, for example, it is recognized that the mouth is not open because a person closes his mouth, and in the face frame Fs17, it is recognized that the mouth is open.
ここで口が開いていると認識された顔の人物は、ＤＶＣ３００に向かって声を発している可能性が一段と高いと考えられる。ゆえに制御部１０１は、顔認識処理部１１０から顔認識処理の結果を取得すると、口が開いていると認識された顔枠Ｆｓ１７が示す顔の人物を、声を発している人物であると予測し、当該顔枠Ｆｓ１７を選択する。
Here, it is considered that the person whose face is recognized as having an open mouth is more likely to be speaking toward the
そして制御部１０１は、選択した顔枠Ｆｓ１７において、中心線Ｏから右端までの長さｓＲ８及び中心線Ｏから左端ｓＬ８までの長さを算出し、これらのうち長い方（図１７ではｓＬ８）を算出用長さｓとして設定する。つまり制御部１０１は、スルー画像Ｔｐの中心線Ｏを中心とする、選択した顔枠Ｆｓ１７が占める範囲を含む最小の範囲を検出する。
Then, the
そして制御部１０１は、上述した第１の実施の形態と同様に、顔画角α及び適切指向角βを算出し、指向角可変部１１２を介して、マイクロホン部１１１の指向角を適切指向角βとなるように制御する。
Then, as in the first embodiment described above, the
これによりＤＶＣ３００は、口を開けている人物、つまり声を発している可能性が一段と高い人物の顔が占める範囲から入力される音声を強調する指向性で音声を入力できる。ゆえにＤＶＣ３００は、声を発している可能性が一段と高い人物の発する声を強調して入力できるので、一段と確実に人物が発する声を強調して入力することができる。
As a result, the
またこれに限らず制御部１０１は、顔認識処理によって認識された顔の中から、主被写体（例えば構図のバランスが最もよい被写体など）を認識し、主被写体として認識された顔の人物を、声を発している人物であると予測するようにしてもよい。そして制御部１０１は、声を発していると予測された人物を選択し、選択した人物の顔が占める範囲の画角に基づいてマイクロホン部１１１の指向性を制御するようにしてもよい。
In addition, the
［５−３．他の実施の形態３］
さらに上述した第４の実施の形態では、制御部１０１は、ユーザ入力により指定された顔枠Ｆｓを選択し、選択した顔枠Ｆｓが示す顔が占める範囲の画角に基づいてマイクロホン部１１１の指向性を制御するようにした。
[5-3. Other Embodiment 3]
Furthermore, in the fourth embodiment described above, the
これに限らず制御部１０１は、認識された顔枠Ｆｓの中からこの他種々の方法で顔枠Ｆｓを選択し、選択した顔枠Ｆｓが示す顔が占める範囲の画角に基づいてマイクロホン部１１１の指向性を制御してもよい。
Not limited to this, the
例えばＤＶＣ４００は、予め各個人に優先度が設定されている場合、この優先度に基づいて顔枠Ｆｓを選択するようにしてもよい。
For example, when a priority is set for each individual in advance, the
この場合、顔認識処理部１１０は、顔認識処理により検出された顔枠Ｆｓがどの個人であるかを、予めフラッシュメモリ１０２等に記録されている各個人の顔の特徴量に基づいて認識する個人認識処理を行い、その結果を制御部１０１に送る。
In this case, the face
制御部１０１は、予めフラッシュメモリ１０２等に記録されている各個人の優先度に基づいて、認識された個人の優先度を判別し、最も優先度の高い個人の顔を示す顔枠Ｆｓを選択する。
The
例えば図１８（Ａ）に示すように、顔認識処理により、左から順に顔枠Ｆｓ１９、顔枠Ｆｓ２０、顔枠Ｆｓ２１が検出されたとする。またここでは、図１８（Ｂ）に示すように、顔枠Ｆｓ１９が示す顔の個人は優先度が１であるとし、顔枠Ｆｓ２０が示す顔の個人は優先度が３であるとし、顔枠Ｆｓ２１が示す顔の個人は優先度が２であるとする。 For example, as shown in FIG. 18A, it is assumed that the face frame Fs19, the face frame Fs20, and the face frame Fs21 are detected in order from the left by the face recognition process. Further, here, as shown in FIG. 18B, it is assumed that the individual of the face indicated by the face frame Fs19 has a priority of 1, the individual of the face indicated by the face frame Fs20 has a priority of 3, and the face frame The individual of the face indicated by Fs21 has a priority of 2.
このとき制御部１０１は、最も優先度の高い個人の顔を示す顔枠Ｆｓ２０を選択して、中心線Ｏから右端までの長さｓＲ９及び中心線Ｏから左端ｓＬ９までの長さを算出し、これらのうち長い方（図１８ではｓＬ９）を算出用長さｓとして設定する。つまり制御部１０１は、スルー画像Ｔｐの中心線Ｏを中心とする、選択した顔枠Ｆｓ２０が占める範囲を含む最小の範囲を検出する。
At this time, the
そして制御部１０１は、上述した第１の実施の形態と同様に、顔画角α及び適切指向角βを算出し、指向角可変部１１２を介して、マイクロホン部１１１の指向角を適切指向角βとなるように制御する。
Then, as in the first embodiment described above, the
これによりＤＶＣ４００は、予め設定された優先度が最も高い人物の顔が占める範囲から入力される音声を強調する指向性で音声を入力できるので、当該優先度が最も高い人物の発する声を強調して入力できる。
As a result, the
また例えば制御部１０１は、子供の優先度を大人の優先度よりも高く設定しておき、この優先度に基づいて顔枠Ｆｓを選択するようにしてもよい。
For example, the
この場合、顔認識処理部１１０は、顔認識処理により検出された顔枠Ｆｓが示す人物の年齢を判別する年齢判別処理を行い、その結果を制御部１０１に送る。
In this case, the face
制御部１０１は、判別した年齢に基づいて、認識された顔の優先度を判別し、最も優先度の高い人物（例えば子供）の顔を示す顔枠Ｆｓを選択する。
The
またこれに限らず制御部１０１は、認識された顔枠Ｆｓの各々に対してこの他種々の方法で設定された優先度に基づいて顔枠Ｆｓを選択し、選択した顔枠Ｆｓが示す顔が占める範囲の画角に基づいてマイクロホン部１１１の指向性を制御してもよい。
In addition, the
［５−４．他の実施の形態４］
さらに上述した第１の実施の形態では、制御部１０１は、スルー画像Ｔｐから人物の顔が認識されなかった場合、マイクロホン部１１１の指向角の制御を行わないようにした。
[5-4. Other Embodiment 4]
Furthermore, in the first embodiment described above, the
これに限らず制御部１０１は、スルー画像Ｔｐから人物の顔が認識されなかった場合、マイクロホン部１１１を無指向性にするようにしてもよい。
Not limited to this, the
これによりＤＶＣ１００は、撮影時の状況に適した指向性で音声を入力することができる。スルー画像Ｔｐから人物の顔が認識されなかった場合は、風景などを撮影していることが多く、様々な方向から音声が入力されると考えられるからである。
As a result, the
またこれに限らず、マイクロホン部１１１がサラウンドマイクロホンとしての機能を有するのであれば、制御部１０１は、スルー画像Ｔｐから人物の顔が認識されなかった場合、マイクロホン部１１１をサラウンドマイクロホンとして機能させるようにしてもよい。
Not limited to this, if the
［５−５．他の実施の形態５］
さらに上述した第４の実施の形態では、制御部１０１は、ユーザ操作により指定された顔枠Ｆｓを選択し、選択した顔枠Ｆｓが示す顔の人物が発する声を強調するように、マイクロホン部１１１の指向性を制御するようにした。
[5-5. Other Embodiment 5]
Further, in the fourth embodiment described above, the
これに限らず、制御部１０１は、ユーザ操作により指定された顔枠Ｆｓが示す顔の人物が発する声を強調しないように、マイクロホン部１１１の指向性を制御するようにしてもよい。
Not limited to this, the
具体的に、例えば図１４（Ａ）に示すように、顔枠Ｆｓ１０、顔枠Ｆｓ１１、顔枠Ｆｓ１２が検出されたとする。このとき制御部１０１は、ユーザ操作により顔枠Ｆ１０が指定されたと認識すると、顔枠Ｆｓ１０よりも中心線Ｏに近い顔枠Ｆｓ（つまり顔枠Ｆｓ１１及び顔枠Ｆｓ１２）のみが含まれる範囲を検出する。そして制御部１０１は、この範囲を用いて、顔枠Ｆｓ１１及び顔枠Ｆｓ１２が示す顔の人物のみが含まれる範囲の画角を算出し、これに基づいてマイクロホン部１１１の指向角を制御する。
Specifically, for example, as shown in FIG. 14A, it is assumed that a face frame Fs10, a face frame Fs11, and a face frame Fs12 are detected. At this time, when the
これによりＤＶＣ４００は、ユーザ操作により指定された顔枠Ｆｓ１０が示す顔の人物が発する声は強調して入力されないようにできる。またこれと共にＤＶＣ１００は、顔枠Ｆｓ１０よりも中心線Ｏ寄りの顔枠Ｆｓ１１及び顔枠Ｆｓ１２が示す顔の人物が発する声が強調して入力されるようにすることができる。
As a result, the
［５−６．他の実施の形態６］
さらに上述した第１の実施の形態では、制御部１０１は、撮影モードに切り替わると共に指向角制御処理を開始するようにした。そして制御部１０１は、タッチパネル１０４又は操作部１０５を介して指向角制御処理を終了するよう指示されない限り、指向角制御処理を継続して実行するようにした。
[5-6. Other Embodiment 6]
Furthermore, in the first embodiment described above, the
これに限らず、制御部１０１は、この他種々のタイミングで指向角制御処理を開始したり終了したりするようにしてもよい。
However, the present invention is not limited to this, and the
例えば制御部１０１は、ＤＶＣ１００が通常撮影される向きから９０度回転された向きで撮影されているとき（つまり縦撮りされているとき）は、指向角制御処理を実行しないようにしてもよい。この場合ＤＶＣ１００には、ＤＶＣ１００が９０度回転されたことを認識できるセンサ（例えばジャイロセンサなど）が設けられているとする。
For example, the
［５−７．他の実施の形態７］
さらに上述した第４の実施の形態では、制御部１０１は、ユーザ操作によりスルー画像Ｔｐ上の顔枠Ｆｓを指定させることで、マイクロホン部１１１に声が強調して入力される範囲を決定するようにした。
[5-7. Other Embodiment 7]
Furthermore, in the fourth embodiment described above, the
これに限らず制御部１０１は、この他種々のユーザ操作により、マイクロホン部１１１に声が強調して入力される範囲を決定するようにしてもよい。
However, the present invention is not limited to this, and the
例えば制御部１０１は、マイクロホンバーＢｍ（図１３（Ｂ））に対するタッチ操作によりマイクロホン部１１１に声が強調して入力される範囲を決定するようにしてもよい。
For example, the
この場合制御部１０１は、マイクロホンバーＢｍがタッチ操作されるごとにマイクロホンバーＢｍの範囲を切り替える。図１３（Ａ）に示す場合を考えると、例えば顔枠Ｆｓ１１のみが含まれる範囲、顔枠Ｆｓ１１及び顔枠Ｆｓ１２が含まれる範囲、全ての顔枠Ｆｓが含まれる範囲といった順に切り替える。
In this case, the
そして制御部１０１は、マイクロホンバーＢｍが示す範囲をマイクロホン部１１１に声が強調して入力される範囲として決定し、この範囲の画角に基づいて、マイクロホン部１１１の指向性を制御する。
Then, the
［５−８．他の実施の形態８］
さらに上述した第１の実施の形態では、制御部１０１は、認識された人物の顔が占める範囲の画角（顔画角α）を用いて式（５）により適切指向角βを算出して、適切指向角βとなるようマイクロホン部１１１の指向角を制御するようにした。
[5-8. Other Embodiment 8]
Furthermore, in the first embodiment described above, the
これに限らず制御部１０１は、顔画角αをマイクロホン部１１１において制御されうる範囲内の指向角と対応付け、対応付けた指向角となるようにマイクロホン部１１１の指向角を制御するのであれば、この他種々の方法でマイクロホン部１１１の指向性を制御するようにしてもよい。
Not limited to this, the
例えば制御部１０１は、顔画角αの値と、当該値に対応する適切指向角βとを、予め対応付けてフラッシュメモリ１０２等に記録しておくようにしてもよい。この場合、例えば顔画角αがｘ度以上ｙ度以下の場合に、適切指向角βをｚ度とするといったように、顔画角αの範囲と適切指向角βとを対応付けておくようにしてもよい。
For example, the
［５−９．他の実施の形態９］
さらに上述した第１の実施の形態では、ＤＶＣ１００に指向角が連続的に可変であるマイクロホン部１１１及び指向角可変部１１２を設けるようにした。これに限らず、ＤＶＣ１００では、指向性が可変なマイクロホンであれば、この他種々のマイクロホンを用いるようにしてもよい。
[5-9. Other Embodiment 9]
Furthermore, in the above-described first embodiment, the
［５−１０．他の実施の形態１０］
さらに上述した第１の実施の形態では、制御部１０１は、スルー画像Ｔｐにおいて人物の顔が占める範囲と撮像画角θとに基づいて、人物の顔が占める範囲の画角（顔画角α）を算出し、この顔画角αに基づいてマイクロホン部１１１の指向性を制御するようにした。
[5-10. Other Embodiment 10]
Furthermore, in the first embodiment described above, the
これに限らず制御部１０１は、スルー画像Ｔｐにおいて被写体の占める範囲に基づいてマイクロホン部１１１の指向性を制御するのであれば、この他種々の方法を用いるようにしてもよい。例えば制御部１０１は、スルー画像Ｔｐにおいて人物の顔が占める範囲が広くなるのに応じてマイクロホン部１１１の指向性を広くし、当該範囲が狭くなるのに応じてマイクロホン部１１１の指向性を狭くするようにしてもよい。
Not limited to this, the
［５−１１．他の実施の形態１１］
さらに上述した第１の実施の形態では、撮像装置１としてのＤＶＣ１００に、撮像部２としての撮像部１０８と、音声入力部３としてのマイクロホン部１１１及び指向角可変部１１２と、認識部４としての顔認識処理部１１０とを設けるようにした。また撮像装置１としてのＤＶＣ１００に、制御部５としての制御部１０１を設けるようにした。
[5-11. Other Embodiment 11]
Further, in the first embodiment described above, the
さらに上述した第２の実施の形態では、撮像装置１０としてのＤＶＣ２００に、撮像部２としての撮像部１０８と、音声入力部３としてのマイクロホン部１１１及び指向角可変部１１２と、認識部４としての顔認識処理部１１０とを設けるようにした。また撮像装置１０としてのＤＶＣ２００に、選択部１１及び制御部１２としての制御部１０１を設けるようにした。
Further, in the second embodiment described above, the
本発明はこれに限らず、同様の機能を有するのであれば、上述したＤＶＣ１００又はＤＶＣ２００の各機能部を、他の種々のハードウェアもしくはソフトウェアにより構成するようにしてもよい。
The present invention is not limited to this, and each functional unit of the
さらに上述した第１の実施の形態では、ＤＶＣ１００に本発明を適用するようにした。これに限らず、指向性を可変なマイクロホンを有する撮像装置であれば、例えばカメラを有するパーソナルコンピュータや携帯型電話機など、この他種々の撮像装置に適用するようにしてもよく、また適用することができる。
Furthermore, in the first embodiment described above, the present invention is applied to the
［５−１２．他の実施の形態１２］
さらに上述した実施の形態では、指向角制御処理手順ＲＴ１を実行するためのプログラムを、ＤＶＣ１００のフラッシュメモリ１０２に書き込んでおくようにした。
[5-12. Other Embodiment 12]
Furthermore, in the above-described embodiment, a program for executing the directivity angle control processing procedure RT1 is written in the
これに限らず、このプログラムを例えば記録媒体１１４に記録しておき、ＤＶＣ１００の制御部１０１が、このプログラムを記録媒体１１４から読み出して実行するようにしてもよい。また記録媒体１１４から読み出したプログラムを、フラッシュメモリ１０２にインストールするようにしてもよい。
For example, the program may be recorded on the
［５−１３．他の実施の形態１３］
さらに本発明は、上述した第１乃至第４の実施の形態と他の実施の形態とに限定されるものではない。すなわち本発明は、上述した第１乃至第４の実施の形態と他の実施の形態の一部または全部を任意に組み合わせた形態、もしくは一部を抽出した形態にもその適用領域が及ぶものである。
[5-13. Other Embodiment 13]
Furthermore, the present invention is not limited to the above-described first to fourth embodiments and other embodiments. That is, the present invention extends to the form in which some or all of the above-described first to fourth embodiments and other embodiments are arbitrarily combined or a part is extracted. is there.
例えば上述した第３の実施の形態と他の実施の形態４とを組み合わせるようにしてもよい。この場合制御部１０１は、顔認識処理の結果、口が認識されなかった場合に、マイクロホン部１１１を無指向性に制御する。
For example, the third embodiment described above and the
本発明は、例えばデジタルビデオカメラなど、マイクロホンを有する撮像装置で広く利用することができる。 The present invention can be widely used in an imaging apparatus having a microphone such as a digital video camera.
１、１０、２０、３０……撮像装置。２、１０８……撮像部、３……音声入力部、４……認識部、５、１２、１０１……制御部、１１……選択部、１００、２００、３００、４００……ＤＶＣ、１１０……顔認識処理部、１１１……マイクロホン部、１１２……指向角可変部、θ……撮像画角、α……顔画角、β……適切指向角。 1, 10, 20, 30... 2, 108 ... Imaging unit, 3 ... Voice input unit, 4 ... Recognition unit, 5, 12, 101 ... Control unit, 11 ... Selection unit, 100, 200, 300, 400 ... DVC, 110 ... ... face recognition processing unit, 111 ... microphone part, 112 ... directivity angle variable part, θ ... imaging field angle, α ... face field angle, β ... appropriate directivity angle.
Claims (12)
音声を入力する音声入力部と、
上記撮像画像における被写体を認識する認識部と、
上記撮像画像における上記被写体の占める範囲に基づいて、上記音声入力部の指向性を制御する制御部と
を具える撮像装置。 An imaging unit for acquiring a captured image;
A voice input unit for inputting voice;
A recognition unit for recognizing a subject in the captured image;
An imaging apparatus comprising: a control unit that controls directivity of the audio input unit based on a range occupied by the subject in the captured image.
を具え、
上記制御部は、
上記撮像画像において、上記選択部により選択された一又は複数の被写体が全て含まれる範囲を検出し、当該範囲に基づいて上記音声入力部の指向性を制御する
請求項１に記載の撮像装置。 A selection unit for selecting an arbitrary subject from the subjects recognized by the recognition unit;
The control unit
The imaging apparatus according to claim 1, wherein in the captured image, a range including all of one or a plurality of subjects selected by the selection unit is detected, and directivity of the audio input unit is controlled based on the range.
上記認識部により認識された被写体の中から上記撮像装置に向かって音声を発している被写体を予測し、上記撮像装置に向かって音声を発していると予測された被写体を選択する
請求項２に記載の撮像装置。 The selection part
The subject predicted to emit sound toward the imaging device is selected from the subjects recognized by the recognition unit, and the subject predicted to emit sound toward the imaging device is selected. The imaging device described.
上記被写体として顔を認識すると共に、当該顔における口を認識し、
上記選択部は、
上記認識部により口が認識された被写体を、上記撮像装置に向かって音声を発している被写体であると予測して、当該被写体を選択する
請求項３に記載の撮像装置。 The recognition unit
Recognize the face as the subject, recognize the mouth in the face,
The selection part
The imaging device according to claim 3, wherein the subject whose mouth is recognized by the recognition unit is predicted to be a subject that emits sound toward the imaging device, and the subject is selected.
上記撮像画像における上記被写体の占める範囲が最も大きい被写体を、上記撮像装置に向かって音声を発している被写体であると予測して、当該被写体を選択する
請求項３に記載の撮像装置。 The selection part
The imaging device according to claim 3, wherein the subject in the captured image that has the largest area occupied by the subject is predicted to be a subject that is producing sound toward the imaging device, and the subject is selected.
上記認識部により認識された被写体の中から、当該被写体の各々に対して予め設定された優先度に基づいて、被写体を選択する
請求項２に記載の撮像装置。 The selection part
The imaging device according to claim 2, wherein a subject is selected from subjects recognized by the recognition unit based on a priority set in advance for each of the subjects.
上記撮像画像における被写体として人物の顔を認識し、
上記制御部は、
上記撮像画像における上記顔の占める範囲に基づいて、上記音声入力部の指向性を制御する
請求項１に記載の撮像装置。 The recognition unit
Recognizing a human face as a subject in the captured image,
The control unit
The imaging device according to claim 1, wherein directivity of the voice input unit is controlled based on a range occupied by the face in the captured image.
上記撮像画像における被写体として人物の口を認識し、
上記制御部は、
上記撮像画像における上記口の占める範囲に基づいて、上記音声入力部の指向性を制御する
請求項１に記載の撮像装置。 The recognition unit
Recognizing a person's mouth as a subject in the captured image,
The control unit
The imaging device according to claim 1, wherein directivity of the voice input unit is controlled based on a range occupied by the mouth in the captured image.
上記撮像画像を取得した際の上記撮像部の画角と上記撮像画像における上記被写体の占める範囲とに基づいて、上記撮像部の画角における上記被写体の占める範囲の画角である被写体画角を算出し、当該被写体画角に基づいて上記音声入力部の指向性を制御する
請求項１に記載の撮像装置。 The control unit
Based on the angle of view of the imaging unit when the captured image is acquired and the range occupied by the subject in the captured image, the subject angle of view that is the angle of view of the range occupied by the subject in the angle of view of the imaging unit is determined. The imaging apparatus according to claim 1, wherein the imaging device calculates and controls the directivity of the audio input unit based on the subject field angle.
上記被写体画角を上記音声入力部において制御しうる範囲内の指向角と対応付け、対応付けた指向角となるように上記音声入力部の指向角を制御する
請求項９に記載の撮像装置。 The control unit
The imaging apparatus according to claim 9, wherein the subject angle of view is associated with a directivity angle within a range that can be controlled by the audio input unit, and the directivity angle of the audio input unit is controlled to be the associated directivity angle.
撮像装置が、上記撮像画像における被写体を認識し、
撮像装置が、上記撮像画像における上記被写体の占める範囲に基づいて、撮像装置の音声入力部の指向性を制御する
指向性制御方法。 The imaging device acquires the captured image,
The imaging device recognizes the subject in the captured image,
A directivity control method in which the imaging device controls the directivity of the audio input unit of the imaging device based on a range occupied by the subject in the captured image.
撮像画像を取得する取得ステップと、
上記撮像画像における被写体を認識する認識ステップと、
上記撮像画像における上記被写体の占める範囲に基づいて、撮像装置の音声入力部の指向性を制御する制御ステップと
を実行させるための指向性制御プログラム。 In the imaging device,
An acquisition step of acquiring a captured image;
A recognition step for recognizing a subject in the captured image;
A directivity control program for executing a control step for controlling directivity of a sound input unit of an imaging device based on a range occupied by the subject in the captured image.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2009208483A JP2011061461A (en) | 2009-09-09 | 2009-09-09 | Imaging apparatus, directivity control method, and program therefor |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2009208483A JP2011061461A (en) | 2009-09-09 | 2009-09-09 | Imaging apparatus, directivity control method, and program therefor |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JP2011061461A true JP2011061461A (en) | 2011-03-24 |
Family
ID=43948599
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2009208483A Pending JP2011061461A (en) | 2009-09-09 | 2009-09-09 | Imaging apparatus, directivity control method, and program therefor |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP2011061461A (en) |
Cited By (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2015513704A (en) * | 2012-03-16 | 2015-05-14 | ニュアンス コミュニケーションズ， インコーポレイテッド | User-specific automatic speech recognition |
| JP2015198413A (en) * | 2014-04-03 | 2015-11-09 | 日本電信電話株式会社 | Sound collection system and sound emitting system |
| JP2015535952A (en) * | 2012-09-29 | 2015-12-17 | シェンジェン ピーアールテック カンパニー リミテッド | Voice control system and method for multimedia device and computer storage medium |
| JP2016178652A (en) * | 2013-07-09 | 2016-10-06 | ノキア テクノロジーズ オーユー | Audio processing apparatus |
| JP2018121134A (en) * | 2017-01-23 | 2018-08-02 | 京セラドキュメントソリューションズ株式会社 | Image forming apparatus |
| WO2020090322A1 (en) * | 2018-11-01 | 2020-05-07 | ソニー株式会社 | Information processing apparatus, control method for same and program |
| CN113984105A (en) * | 2020-07-27 | 2022-01-28 | 丰田自动车株式会社 | Control system, control method, and computer-readable recording medium |
-
2009
- 2009-09-09 JP JP2009208483A patent/JP2011061461A/en active Pending
Cited By (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2015513704A (en) * | 2012-03-16 | 2015-05-14 | ニュアンス コミュニケーションズ， インコーポレイテッド | User-specific automatic speech recognition |
| US10789950B2 (en) | 2012-03-16 | 2020-09-29 | Nuance Communications, Inc. | User dedicated automatic speech recognition |
| JP2015535952A (en) * | 2012-09-29 | 2015-12-17 | シェンジェン ピーアールテック カンパニー リミテッド | Voice control system and method for multimedia device and computer storage medium |
| US9955210B2 (en) | 2012-09-29 | 2018-04-24 | Shenzhen Prtek Co. Ltd. | Multimedia device voice control system and method, and computer storage medium |
| JP2016178652A (en) * | 2013-07-09 | 2016-10-06 | ノキア テクノロジーズ オーユー | Audio processing apparatus |
| JP2015198413A (en) * | 2014-04-03 | 2015-11-09 | 日本電信電話株式会社 | Sound collection system and sound emitting system |
| JP2018121134A (en) * | 2017-01-23 | 2018-08-02 | 京セラドキュメントソリューションズ株式会社 | Image forming apparatus |
| WO2020090322A1 (en) * | 2018-11-01 | 2020-05-07 | ソニー株式会社 | Information processing apparatus, control method for same and program |
| CN113984105A (en) * | 2020-07-27 | 2022-01-28 | 丰田自动车株式会社 | Control system, control method, and computer-readable recording medium |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP6464449B2 (en) | Sound source separation apparatus and sound source separation method | |
| US20170289681A1 (en) | Method, apparatus and computer program product for audio capture | |
| JP2011061461A (en) | Imaging apparatus, directivity control method, and program therefor | |
| KR20180100392A (en) | Personalized real-time audio processing | |
| US20100302401A1 (en) | Image Audio Processing Apparatus And Image Sensing Apparatus | |
| JP2009156888A (en) | Speech corrector and imaging apparatus equipped with the same, and sound correcting method | |
| JP2013106298A (en) | Imaging controller, imaging control method, program for imaging control method, and imaging apparatus | |
| JP2011071702A (en) | Sound pickup processor, sound pickup processing method, and program | |
| JP5886479B2 (en) | IMAGING DEVICE, IMAGING ASSIST METHOD, AND RECORDING MEDIUM CONTAINING IMAGING ASSIST PROGRAM | |
| JP5155092B2 (en) | Camera, playback device, and playback method | |
| JP2009065587A (en) | Voice-recording device and voice-reproducing device | |
| JP2005094713A (en) | Data display system, data display method, program and recording medium | |
| JP2022533755A (en) | Apparatus and associated methods for capturing spatial audio | |
| JP5510559B2 (en) | Voice control device and imaging device | |
| JP2017221544A (en) | Game program and game system | |
| JP5214394B2 (en) | camera | |
| JP2009111519A (en) | Audio signal processor and electronics | |
| JP6874437B2 (en) | Communication robots, programs and systems | |
| JP6295442B2 (en) | Image generating apparatus, photographing apparatus, image generating method, and program | |
| JP2013168878A (en) | Recording device | |
| JP6967735B1 (en) | Signal processing equipment and signal processing system | |
| JP2007251355A (en) | Relaying apparatus for interactive system, interactive system, and interactive method | |
| KR101391942B1 (en) | Audio steering video/audio system and providing method thereof | |
| JP6314321B2 (en) | Image generating apparatus, photographing apparatus, image generating method, and program | |
| WO2022224586A1 (en) | Information processing device, information processing method, program, and information recording medium |