JP2011041096A - 携帯端末、並びにこれに用いる集音制御方法及びプログラム - Google Patents

Abstract

【課題】撮影対象者の音声を、より良い品質で集音する。
【解決手段】携帯端末１を構成する推定部３０は、カメラ１０で撮影された動画像データ１１０内における撮影対象者２の位置と、カメラ１０が撮影に用いるパラメータ情報１２０とに基づき、自端末１に対する撮影対象者２の相対位置１３０を推定する。調整部４０は、相対位置１３０に向けて、音声を集音するマイク２０の指向性を調整する。また、推定部３０は、撮影対象者２の位置の変化に応じて相対位置３０を更新する。調整部４０は、更新された相対位置３０に向けて、マイク２０の指向性を再調整する。
【選択図】図１

Description

本発明は、携帯端末、並びにこれに用いる集音制御方法及びプログラムに関し、特にビデオカメラ、デジタルカメラ、携帯電話機等のように動画像の撮影と音声の集音とを並列に行う携帯端末、並びにこれに用いる集音制御方法及びプログラムに関する。

一般に、上記のような携帯端末には、その取扱い易さや撮影時の利便性の向上を目的として、動画像を撮影するカメラ及び音声を集音するマイクの両者が内蔵されている。しかしながら、内蔵型マイクで集音された撮影対象者の音声品質は、騒音、残響、エコー等の周囲環境の影響に因り、ピンマイクやガンマイクのような独立型マイクを用いて集音されたテレビ放送等における音声品質よりも著しく劣っているのが現状である。

この問題に対処する関連技術が、例えば特許文献１及び２に記載されている。この内、特許文献１に記載されるハンズフリー装置は、複数のマイクで集音された音声信号の内から所定の話者に対応する音声信号を識別すると共に、当該音声信号の入力方向を特定する。そして、このハンズフリー装置は、当該入力方向にマイクの指向性を高める。

一方、特許文献２に記載される録音装置は、複数のマイクによる音波の測定波形と、予め測定しておいたインパルス応答の波形とを比較・照合することによって、音源の位置を特定する。そして、この録音装置は、撮影装置による撮影範囲外に位置する音源からの音声に対する集音レベルを下げる。

特開２００１−３５９１８５号公報 特開平１１−３４１５９２号公報 特開２００６−５４４０号公報 特開２００１−９２９７４号公報

しかしながら、上記の特許文献１及び２には、集音された撮影対象者の音声品質が不十分であるという課題があった。これは、上記の特許文献１及び２が、いずれも、音源位置の特定に際して、マイクによる実際の集音結果を利用するためである。上述した通り、集音結果は、騒音、残響、エコー等の周囲環境の影響を受ける。従って、上記の特許文献１及び２では、撮影対象者の位置を正確に特定して、音声品質を向上させることが困難である。

なお、参考技術として、特許文献３には、音声データと共に、話者の口唇の動きを撮影した動画像データ(或いは、これに代替する絵柄や図形)を送信し、以て劣悪な環境下における通話の明瞭度を視覚的に向上させる通話端末が記載されている。また、特許文献４には、動画像データ及び音声データの両者に基づき、精度良く話者を識別する話者識別方法が記載されている。しかしながら、これらの特許文献３及び４は、音声品質を何ら向上させるものでは無い。

従って、本発明は、撮影対象者の音声を、より良い品質で集音することが可能な携帯端末、並びにこれに用いる集音制御方法及びプログラムを提供することを目的とする。

上記の目的を達成するため、本発明の一態様に係る携帯端末は、動画像を撮影するカメラと、音声を集音するマイクと、前記カメラで撮影された動画像データ内における撮影対象者の位置、及び前記カメラが撮影に用いるパラメータ情報に基づき、自端末に対する前記撮影対象者の相対位置を推定する推定手段と、前記相対位置に向けて、前記マイクの指向性を調整する調整手段とを備える。

また、本発明の一態様に係る集音制御方法は、動画像を撮影するカメラと、音声を集音するマイクとを備えた携帯端末に用いる集音制御方法を提供する。この集音制御方法は、前記カメラで撮影された動画像データ内における撮影対象者の位置と、前記カメラが撮影に用いるパラメータ情報とに基づき、前記携帯端末に対する前記撮影対象者の相対位置を推定し、前記相対位置に向けて、前記マイクの指向性を調整する。

さらに、本発明の一態様に係る集音制御プログラムは、動画像を撮影するカメラ、及び音声を集音するマイクを備えた携帯端末に、前記カメラで撮影された動画像データ内における撮影対象者の位置、及び前記カメラが撮影に用いるパラメータ情報に基づき、前記携帯端末に対する前記撮影対象者の相対位置を推定する処理と、前記相対位置に向けて、前記マイクの指向性を調整する処理とを実行させる。

本発明では、周囲環境に依存せず、撮影対象者の位置を正確に特定することが可能である。このため、撮影対象者の音声を、上記の特許文献１及び２よりも大幅に良い品質で集音することが可能である。

本発明の実施の形態１に係る携帯端末の概略的な構成例を示したブロック図である。 本発明の実施の形態１に係る携帯端末の具体的な構成例を示したブロック図である。 本発明の実施の形態１に係る携帯端末において推定する相対位置の一例を示したグラフ図である。 本発明の実施の形態１に係る携帯端末の一の動作例を示したフローチャート図である。 本発明の実施の形態１に係る携帯端末における集音範囲の設定例を示した図である。 本発明の実施の形態１に係る携帯端末におけるマイクの配置例を示したブロック図である。 本発明の実施の形態１に係る携帯端末の他の動作例を示したフローチャート図である。 本発明の実施の形態１に係る携帯端末における集音範囲の一の動的調整例を示した図である。 本発明の実施の形態１に係る携帯端末における集音範囲の他の動的調整例を示した図である。 本発明の実施の形態２に係る携帯端末の構成例を示したブロック図である。 本発明の実施の形態２に係る携帯端末の動作例を示したフローチャート図である。

以下、本発明に係る携帯端末の実施の形態１及び２を、図１〜図１１を参照して説明する。なお、各図面において、同一要素には同一の符号が付されており、説明の明確化のため、必要に応じて重複説明は省略される。

[実施の形態１]
図１に示す本実施の形態に係る携帯端末１は、一般的なビデオカメラ、デジタルカメラ、携帯電話機等と同様、動画像を撮影するカメラ１０と、音声を集音するマイク２０とが内蔵されており、以て動画像の撮影と音声の集音とを並列に行う。

加えて、携帯端末１は、相対位置推定部３０と、指向性調整部４０とを備えている。

この内、相対位置推定部３０は、カメラ１０で撮影された動画像データ１１０と、カメラ１０が動画像データ１１０の撮影時に用いたパラメータ情報(以下、撮影パラメータ情報と呼称する)１２０とを取得する。また、相対位置推定部３０は、後述する如く、動画像データ１１０内における撮影対象者２の位置(以下、データ内位置と呼称することがある)を検出する。さらに、相対位置推定部３０は、検出したデータ内位置と、撮影パラメータ情報１２０とに基づき、携帯端末１に対する撮影対象者２の相対位置１３０を推定する。

ここで、撮影パラメータ情報１２０にカメラ１０の画角１２１及び焦点距離１２２を含めると、相対位置１３０を簡易に推定することができる。具体的には、まず相対位置推定部３０は、画角１２１及び焦点距離１２２を用いて、携帯端末１−撮影対象者２間の距離と、撮影対象者２及びその背景等を含む撮影対象領域(物体面)の幅及び高さとを算出する。そして、相対位置推定部３０は、データ内位置、及び撮影対象領域と動画像データ１１０が示す画像領域とのサイズ比を用いることにより、携帯端末１を原点とする撮影対象者２の三次元位置を、相対位置１３０として算出する。なお、実験等により予め求めた相対位置１３０と、データ内位置、画角１２１、及び焦点距離１２２との対応関係(組合せ)をテーブルに格納し、相対位置推定部３０が当該テーブルから相対位置１３０を取得するようにしても良い。この場合、相対位置推定部３０の処理負荷が大幅に軽減される。

一方、指向性調整部４０は、マイク２０に対してその指向性を制御するためのパラメータ情報(以下、指向性パラメータ情報)１４０を与え、以てマイク２０の集音範囲３が、図１に一点鎖線で示す如く相対位置１３０(すなわち、撮影対象者２)を含む狭範囲となるように調整する。なお、この調整処理の詳細については後述する。これにより、例えば、図１に点線で示す騒音４がマイク２０で集音されるのを防止することができる。

このように、本実施の形態においては、騒音、残響、エコー等の周囲環境の影響を受けずに撮影対象者の位置を正確に特定し、撮影対象者の音声を高品質で集音することができる。

なお、上記の相対位置推定部３０及び指向性調整部４０は、ハードウェアに限らず、ソフトウェアにより実現することもできる。この場合、これらの相対位置推定部３０及び指向性調整部４０と同等の処理を記述したプログラムをメモリ等の記憶媒体(図示せず)に格納し、以て携帯端末１内のプロセッサ(図示せず)等に実行させれば良い。また、当該プログラムは、既存の携帯端末(カメラ及びマイクが内蔵された一般的な携帯端末)に組み込まれたファームウェアへのプラグインとして提供しても良い。

以下、携帯端末１の具体的な構成例及び動作例を、図２〜図９を参照して詳細に説明する。なお、以降の説明においては、一例として、カメラ１０が一般的な自動焦点制御を行う機能を有している場合を扱う。

図２に示すように、携帯端末１は、図１に示した構成に加えて、カメラ１０で撮影された動画像データ１１０と、マイク２０で集音された音声データ１５０とを記憶する記憶部５０を備えている。なお、携帯端末１は、記憶部５０に代えて或いは加えて、動画像データ１１０及び音声データ１５０を、自端末１の操作ユーザ(撮影者)が指定する宛先に送信する機能や外部に出力する機能を有していても良い。

また、相対位置推定部３０は、顔検出部３１と、位置算出部３２とを備えている。

この内、顔検出部３１は、一般的な顔検出アルゴリズムに従って動画像データ１１０を解析することにより、動画像データ１１０に含まれる人物の顔を検出する。この時、顔検出部３１は、検出した顔の位置１６０をカメラ１０へフィードバックし、以てカメラ１０における自動焦点制御(撮影対象者２に対するピント合せ)に利用させる。そして、顔検出部３１は、自動焦点制御後に検出した顔位置１６０を上記のデータ内位置とし、カメラ１０から取得した撮影パラメータ情報１２０と共に位置算出部３２へ出力する。

一方、位置算出部３２は、撮影パラメータ情報１２０及び顔位置１６０に基づき、上述した相対位置１３０の算出処理を実行する。そして、位置算出部３２は、算出した相対位置１３０を指向性調整部４０に与える。

また、マイク２０には、一例として、所定の指向性を有する２個のマイク２１＿１及び２１＿２と、位相器２２と、増幅器２３と、加算器２４とから成る簡易なマイクアレイを用いることができる。ここで、位相器２２は、マイク２１＿２からの出力電圧Ｖ２の位相を調整する。増幅器２３は、位相器２２の出力電圧を増幅する。加算器２４は、増幅器２３の出力電圧とマイク２２＿１の出力電圧Ｖ１とを加算して得た電圧Ｖａを、マイク２０の出力電圧として指向性調整部４０に与える。また、位相器２２による位相調整量をξ、増幅器２３の利得をｇとする。

マイク２２＿１及び２２＿２を、図３に示す如く原点Ｏ(例えば、カメラ１０を構成するレンズの光軸)を挟んで距離ｄだけ離して配置した場合、出力電圧Ｖａは、原点Ｏから相対位置１３０までの距離ｒ、Ｚ軸と相対位置１３０とが成す角度θ、及びＸ軸と相対位置１３０とが成す角度φを用いて、下記の式(１)で表すことができる。ここで、同式(１)中、Ａ、Ｄ１(θ,φ)、及びＤ２(θ,φ)は、音波振幅、マイク２２＿１固有の指向性、及びマイク２２＿２固有の指向性をそれぞれ示す。

従って、指向性調整部４０は、上記の指向性パラメータ情報１４０として、位相器２２及び増幅器２３に対して位相調整量ξ及び利得ｇをそれぞれ指示することにより、マイク２０全体の指向性(すなわち、集音範囲３)を制御することができる。また、指向性調整部４０は、マイク２０からの出力電圧Ｖａを音声データ１５０へ順次変換し、記憶部５０に与える。

次に、携帯端末１の動作例を、図４〜図９を参照して説明する。

図４に示すように、ユーザによる動画像の撮影開始操作が行われると、カメラ１０は、相対位置推定部３０内の顔検出部３１との協調動作による自動焦点制御を行い、以て撮影対象者２にピントが合った動画像データ１１０を撮影する。そして、カメラ１０は、撮影した動画像データ１１０を、顔検出部３１及び記憶部５０に与える(ステップＳ１)。

そして、顔検出部３１は、動画像データ１１０中から撮影対象者２の顔位置１６０を検出する。この時、顔検出部３１は、検出した顔位置１６０と、カメラ１０から取得した撮影パラメータ情報１２０とを位置算出部３２に与える(ステップＳ２)。

位置算出部３２は、顔位置１６０及び撮影パラメータ情報１２０に基づき相対位置１３０を算出し、指向性調整部４０に与える(ステップＳ３)。

指向性調整部４０は、図５に示す如くカメラ１０の画角１２１を６つに分割して得た集音範囲３Ａ〜３Ｆの内から、相対位置１３０が属する集音範囲３を選択する。なお、マイク２０のアレイ数を増やすことにより、選択候補とする集音範囲をより細かく設定することができる。例えば、図６に示す如くカメラ１０を構成するレンズ１１周辺に４個のマイク２２＿１〜２２＿４を配置した場合、水平方向及び垂直方向の両者に集音範囲を設定できる。

また、指向性調整部４０は、選択した集音範囲３に適する位相調整量ξ及び利得ｇを、位相器２２及び増幅器２３に対してそれぞれ指示する(ステップＳ４)。ここで、各集音範囲３Ａ〜３Ｆに適する位相調整量ξ及び利得ｇは、実験等により予め測定しておく。

これにより、マイク２０の集音範囲３は、撮影対象者２を含む必要最低限の狭範囲となり、以て撮影対象者２の音声が高品質で集音されることとなる。

そして、指向性調整部４０は、マイク２０からの出力電圧Ｖａを音声データ１５０へ順次変換し、記憶部５０に与える(ステップＳ５)。

また、携帯端末１は、図７に示す如く動作するとより好適である。図７に示す動作例は、上記のステップＳ２とＳ３との間にステップＳ６及びＳ７に示す処理を追加した点、並びにステップＳ２〜Ｓ７に示す処理を繰り返し実行する点で、図４に示した動作例と異なる。

より具体的には、顔検出部３１は、上記のステップＳ２での顔位置１６０の検出が、動画像の撮影開始後の初回検出であるか否かを判定する(ステップＳ６)。初回検出と判定した場合、顔検出部３１は、顔位置１６０及び撮影パラメータ情報１２０を位置算出部３２に与える。これにより、上記のステップＳ３〜Ｓ５が実行され、以てマイク２０の集音範囲３が適切に調整されることとなる。

上記のステップＳ６で初回検出で無いと判定した場合、顔検出部３１は、動画像データ１１０内における顔位置１６０が、所定量を超えて変化したか否かをさらに判定する(ステップＳ７)。この結果、顔位置１６０が変化していないと判定した場合、顔検出部３１は、何ら処理を実行しない。これにより、集音範囲３が現状のまま維持されることとなる。

一方、図８に示す如く撮影対象者２が移動した場合には、顔検出部３１は、顔位置１６０が変化したと判定し、変化後の顔位置１６０及びこれに対応する撮影パラメータ情報１２０を位置算出部３２に与える。これにより、上記のステップＳ３〜Ｓ５を経由して相対位置１３０の更新、及び集音範囲３の再調整が行われ、以て集音範囲３が、撮影対象者２の移動に追従することとなる。

また、動画像データ１１０中に複数の顔位置を検出した場合、携帯端末１は、各顔位置について上記のステップＳ２〜Ｓ７を実行するとさらに好適である。この場合、図９に示すように、集音範囲３が、複数(この例では３人)の撮影対象者２＿１〜２＿３各々の移動に応じて動的に調整されることとなる。

また、図示を省略するが、携帯端末１は、集音範囲３に、自端末１の操作ユーザを固定的に含めることができる。この場合、操作ユーザ−撮影対象者間の会話が高品質で集音されることとなる。

[実施の形態２]
図１０に示す本実施の形態に係る携帯端末１ａは、相対位置推定部３０が、図２に示した顔検出部３１及び位置算出部３２に加えて顔認証部３３を備えた点で、上記の実施の形態１と異なる。

ここで、図１１に示すように、顔認証部３３は、上記のステップＳ２に示した顔位置１６０の検出処理と上記のステップＳ３〜Ｓ７に示した集音制御処理の間に、一般的な顔認証アルゴリズムに従いステップＳ８及びＳ９に示す処理を実行する。

より具体的には、顔認証部３３は、顔検出部３１により動画像データ１１０中から抽出された撮影対象者２の顔画像データ１７０と、予め登録された撮影対象者の顔画像データとを照合する(ステップＳ８)。

両画像データがマッチングした場合、顔認証部３３は、撮影対象者２が登録済みの人物であると判定し、その旨を示す認証結果１８０を位置算出部３２に与える(ステップＳ９)。この時、位置算出部３２は、算出した相対位置１３０を指向性調整部４０へ出力する。これにより、上記の実施の形態１と同様にして、集音範囲３の調整及び動的な再調整が行われこととなる。

一方、両画像データがマッチングしない場合、顔認証部３３は、撮影対象者２が登録済みの人物で無いと判定し、その旨を示す認証結果１８０を位置算出部３２に与える。この場合、位置算出部３２は、相対位置１３０の算出及び出力を行わない。これにより、登録済みで無い人物(例えば、単なる通行人)の音声を、集音対象から除外することができる。

なお、上記の実施の形態によって本発明は限定されるものではなく、特許請求の範囲の記載に基づき、当業者によって種々の変更が可能なことは明らかである。

１ 携帯端末
２, ２＿１〜２＿３ 撮影対象者
３, ３Ａ〜３Ｆ 集音範囲
４ 雑音
１０ カメラ
２０, ２１＿１〜２１＿４ マイク
２２ 位相器
２３ 増幅器
２４ 加算器
３０ 相対位置推定部
３１ 顔検出部
３２ 位置算出部
３３ 顔認証部
４０ 指向性調整部
１１０ 動画像データ
１２０ 撮影パラメータ情報
１２１ 画角
１２２ 焦点距離
１３０ 相対位置
１４０ 指向性パラメータ情報
１５０ 音声データ
１６０ 顔位置
１７０ 顔画像データ
１８０ 認証結果
Ｖ１, Ｖ２, Ｖａ 出力電圧
ξ 位相調整量
ｇ 利得

Claims (20)

1. 動画像を撮影するカメラと、
   音声を集音するマイクと、
   前記カメラで撮影された動画像データ内における撮影対象者の位置と、前記カメラが撮影に用いるパラメータ情報とに基づき、自端末に対する前記撮影対象者の相対位置を推定する推定手段と、
   前記相対位置に向けて、前記マイクの指向性を調整する調整手段と、
   を備えた携帯端末。
2. 請求項１において、
   前記推定手段が、前記撮影対象者の位置の変化に応じて前記相対位置を更新し、
   前記調整手段が、前記更新された相対位置に向けて、前記マイクの指向性を再調整することを特徴とした携帯端末。
3. 請求項１において、
   前記推定手段は、前記動画像データ内に複数の撮影対象者の位置が含まれる場合、各撮影対象者の位置と前記パラメータ情報とに基づき、自端末に対する各撮影対象者の相対位置を推定し、
   前記調整手段は、各相対位置に向けて、前記マイクの指向性を調整することを特徴とした携帯端末。
4. 請求項３において、
   前記推定手段が、各撮影対象者の位置の変化に応じて各相対位置を更新し、
   前記調整手段が、前記更新された各相対位置に向けて、前記マイクの指向性を再調整することを特徴とした携帯端末。
5. 請求項１〜４のいずれか一項において、
   前記推定手段は、
   前記動画像データを解析して、前記撮影対象者が予め登録された撮影対象者であるか否かを判定し、
   前記撮影対象者が前記予め登録された撮影対象者であると判定した場合に、前記相対位置を推定することを特徴とした携帯端末。
6. 請求項５において、
   前記推定手段が、前記解析及び判定を、予め定めた顔認証アルゴリズムに従って行うことを特徴とした携帯端末。
7. 請求項１〜６のいずれか一項において、
   前記調整手段が、前記相対位置に加え、自端末を操作するユーザに向けて前記マイクの指向性を調整することを特徴とした携帯端末。
8. 請求項１〜７のいずれか一項において、
   前記推定手段が、前記撮影対象者の位置を、予め定めた顔検出アルゴリズムを用いて検出することを特徴とした携帯端末。
9. 請求項１〜８のいずれか一項において、
   前記パラメータ情報が、前記動画像データの撮影時における、前記カメラの画角及び焦点距離を含むことを特徴とした携帯端末。
10. 請求項１〜９のいずれか一項において、
    前記動画像データと、前記マイクで集音された音声データとを記憶する記憶手段をさらに備えたことを特徴とする携帯端末。
11. 動画像を撮影するカメラと、音声を集音するマイクとを備えた携帯端末に用いる集音制御方法であって、
    前記カメラで撮影された動画像データ内における撮影対象者の位置と、前記カメラが撮影に用いるパラメータ情報とに基づき、前記携帯端末に対する前記撮影対象者の相対位置を推定し、
    前記相対位置に向けて、前記マイクの指向性を調整する、集音制御方法。
12. 請求項１１において、
    前記撮影対象者の位置の変化に応じて前記相対位置を更新し、
    前記更新した相対位置に向けて、前記マイクの指向性を再調整することを特徴とした集音制御方法。
13. 請求項１１において、
    前記動画像データ内に複数の撮影対象者の位置が含まれる場合、各撮影対象者の位置と前記パラメータ情報とに基づき、前記携帯端末に対する各撮影対象者の相対位置を推定し、
    各相対位置に向けて、前記マイクの指向性を調整することを特徴とした集音制御方法。
14. 請求項１３において、
    各撮影対象者の位置の変化に応じて各相対位置を更新し、
    前記更新した各相対位置に向けて、前記マイクの指向性を再調整することを特徴とした集音制御方法。
15. 請求項１１〜１４のいずれか一項において、
    前記動画像データを解析して、前記撮影対象者が予め登録された撮影対象者であるか否かを判定し、
    前記撮影対象者が前記予め登録された撮影対象者であると判定した場合に、前記相対位置を推定することを特徴とした集音制御方法。
16. 請求項１５において、
    前記解析及び判定を、予め定めた顔認証アルゴリズムに従って行うことを特徴とした集音制御方法。
17. 請求項１１〜１６のいずれか一項において、
    前記相対位置に加え、前記携帯端末を操作するユーザに向けて前記マイクの指向性を調整することを特徴とした集音制御方法。
18. 請求項１１〜１７のいずれか一項において、
    前記撮影対象者の位置を、予め定めた顔検出アルゴリズムを用いて検出することを特徴とした集音制御方法。
19. 請求項１１〜１８のいずれか一項において、
    前記パラメータ情報として、前記動画像データの撮影時における、前記カメラの画角及び焦点距離を用いることを特徴とした集音制御方法。
20. 動画像を撮影するカメラと、音声を集音するマイクとを備えた携帯端末に、
    前記カメラで撮影された動画像データ内における撮影対象者の位置と、前記カメラが撮影に用いるパラメータ情報とに基づき、前記携帯端末に対する前記撮影対象者の相対位置を推定する処理と、
    前記相対位置に向けて、前記マイクの指向性を調整する処理と、
    を実行させるための集音制御プログラム。

Images