JP2012147420A

JP2012147420A - 画像処理装置、及び画像処理システム

Info

Publication number: JP2012147420A
Application number: JP2011256026A
Authority: JP
Inventors: Hirofumi Sakagami; 弘文阪上; Junichi Takami; 淳一鷹見
Original assignee: Ricoh Co Ltd
Current assignee: Ricoh Co Ltd
Priority date: 2010-12-22
Filing date: 2011-11-24
Publication date: 2012-08-02
Anticipated expiration: 2031-11-24
Also published as: US9008320B2; US20120163610A1; JP5857674B2

Abstract

【課題】発言者の音声レベルを会議出席者の顔の上方（頭上）に画像表示するビデオ会議用カメラマイク装置を提供する。
【解決手段】本発明のカメラ・マイクユニット５０は、カメラ３により撮影された画像を処理して会議出席者の顔を検出する顔検出手段１５と、複数のマイク５によって音声の到来方向を検出する音声到来方向検出手段１６と、ずれ時間情報２２に基づいて音声を収音する方向を変更する音声収音方向変更手段１７と、音声収音方向変更手段１７により収音した音声レベルを算出する音声レベル算出手段１８と、顔検出手段１５により検出した顔検出情報２０、音声到来方向検出手段１６により検出した音声到来方向情報２１、及び音声レベル算出手段１８により算出した音声レベル情報２４に基づいて、会議室画像の会議出席者の発言者の頭上に音声レベルを画像表示する画像信号２５を生成する音声レベル表示合成手段１９と、を備えて構成されている。
【選択図】図２

Description

本発明は、画像処理装置、及び画像処理システムに関し、さらに詳しくは、会議出席者に対応させて音声レベルを画像表示する画像処理技術に関するものである。

従来から、静止画遠隔会議装置において、各会議出席者用に配置されたマイクで収音した音声レベルを、会議出席者に対応させて画像表示する技術が知られている。しかし、今までの会議装置では、会議出席者毎にマイクを配置する必要があるため、会議に出席する人数が変化した場合、即座に対応しにくいという問題があった。
また、特許文献１には、誰が発言者であるかを明確に表示する目的で、各会議出席者用に配置したマイクで収音した音声レベルを、会議出席者に対応させて画像表示する構成が開示されている。

しかし、特許文献１に開示されている従来技術は、本発明とは確かに会議出席者に対応させて音声レベルを画像表示する点では類似しているが、会議出席者毎にマイクを配置する必要があり、会議に出席する人数の変化に対応しにくいという問題は解消できていない。
本発明は、かかる課題に鑑みてなされたものであり、会議出席者の人数分のマイクや発言中表示装置を不要にするために、複数のマイクからなるマイクロフォンアレイを使用して、発言者の音声の到来方向を検出し、画像処理で会議出席者の顔を検出して、発言者の音声レベルを会議出席者の顔の上方（頭上）に画像表示するビデオ会議用カメラマイク装置を提供することを目的とする。

本発明はかかる課題を解決するために、請求項１は、撮影手段、及び音声を収音するマイクロフォンを備えた画像処理装置であって、前記撮影手段により撮影された画像に基づいて人物の位置を検出する人物検出手段と、複数のマイクロフォンによって収音した音声データのずれ時間情報に基づいて音声の到来方向を検出する音声到来方向検出手段と、前記複数のマイクロフォンによって収音されたデータのずれ時間を補正して加算することで前記音声を収音する方向を変更する音声収音方向変更手段と、該音声収音方向変更手段により収音した音声レベルを算出する音声レベル算出手段と、前記人物検出手段により検出した人物検出情報、前記音声到来方向検出手段により検出した音声到来方向情報、及び前記音声レベル算出手段により算出した音声レベル情報に基づいて、前記画像に音声レベルを画像表示させる信号を生成する音声レベル表示合成手段と、を備えたことを特徴とする。
本発明は、会議出席者の顔を認識し、各会議出席者の音声を収音して、誰が発言しているかを検出する。そして、発言者の音声レベルに応じて発言者の画像の上部に音声レベルに応じたマークを表示する。これを実現するために、本発明では、ビデオ会議用カメラマイク装置の構成として、顔検出手段、音声到来方向検出手段、音声収音方向変更手段、音声レベル算出手段、及び音声レベル表示合成手段を備えて、画像信号を生成する。これにより、会議出席者の人数分のマイクを不要にすることができる。

請求項２は、前記音声レベル表示合成手段は、前期人物検出手段と音声到来方向検出手段によって特定される発話者情報、および前記音声レベルに対応して、リアルタイムに発話者画像の付近に表示した円の大きさを変化させることを特徴とする。
本発明の音声レベルの画像表示方法は、音声レベルに応じて、発言者の画像の上部に円の大きさを変化させる。例えば、音声レベルが大きい場合は、円の大きさを大きくし、音声レベルが小さい場合は、円の大きさを小さくする。これらの表示をリアルタイムに行う。これにより、発言者が誰で、且つ、発言者の音声レベルを即座に認識することができる。

請求項３は、前記音声の検出は、該音声の信号レベルが所定の閾値以上で、且つ、所定の時間以上継続した場合に、音声として判断することを特徴とする。
会議では、発言者以外の出席者の相づち等の発言も収音される。これらの音声をすべて検出してしまうと、画像表示がめまぐるしく変化する虞がある。本発明ではこのような現象を防止するために、音声の検出は、該音声の信号レベルが所定の閾値以上で、且つ、所定の時間以上継続した場合に、音声として判断する。これにより、画像表示のめまぐるしい変化を防止することができる。

請求項４は、前記音声レベルを含む画像を表示する画像表示装置と、撮影手段、及び音声を収音するマイクロフォンを備えた画像処理装置であって、前記撮影手段により撮影された画像に基づいて人物を検出する人物検出手段と、複数のマイクロフォンによって収音した音声データのずれ時間情報に基づいて音声の到来方向を検出する音声到来方向検出手段と、前記複数のマイクロフォンによって収音されたデータのずれ時間を補正して加算することで前記音声を収音する方向を変更する音声収音方向変更手段と、該音声収音方向変更手段により収音した音声レベルを算出する音声レベル算出手段と、前記人物検出手段により検出した人物検出情報、前記音声到来方向検出手段により検出した音声到来方向情報、及び前記音声レベル算出手段により算出した音声レベル情報に基づいて、前記画像に音声レベルを画像表示させる信号を生成する音声レベル表示合成手段と前記信号を他の画像処理装置に送信する送信手段とを有する画像処理装置と、を備えたことを特徴とする。
本発明のビデオ会議用カメラマイク装置を少なくとも２つ用意して、各会議室に本発明のビデオ会議用カメラマイク装置と、画像表示装置と、スピーカ、及びビデオ会議装置を備え、夫々の会議室をＬＡＮ等のネットワークで接続することにより、ビデオ会議システムを構築することができる。これにより、遠隔地との会議をスムーズに行うことができる。

本発明によれば、複数のマイクからなるマイクロフォンアレイを使用して、発言者の音声の到来方向を検出し、画像処理で会議出席者の顔を検出して、発言者の音声レベルを会議出席者の顔の上方（頭上）に画像表示するので、会議出席者の人数分のマイクを不要とすることができる。

本発明の実施形態に係る画像処理装置の外観について説明する図である。本発明の実施形態に係る画像処理装置の内部構成について説明するブロック図である。本発明の実施形態に係る画像処理装置の動作を説明するフローチャートである。音声到来方向検出手段の動作原理について説明する図である。音声収音方向変更手段の動作原理について説明する図である。人物検出手段の実施例の１つである顔検出手段について説明する図である。人物検出手段の実施例の１つである上半身検出手段について説明する図である。発言者の音声レベルを円の大きさで発言者の頭上に画像表示した様子について説明する図である。発言者の音声レベルを棒グラフの長さで発言者の上半身エリア中央に画像表示した様子について説明する図である。発言者の音声レベルを発話者画像領域の矩形枠の太さで画像表示した様子について説明する図である。発言者の音声レベルを発話者画像領域の輪郭線の太さで画像表示した様子について説明する図である。本発明の画像処理装置を会議室で使用した画像処理システムを説明する図である。本発明の画像処理システムを２つの会議室に設置した場合の動作について説明する図である。

以下、本発明を図に示した実施形態を用いて詳細に説明する。但し、この実施形態に記載される構成要素、種類、組み合わせ、形状、その相対配置などは特定的な記載がない限り、この発明の範囲をそれのみに限定する主旨ではなく単なる説明例に過ぎない。

図１は、本発明の実施形態に係る画像処理装置の外観について説明する図である。本発明の画像処理装置５０は、本体４の前面に備えられ、会議出席者等を撮影する撮影装置３と、会議出席者の発言者の音声を収音する複数のマイクロフォン５と、本体４を立設する柱６と、柱６を固定する台座７とを備えて構成されている。尚、本体４の内部の構成については後述する。また、本体４は柱６から取り外し可能な構成としても良い。
撮影装置３は、自拠点で会議が行われている状況を撮影し、撮影された画像は他拠点に送信され、遠隔会議を実現することができる。
撮影装置３で撮影される画像には、自拠点で会議を行っている人（会議出席者）が含まれる。

図２は、本発明の実施形態に係る画像処理装置の内部構成について説明するブロック図である。本発明の画像処理装置５０は、撮影装置３、及び会議出席者の音声を収音する複数のマイクロフォン５（マイクロフォンａ〜ｄ：マイクロフォンアレイ）を備えた画像処理装置５０であって、撮影装置３により撮影された画像を処理して、画像に含まれる人（会議出席者）の位置を検出する人物検出手段１５と、複数のマイクロフォン５によって音声の到来方向を検出して、音声到来方向情報２１、及び、ずれ時間情報２２を出力する音声到来方向検出手段１６と、ずれ時間情報２２に基づいて音声を収音する方向を変更する音声収音方向変更手段１７と、音声収音方向変更手段１７により収音した音声レベルを算出する音声レベル算出手段１８と、人物検出手段１５により検出した人物検出情報２０、音声到来方向検出手段１６により検出した音声到来方向情報２１、及び音声レベル算出手段１８により算出した音声レベル情報２４に基づいて、撮影装置３で撮影された画像の会議出席者の発言者の付近に音声レベルを画像表示する画像信号２５を生成する音声レベル表示合成手段１９と、を備えて構成されている。尚、音声収音方向変更手段１７から音声信号２３が出力される。

撮影装置３から出力される画像信号は、人物検出手段１５に入力され、画像から人物を検出し、人物の位置情報を人物検出情報２０として出力する。
人物検出に関しては、従来技術であるが、後述する。
また、４個のマイクロフォンａ〜ｄからなるマイクロフォンアレイの音声出力信号は、音声到来方向検出手段１６に入力され、音の到来方向、つまりマイクロフォンアレイ及び撮影装置から見た発言者の方向を検出する。マイクロフォンアレイに到来する音の方向により、４個のマイクロフォン（ａ〜ｄ）５の音声信号出力に時間のずれが発生する。この時間のずれ（ずれ時間情報２２）から音の到来方向を検出し、ずれ時間情報２２と音声到来方向情報２１を出力する。
又、マイクロフォンアレイの音声出力信号は、音声収音方向変更手段１７に入力され、ずれ時間情報２２を入力して、発言者の方向からの音声を収音する。音声到来方向検出手段１６と音声収音方向変更手段１７の動作原理は従来技術であるが後述する。
音声収音方向変更手段１７から出力された発言者の音声信号２３は、音声レベル算出手段１８に入力されると同時に、画像処理装置５０の音声信号２３として出力する。音声レベル算出手段１８では、所定の時間間隔で音声信号の実効値を算出し、音声レベル情報２４を出力する。

例えば、音声信号のサンプリング周波数を８ｋＨｚとし、１２８サンプルの音声データの時間間隔（１／８０００秒×１２８サンプル＝１６ｍｓｅｃ）毎に、各サンプルデータを２乗した値の合計の和の平方根（＝実効値）を算出して、音声レベル情報を出力する。
人物検出情報２０、音声到来方向情報２１、音声レベル情報２４が、音声レベル表示合成手段１９に入力され、図８に示すような、会議室画像の発言者１の付近に音声レベルを円２で表示する画像の画像信号が出力される。
即ち、本発明は、人物の位置情報と音声到来方向情報に基づき、誰が発言しているかを検出する。そして、発言者の音声レベルに応じて発言者の画像の付近に音声レベルに応じたマークや数値を表示する。これを実現するために、本実施形態では、画像処理装置５０の構成として、人物検出手段１５、音声到来方向検出手段１６、音声収音方向変更手段１７、音声レベル算出手段１８、及び音声レベル表示合成手段１９を備えて、画像信号２５を生成する。これにより、会議出席者の人数分のマイクロフォンを不要にすることができる。

図３は、本発明の実施形態に係る画像処理装置の動作を説明するフローチャートである。
撮影装置３が出力する画像信号から人物を検出する処理（Ｓ７）と、マイクロフォン５が出力する音声信号から音声を検出する処理（Ｓ１）は並行して行なう。音声の検出は、信号レベルが所定の閾値以上で、所定の時間以上継続した場合に、音声を検出したと判断する。これにより、短時間の相づち等の発言はレベル表示せず、画像表示がめまぐるしく変化する事を防止することができる。
次に、音声を検出したら、その到来方向を到来方向検出手段１６により検出する（Ｓ２）。
現状の到来方向と異なる場合は、音声収音方向変更手段１７により収音方向を変更する（Ｓ３）。
次に、収音している音声のレベルを音声レベル算出手段１８により算出する（Ｓ４）。
その後、人物検出情報２０と、音声到来方向情報２１と、音声レベル情報２４を使用して、音声レベル表示合成手段１９により音声レベル表示の画像合成を行なう（Ｓ５）。
会議が終了するまで、上記処理を繰り返す。会議終了は、接続している会議装置１０（図１３参照）から終了の制御信号を入力して判断しても良いし、画像処理装置５０の電源切断によって判断しても良い。

図４は、音声到来方向検出手段の動作原理について説明する図である。例えば、発言者がマイクロフォンアレイの正面方向にいる場合は、４個のマイクロフォン（ａ〜ｄ）に入る音は同時刻であり、４個のマイクロフォンの音声信号出力は時間のずれが無い。マイクロフォンアレイの斜め方向から音２６が到来すると、各マイクロフォンへの音の到達時間が異なるため、４個のマイクロフォンの音声信号出力に時間のずれが発生する。一例として、図４（ａ）のように到来音２６が到来し、マイクロフォンａに対する、マイクロフォンｂ、マイクロフォンｃ、マイクロフォンｄの到達時間の遅れを、ｔ１、ｔ２、ｔ３とする。この時間のずれから、到来音２６の方向（発言者の方向）を検出できる（図４（ｂ）参照）。

図５は、音声収音方向変更手段の動作原理について説明する図である。音声到来方向検出手段１６によって、検出された各マイクロフォンの到達時間の遅れ（ｔ１、ｔ２、ｔ３）を打ち消すように、各マイクロフォン出力に時間遅延を追加する。つまり、図５（ａ）に示すように、マイクａには時間遅延ｔ３を有する遅延器２７、マイクロフォンｂには時間遅延ｔ２を有する遅延器２８、マイクロフォンｃには時間遅延ｔ１を有する遅延器２９を追加することにより、到来音の音声信号のタイミングが一致する（図５（ｂ）参照）。これらを加算することにより、到来音の方向からの音声信号は強め合い、それ以外の方向から到来する音声信号は打ち消される。このようにして、音声収音方向を変更して、発言者の音声を収音して出力する。

図６は、人物検出手段の一例として、顔検出手段について説明する図である。画像から顔を検出する方法は、参考文献（デジタルカメラ向け顔画像処理技術：オムロンＫＥＣ情報Ｎｏ．２１０２００９．ＪＵＬＰ．１６−Ｐ．２２）に示すように公知の技術で実現できる。特に、本発明では、検出した顔が、既に登録済の誰の顔であるかと言う認識処理は不要である。図６に、会議室画像から顔を検出した結果の例を示す。このように、発言者３０の顔を検出したら、矩形３１で囲んで、その矩形画像上の位置（座標）を顔検出情報として出力する。これにより、発言者３０の顔の上方（発言者の頭上）に音声レベルを円で表示できる。
図６では発言者３０の顔の上方（発言者の頭上）に音声レベルを円で表示したが、音声レベルを表示する位置、音声レベルを表示する方法はこれに限らない。つまり、発言者３０の顔の下方、発言者３０の顔の胴体に音声を表示してもよい。また、撮影装置によって撮影された画像の発言者の位置に基づいて、音声レベルが表示される位置が変更できても良い。
また、音声レベルは円に限られず、その他の図形、表示方法でもよい。
図７は、人物検出の別の例として、顔および上半身を含む領域検知手段について説明する図である。画像から人物領域を検出する方法は、参考文献（人物検出装置：グローリー株式会社特開２００９‐１４０３０７公報）などの公知の技術で実現できる。

図８は、発言者の音声レベルを円の大きさで発言者の頭上に画像表示した様子について説明する図である。本発明は、従来のビデオ会議の相手側や自分側の会議室画像に、発言者の音声レベルを合成表示する。一例として、図８に示すように、発言者１の頭上に、発言者１の音声レベルに対応した大きさの円２を表示する。円２の大きさを音声レベルに対応してリアルタイムで変化させる。図８（ａ）は音声レベルが大きい場合を示し、図８（ｂ）は音声レベルが小さい場合を示す。これにより、誰が発言しているかが目で分かる。又、発言者の声の大きさも目で分かるので、自分の発言音量が大きいか、小さいかが自分で分かる。
即ち、ビデオ会議実施中は、自分の声が相手に伝わっているのかが不安になる場合があり、必要以上に大きな声で発言する事がある。又、相手の声が小さくて聞き取りにくくても、相手に大きな声で発言するように要求しにくい場合もある。そこで、自分の発言音量が大きいか、小さいかが自分で分かると、必要以上に大きな声で発言する事を防止できる。
又、自分の声が小さい事が自分で分かると、声を大きくすべきである事に自分で気づき、円滑な会議を実施することができる。
即ち、本発明の音声レベルの画像表示方法は、音声レベルに応じて、発言者１の画像の上部に円２の大きさを変化させる。例えば、音声レベルが大きい場合は、図８（ａ）のように円２の大きさを大きくし、音声レベルが小さい場合は、円２の大きさを小さくする。
これらの表示をリアルタイムに行う。これにより、発言者が誰で、且つ、発言者の音声レベルを即座に認識することができる。

円でレベル表示を行う際の表示位置の中心座標（ｘ，ｙ）は、例えば以下の式で定める。
ｘ＝（Ｘｌ＋Ｘｒ）／２
ｙ＝Ｙｔ＋Ｒｍａｘ＋Ｙｏｆｆｓｅｔ
ただし、Ｘｌ：人物領域の左端のｘ座標
Ｘｒ：人物領域の右端のｘ座標
Ｙｔ：人物領域の上端のｙ座標
Ｒｍａｘ：円の最大半径（最大レベル時の円の大きさ）
Ｙｏｆｆｓｅｔ：人物領域と円の間にあける隙間
また、円の半径ｒは、例えば人間の聴感上の大きさに一致するよう、対数尺度に従う以下の式で定める。
ｒ＝Ｒｍａｘ＊ｌｏｇ（ｐ）／ｌｏｇ（Ｐｍａｘ）（ｐ＞１の場合）
ｒ＝０（ｐ≦１の場合）
ただし、Ｒｍａｘ：円の最大半径（最大レベル時の円の大きさ）
ｐ：音声レベル（短時間パワー値）
Ｐｍａｘ：最大レベル（最大振幅時の短時間パワー）
なお、信号Ｘ＝（ｘ１、ｘ２、…ｘＮ）の短時間パワーｐは、

で定義される値であり、例えばサンプリング周波数が１６ｋＨｚの場合、Ｎ＝３２０とすれば、２０ｍＳ分のデータに対する短時間パワーを算出することができる。
また、最大レベルＰｍａｘについては、１６ｂｉｔ幅のＰＣＭデータ（−３２７６８〜３２７６７の範囲の振幅値）の場合、
Ｐｍａｘ＝３２７６７＊３２７６７／√２
となる。
ただし、この例のように、レベル表示を行う位置を発言者の領域の外側（例えば上方）に設定する場合、画像にそのような表示を行うだけのスペースが確保されている必要があるが、例えば話者の顔が画像の上端付近にあってその上方にスペースが確保できない場合など、構図によってはレベルを表示する位置を修正する必要がある。このような場合には顔領域の下、左右などに円の中心座標を移動して表示を行えばよい。

上記のような表示エリアの問題が発生しにくいレベル表示の例を、図９〜図１１に示す。
図９は、発言者１の音声レベルを棒グラフ２の長さで発言者の上半身エリア中央に画像表示した様子について説明する図である。
図１０は、発言者１の音声レベルを発話者画像領域の矩形枠２の太さで画像表示した様子について説明する図である。
図１１は、発言者１の音声レベルを発話者画像領域の輪郭線２の太さで画像表示した様子について説明する図である。
いずれも、「誰が発言しているかが目で分かる」、「発言者の声の大きさが目で分かる」という図８の例と同様の効果が得られると共に、既に画像上に存在する領域のごく近傍やその内部にレベルを表示しているため、レベル表示するためのスペースの問題も発生しにくい。

図１２は、本発明のカメラ・マイクロフォンユニットを会議室で使用した画像処理システムを説明する図である。本発明の画像処理システム６０は、図１、図２で説明した画像処理装置５０と、会議室画像を表示する画像表示装置９と、会議出席者の音声を拡声するスピーカ８と、画像処理装置５０から出力された画像信号１１及び音声信号１２をネットワーク３２を介して他の画像処理装置に伝送する会議装置１０と、を備えて構成されている。
図１の画像処理装置５０を会議装置１０と併用して、会議室で使用している状況を示す。会議出席者は図のような座席配置に会議出席者用いす１１に着席する。
画像表示装置９は、テレビモニターでも良いし、プロジェクタを使ってスクリーンや壁に画像を投影しても良い。画像処理装置５０は、会議机１２上に置き、カメラ３で会議出席者全員が撮影できるような位置に設置する。

図１３は、本発明の画像処理システムを２つの会議室に設置した場合の動作について説明する図である。図１３では、Ａ会議室とＢ会議室でビデオ会議を行なう場合を示している。例えば、Ａ会議室の画像処理装置５０から出力された画像信号１１と音声信号１２は、会議装置１０とネットワーク３２を経由して、相手側のＢ会議室に伝送される。受信した画像信号１４は、自分側の画像表示装置９で表示され、受信した音声信号１３は、自分側のスピーカ８から音声として出力される。又、会議装置１０により、自分側の会議室画像を、自分側の画像表示装置９で表示する事もできる。
即ち、本発明の画像処理装置５０を少なくとも２つ用意して、各会議室Ａ、Ｂに本発明の画像処理装置５０と、画像表示装置９と、スピーカ８、及び会議装置１０を備え、夫々の会議室をＬＡＮ等のネットワーク３２で接続することにより、画像処理システムを構築することができる。これにより、遠隔地との会議をスムーズに行うことができる。

１発言者、２音声レベル、３カメラ、４本体、５マイク、６柱、７台座、８スピーカ、９画像表示装置、１０ビデオ会議装置、１１会議出席者いす、１２会議机、１３音声信号、１４画像信号、１５顔検出手段、１６音声到来方向検出手段、１７音声収音方向変更手段、１８音声レベル算出手段、１９音声レベル表示合成手段、２０顔検出情報、２１音声到来方向情報、２２ずれ時間情報、２３音声信号、２４音声レベル情報、２５画像信号、２６到来音、２７、２８、２９遅延器、３０発言者、３１顔検出矩形、３２ネットワーク、５０カメラ・マイクユニット、６０ビデオ会議システム

特開昭６０−１１６２９４号公報

Claims

撮影手段、及び音声を収音するマイクロフォンを備えた画像処理装置であって、
前記撮影手段により撮影された画像に基づいて人物の位置を検出する人物検出手段と、
複数のマイクロフォンによって収音した音声データのずれ時間情報に基づいて音声の到来方向を検出する音声到来方向検出手段と、
前記複数のマイクロフォンによって収音されたデータのずれ時間を補正して加算することで前記音声を収音する方向を変更する音声収音方向変更手段と、
該音声収音方向変更手段により収音した音声レベルを算出する音声レベル算出手段と、
前記人物検出手段により検出した人物検出情報、前記音声到来方向検出手段により検出した音声到来方向情報、及び前記音声レベル算出手段により算出した音声レベル情報に基づいて、前記画像に音声レベルを画像表示させる信号を生成する音声レベル表示合成手段と、
を備えたことを特徴とする画像処理装置。
前記音声レベル表示合成手段は、
前期人物検出手段と音声到来方向検出手段によって特定される発話者情報、および前記音声レベルに対応して、リアルタイムに発話者画像の付近に表示した円の大きさを変化させることを特徴とする請求項１に記載の画像処理装置。
前記音声の検出は、該音声の信号レベルが所定の閾値以上で、且つ、所定の時間以上継続した場合に、音声として判断することを特徴とする請求項１又は２に記載の画像処理装置。
前記音声レベルを含む画像を表示する画像表示装置と、
撮影手段、及び音声を収音するマイクロフォンを備えた画像処理装置であって、
前記撮影手段により撮影された画像に基づいて人物を検出する人物検出手段と、
複数のマイクロフォンによって収音した音声データのずれ時間情報に基づいて音声の到来方向を検出する音声到来方向検出手段と、
前記複数のマイクロフォンによって収音されたデータのずれ時間を補正して加算することで前記音声を収音する方向を変更する音声収音方向変更手段と、
該音声収音方向変更手段により収音した音声レベルを算出する音声レベル算出手段と、
前記人物検出手段により検出した人物検出情報、前記音声到来方向検出手段により検出した音声到来方向情報、及び前記音声レベル算出手段により算出した音声レベル情報に基づいて、前記画像に音声レベルを画像表示させる信号を生成する音声レベル表示合成手段と
前記信号を他の画像処理装置に送信する送信手段とを有する画像処理装置と、
を備えたことを特徴とする画像処理システム。