JP2010523025A - 目標物の位置探索を実行する画像収集装置を制御するためのシステム及び方法 - Google Patents

Abstract

目標物の位置探索を実行する画像収集装置を制御するためのシステムを提供する。システムは、受け取られた可聴音信号に基づいて位置探索を実行し可聴音音源の位置をアプリケーション層手順ユニットに伝送する可聴音音源位置特定ユニットと、保存された可聴音信号との認識及び照合プロセスを受け取られた可聴音信号に基づいて実行し音声認識結果をアプリケーション層手順ユニットに伝送する音声認識ユニットと、可聴音音源の位置及び音声認識結果に基づいて画像収集装置の予測される焦点位置を判定するアプリケーション層手順ユニットと、アプリケーション層手順ユニットから獲得された画像収集装置の予測される焦点位置を現在の焦点位置と比較し画像収集装置を制御する画像収集制御ユニットとを備える。システムは、可聴音音源の位置及び音声認識の結果に基づいて自動的に目標物の位置探索を実行するように画像収集装置を制御し、操作の保守性を向上させる。

Description

本発明は、マルチメディア技術の分野に関係すると共に、更に特に、目標物の位置探索を実行する画像収集装置を制御するためのシステム及び方法に関係する。

この出願は、２００８年４月２３日に出願された国際特許出願番号PCT/CN2008/070782号の継続出願である。この出願は、２００７年５月１０日に出願された中国特許出願番号第200710104372.9号の利益を主張する。上述の出願の開示は、参照によってそれらの全体がここに組み込まれる。

今日では、可聴音音源の位置探索技術は、話している人に焦点を合わせるようにビデオカメラを制御するために、テレビ電話、電話会議、及びテレビ会議システムに、広く採用されている。

例えば、複数の個別の参加者による会議において、可聴音音源の位置探索技術に基づいたビデオカメラは、可聴音音源の位置に基づいて、話している人、例えば代表者、報告者等に自動的に焦点を合わせることができるが、しかし、もう一人の人が同時に音を出すと、ビデオカメラは音を出した人の方へ向きを変える可能性があり、それは好ましくない効果となる。

別の例として、話すと共に議論することができる複数の個別の参加者による会議において、一般的に、ビデオカメラは、好ましくは議論に参加している専門家に焦点を合わせることを期待される。しかしながら、可聴音音源の位置探索技術に基づいたビデオカメラは、一般的に、最も高い強度の音を出す参加者に焦点を合わせると共に、もし議論の間の専門家の声の強度が他の人の声の強度より高くないならば、ビデオカメラは専門家に焦点を合わせることができない。

上述の内容を考慮すると、可聴音音源の位置探索技術に基づいた現存するビデオカメラは、様々なシナリオの下で要求を満足させることができないと共に、もし様々なアプリケーションシナリオが満たされる必要があるならば、ビデオカメラは、手動で遠隔制御されることが必要になる。

従来技術における上述の問題を考慮して、本発明の様々な実施例は、目標物の位置探索を実行する画像収集装置を制御するためのシステム及び方法を提供すると共に、該システム及び方法において、画像収集装置は、可聴音音源の位置探索の結果及び音声認識の結果に基づいて自動的に目標物の位置探索を実行し、それによって画像収集装置の操作の保守性を向上させるように制御される。

目標物の位置探索を実行する画像収集装置を制御するためのシステムは、可聴音音源位置特定ユニットと、音声認識ユニットと、アプリケーション層手順ユニットとを備える。

可聴音音源位置特定ユニットは、受け取られた可聴音信号に基づいて可聴音音源の位置探索を実行すると共に、可聴音音源の位置を特定するように構成される。

音声認識ユニットは、保存された可聴音信号との認識及び照合プロセスを前記受け取られた可聴音信号に基づいて実行すると共に、音声認識結果を獲得するように構成される。

アプリケーション層手順ユニットは、前記可聴音音源の位置、及び前記音声認識結果に基づいて、前記画像収集装置の予測される焦点位置を判定するように構成される。

本発明の一実施例は、更に、目標物の位置探索を実行する画像収集装置を制御するための方法を提供すると共に、それは以下のステップを含む。

可聴音音源の位置は、受け取られた可聴音信号に基づいて特定される。

保存された可聴音信号との認識及び照合プロセスは、前記受け取られた可聴音信号に基づいて実行されると共に、音声認識結果が獲得される。

前記画像収集装置の予測される焦点位置は、前記可聴音音源の位置、及び前記音声認識結果に基づいて判定される。

本発明の実施例によって提供された前述の技術的解決法から分かるように、本発明の実施例は、目標物の位置探索を実行する画像収集装置を制御するためのシステム及び方法を提供し、該システム及び方法において、前記画像収集装置は、前記可聴音音源の位置探索の結果及び前記音声認識の結果に基づいて、自動的に目標物の位置探索を実行し、それによって画像収集装置の操作の保守性を向上させるように制御される。

本発明の一実施例によるシステムの簡単な概要の構造図である。 本発明の一実施例によるシステムにおける画像収集制御ユニットの簡単な概要の構造図である。 本発明の一実施例による方法のフローチャートである。

本発明の一実施例において説明される、目標物の位置探索を実行する画像収集装置を制御するためのシステムは、図１及び図２を参照して、以下で詳細に例証される。

図１は、本発明の一実施例によるシステムの簡単な概要の構造図である。図１を参照すると、具体的な実現方法において、本発明の実施例におけるシステムは、可聴音音源位置特定ユニットと、音声認識ユニットと、アプリケーション層手順ユニットと、画像収集制御ユニットと、システム設定ユニットとを備えており、それらはそれぞれ以下で説明される。

可聴音音源位置特定ユニットは、外部から受け取られた可聴音信号を処理し、可聴音音源の位置を特定すると共に、可聴音音源の位置をアプリケーション層手順ユニットに伝送する。複数のそのような可聴音信号が存在する場合に、可聴音音源位置特定ユニットは、複数の可聴音音源の位置を特定すると共に、複数の可聴音音源の位置をアプリケーション層手順ユニットに伝送する。具体的な可聴音音源の位置探索プロセスは、今日では成熟した解決法であり、従ってここではこれ以上説明されない。

音声認識ユニットは、保存された可聴音信号との認識及び照合プロセスを外部から受け取られた可聴音信号に基づいて実行すると共に、獲得された音声認識結果をアプリケーション層手順ユニットに伝送する。音声認識結果は、“それは事前に設定された音声に合致する”または“それは事前に設定された音声に合致しない”または“合致する事前に設定された音声は発見されないが、しかし高い音の強度を有する可聴音音源が以前の可聴音音源と異なる”という結果を含み得る。複数の保存された可聴音信号が存在する場合に、音声認識ユニットは、複数の音声認識結果を生成し得る。

アプリケーション層手順ユニットは、画像収集装置の予測される焦点位置を判定するために、可聴音音源位置特定ユニットから獲得された可聴音音源の位置及び音声認識ユニットから獲得された音声認識結果に基づく判定を実行すると共に、次に、画像収集装置の予測される焦点位置を画像収集制御ユニットに伝送する。

複数の保存された可聴音信号が存在する場合に、アプリケーション層手順ユニットは、複数の可聴音音源の位置、複数の音声認識結果、及び認識されるべき音声の優先順位に基づいて、包括的な判定を実行し、画像収集装置の予測される焦点位置を獲得すると共に、予測される焦点位置を画像収集制御ユニットに伝送する。

画像収集制御ユニットは、獲得された画像収集装置の予測される焦点位置を画像収集装置の現在の焦点位置と比較すると共に、もしそれらが同じであれば、画像収集装置に対して何の操作も実行されず、もしそれらが異なれば、画像収集装置の現在の位置を予測される焦点位置に変更するために、画像収集装置に対して対応する操作が実行される。

システム設定ユニットは、異なるアプリケーションシナリオの要求に基づいてシステムパラメータを分析する。システムパラメータは、ビデオカメラを手動で遠隔制御するか、または自動的に遠隔制御するかに関するパラメータと、可聴音音源の位置探索を実行するかどうかに関するパラメータと、音声認識を実行するかどうかに関するパラメータと、保存された可聴音信号の優先順位と、音の強度の優先順位等を含み得る。そして、システム設定ユニットは、システムパラメータをそれぞれアプリケーション層手順ユニットに伝送する。特に、例えば、システム設定ユニットは、アプリケーション層手順ユニットが、画像収集装置の予測される焦点位置を判定するために、そのようなシステムパラメータ、可聴音音源の位置、及び音声認識結果に基づく判定を実行できるように、ビデオカメラを自動的に遠隔制御すること、可聴音音源の位置探索を実行すること、そして音声認識を実行することに関するそのようなシステムパラメータをアプリケーション層手順ユニットに伝送する。

本発明の実施例におけるシステムは、更に、音声録音ユニットを備える。

音声録音ユニットは、認識されるべき可聴音信号をあらかじめ録音すると共に、認識されるべき可聴音信号を音声認識ユニットに伝送するように構成される。１つ以上の認識されるべき可聴音信号があらかじめ録音され得ると共に、この場合、音声録音ユニットは、全ての認識されるべき可聴音信号を録音すると共に、それらを音声認識ユニットに伝送し得る。

上述の説明から分かるように、本発明の実施例におけるシステムは、アプリケーション層手順ユニットが、可聴音音源位置特定ユニットによって特定された可聴音音源の位置及び音声認識ユニットによって獲得された音声認識結果を通じて判定を実行するように作動させると共に、次に、画像収集装置を、画像収集装置の予測される焦点位置と画像収集装置の現在の焦点位置との比較結果に基づいて目標物の位置探索を自動的に実行し、それによって画像収集装置の操作の保守性を向上させるように制御する。

図２は、本発明の一実施例によるシステムにおける画像収集制御ユニットの簡単な概要の構造図である。図２を参照すると、画像収集制御ユニットは、手順保存モジュールと、手順比較モジュールとを備える。

手順保存モジュールは、画像収集装置の現在の焦点位置を保存するように構成される。

手順比較モジュールは、画像収集装置の予測される焦点位置を画像収集装置の現在の焦点位置と比較すると共に、比較結果に基づいて画像収集装置を制御するように構成される。具体的には、手順比較ユニットが、獲得された画像収集装置の予測される焦点位置を画像収集装置の現在の焦点位置と比較すると共に、もし比較結果が２つの位置は同じであるというものであるならば、画像収集装置の位置は変更されず、もしそうでなければ、画像収集装置の現在の焦点位置は画像収集装置の予測される焦点位置に更新され、画像収集装置は、画像収集装置の予測される焦点位置に基づいて位置の置き換えを実行するように制御される。

本発明の一実施例による方法が、図３を参照して、以下で詳細に例証される。

図３を参照すると、本発明の実施例における方法は、以下のステップを含む。

ステップ３１において、可聴音音源の位置が、受け取られた可聴音信号に基づいて特定される。

ステップ３２において、音声認識結果を獲得するために、保存された可聴音信号との認識及び照合プロセスが受け取られた可聴音信号に基づいて実行される。

ステップ３３において、可聴音音源の位置及び音声認識結果に基づいて、画像収集装置の予測される焦点位置が判定される。複数の保存された可聴音信号が存在する場合に、保存された可聴音信号の優先順位に基づいて、画像収集装置の予測される焦点位置が、更に包括的に判定される。

ステップ３４において、獲得された画像収集装置の予測される焦点位置が、画像収集装置の現在の焦点位置と比較されると共に、もしそれが同じならば、ステップ３６が実行され、もしそうでなければ、ステップ３５が実行される。

ステップ３５において、画像収集装置の現在の焦点位置は、画像収集装置の予測される焦点位置に変更されると共に、処理の流れはステップ３７に進行する。

ステップ３６において、画像収集装置に対する操作は実行されない。

ステップ３７において、画像収集装置を予測される焦点位置に変更するために、画像収集装置の予測される焦点位置に基づいて、画像収集装置に対する操作が実行される。

上述の説明から分かるように、本発明の実施例における方法は、可聴音音源の位置探索の結果及び音声認識の結果に基づいて目標物の位置探索を自動的に実行し、それによって画像収集装置の操作の保守性を向上させるように、画像収集装置を制御する。

本発明の実施例におけるシステム及び方法のアプリケーションの具体的な例は、以下で例証される。

本発明の実施例が適用されるシナリオが以下で説明される。

会議の前に、可聴音音源の位置探索技術／音声認識技術に基づいたビデオカメラの自動制御の手順が、システム設定ユニットを通じて、アプリケーション層手順ユニットに入力され、その一方、認識されるべき代表者／報告者の音声は、音声録音ユニットを通じて、音声認識ユニットに伝送される。会議の間、システムは自動的に可聴音音源の位置を特定し、可聴音音源の音声があらかじめ保存された音声に合致するか否かを見分ける（認識する）。そして、もし新しい音声と合致しているならば、ビデオカメラは新しい可聴音音源の位置に焦点を合わせるように回転し、もし、以前の音声と同じである音声と合致しているならば、または保存された音声とは合致しないならば、ビデオカメラに対する操作は実行されないと共に、ビデオカメラは回転しない。

本発明の実施例が適用される別のシナリオが以下で説明される。

会議の前に、可聴音音源の位置探索技術／音声認識技術に基づいたビデオカメラの自動制御の手順、及び専門家の音声が最も高い優先順位を有し、そして高い強度を持つ音声が２番目に高い優先順位を有する手順が、システム設定ユニットを通じて、アプリケーション層手順ユニットに入力され、その一方、認識されるべき専門家の音声は、録音されて音声認識ユニットに保存されると共に、専門家の音声の優先順位レベル及び音声の強度の優先順位レベルが設定される。会議の間、システムは自動的に可聴音音源の位置を特定し、可聴音音源の音声があらかじめ保存された音声に合致するか否かを見分ける（認識する）。そして、もし新しい音声と合致しているならば、ビデオカメラは新しい可聴音音源の位置に焦点を合わせるように回転し、もし新しい音声とは合致しないが、高い強度を持つ可聴音音源が以前の可聴音音源と異なるならば、同様に、ビデオカメラは新しい可聴音音源の位置に焦点を合わせるように回転し、もしそうでなければ、ビデオカメラに対する操作は実行されないと共に、ビデオカメラは回転しない。本発明の実施例の別のシナリオにおけるシステム及び方法のアプリケーションは、全く類似しており、ここではこれ以上説明されない。

更に、本発明の実施例における画像収集装置は、ビデオカメラであり得ると共に、当業者は、本発明の実施例が、カメラヘッド（camera head）のような他の画像収集装置に対して、同様に適用可能であるということを、知っているものとする。

要約すれば、本発明の実施例は、目標物の位置探索を実行する画像収集装置を制御するためのシステム及び方法を提供し、該システム及び方法において、画像収集装置は、可聴音音源の位置探索の結果及び音声認識の結果に基づいて位置探索を自動的に実行し、それによって画像収集装置の操作の保守性を向上させるように制御される。更に、本発明の実施例は、更に、様々な異なるシナリオの要求を満たすために、システム設定ユニットを通じて、異なるシナリオに対して対応するシステムパラメータを設定することができる。

実現方法様式の上述の説明を通して、当業者は、本発明のいくつかの実施例は、ハードウェアを通して確実に実現され得る必須の汎用ハードウェアプラットフォームにソフトウェアを結合することを通じて実現され得るということを明確に理解することができる。そのような理解に基づいて、従来技術に対して貢献する本発明の技術的解決法または本発明の技術的解決法の一部は、実質的にソフトウェア製品の形で提示される。コンピュータソフトウェア製品は記憶媒体に格納され、それは、装置が本発明の実施例による方法を実行するための計算機能及び処理機能を有効にする複数の命令を含む。

上述の実施例は、単に本発明の好ましい実現方法であるが、しかし本発明の保護範囲を制限しない。当業者には、様々な修正及び変更が、本発明の範囲からはずれずに、本発明の構成に対して加えられ得るということが明白であろう。上記を考慮した結果、本発明は、この発明の修正物及び変更物が添付された請求項及びそれらの等価物の範囲内にある限り、それらの修正物及び変更物をカバーするということが望まれる。

Claims (13)

1. 目標物の位置探索を実行する画像収集装置を制御するためのシステムであって、
   受け取られた可聴音信号に基づいて可聴音音源の位置探索を実行すると共に、可聴音音源の位置を特定するように構成された可聴音音源位置特定ユニットと、
   保存された可聴音信号との認識及び照合プロセスを前記受け取られた可聴音信号に基づいて実行すると共に、音声認識結果を獲得するように構成された音声認識ユニットと、
   前記可聴音音源の位置、及び前記音声認識結果に基づいて、前記画像収集装置の予測される焦点位置を判定するように構成されたアプリケーション層手順ユニットと
   を備えることを特徴とするシステム。
2. 異なるアプリケーションシナリオに従ってシステムパラメータを設定するように構成されたシステム設定ユニットを更に備え、
   前記アプリケーション層手順ユニットが、更に、前記システムパラメータ、前記可聴音音源の位置、及び前記音声認識結果に基づいて、前記画像収集装置の予測される焦点位置を判定するように構成される
   ことを特徴とする請求項１に記載のシステム。
3. 前記システムパラメータが、前記画像収集装置が手動で制御されているか、または自動的に制御されているかを判定するためのパラメータと、可聴音音源の位置探索を実行するかどうかを判定するためのパラメータと、音声認識を実行するかどうかを判定するためのパラメータと、保存された可聴音信号の優先順位と、音の強度の優先順位とで構成されるグループから選択された１つ以上のものを含む
   ことを特徴とする請求項２に記載のシステム。
4. 前記保存された可聴音信号が、１つ以上の可聴音音源からの可聴音信号である
   ことを特徴とする請求項３に記載のシステム。
5. 前記保存された可聴音信号として機能するように認識されるべき可聴音信号をあらかじめ録音するように構成された音声録音ユニットを更に備える
   ことを特徴とする請求項１から請求項４のいずれか一項に記載のシステム。
6. 獲得された前記画像収集装置の予測される焦点位置を前記画像収集装置の現在の焦点位置と比較すると共に、比較結果に基づいて前記画像収集装置を制御するように構成された画像収集制御ユニットを更に備える
   ことを特徴とする請求項１から請求項４のいずれか一項に記載のシステム。
7. 前記画像収集制御ユニットが、
   前記画像収集装置の現在の焦点位置を保存するように構成された手順保存モジュールと、
   前記画像収集装置の予測される焦点位置を前記画像収集装置の現在の焦点位置と比較すると共に、比較結果に基づいて前記画像収集装置を制御するように構成された手順比較モジュールと
   を更に備えることを特徴とする請求項６に記載のシステム。
8. 目標物の位置探索を実行する画像収集装置を制御するための方法であって、
   受け取られた可聴音信号に基づいて、可聴音音源の位置を特定するステップと、
   保存された可聴音信号との認識及び照合プロセスを前記受け取られた可聴音信号に基づいて実行すると共に、音声認識結果を獲得するステップと、
   前記可聴音音源の位置、及び前記音声認識結果に基づいて、前記画像収集装置の予測される焦点位置を判定するステップと
   を含むことを特徴とする方法。
9. 前記方法を実行する前に、前記方法が、異なるシナリオに従ってシステムパラメータを設定するステップを含むと共に、
   前記可聴音音源の位置、及び前記音声認識結果に基づいて、前記画像収集装置の予測される焦点位置を判定する前記ステップが、前記システムパラメータ、前記可聴音音源の位置、及び前記音声認識結果に基づいて、前記画像収集装置の予測される焦点位置を判定するステップを更に含む
   ことを特徴とする請求項８に記載の方法。
10. 前記システムパラメータが、前記画像収集装置が手動で制御されているか、または自動的に制御されているかを判定するためのパラメータと、可聴音音源の位置探索を実行するかどうかを判定するためのパラメータと、音声認識を実行するかどうかを判定するためのパラメータと、保存された可聴音信号の優先順位と、音の強度の優先順位とで構成されるグループから選択された１つ以上のものを含む
    ことを特徴とする請求項９に記載の方法。
11. 前記保存された可聴音信号が、１つ以上の可聴音音源からの可聴音信号である
    ことを特徴とする請求項８に記載の方法。
12. 獲得された前記画像収集装置の予測される焦点位置を前記画像収集装置の現在の焦点位置と比較すると共に、比較結果に基づいて前記画像収集装置を制御するステップを更に含む
    ことを特徴とする請求項８から請求項１１のいずれか一項に記載の方法。
13. 獲得された前記画像収集装置の予測される焦点位置を前記画像収集装置の現在の焦点位置と比較すると共に、比較結果に基づいて前記画像収集装置を制御する前記ステップが、
    もし前記獲得された前記画像収集装置の予測される焦点位置が前記画像収集装置の現在の焦点位置と一致するならば、前記画像収集装置の位置が変化しないように保持し、もしそうでなければ、前記画像収集装置の現在の焦点位置を前記画像収集装置の予測される焦点位置に更新するステップと、
    前記画像収集装置の予測される焦点位置に基づいて前記画像収集装置の焦点位置調節を実行するステップと
    を更に含むことを特徴とする請求項１２に記載の方法。

Images