JP2003528548A - ハンドフリー家庭用映像製作カムコーダ - Google Patents

ハンドフリー家庭用映像製作カムコーダ

Info

Publication number
JP2003528548A
JP2003528548A JP2001570070A JP2001570070A JP2003528548A JP 2003528548 A JP2003528548 A JP 2003528548A JP 2001570070 A JP2001570070 A JP 2001570070A JP 2001570070 A JP2001570070 A JP 2001570070A JP 2003528548 A JP2003528548 A JP 2003528548A
Authority
JP
Japan
Prior art keywords
camera
view
field
image
change
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2001570070A
Other languages
English (en)
Inventor
リー，ミ−スエン
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Koninklijke Philips NV
Original Assignee
Philips Electronics NV
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Philips Electronics NV filed Critical Philips Electronics NV
Publication of JP2003528548A publication Critical patent/JP2003528548A/ja
Pending legal-status Critical Current

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/66—Remote control of cameras or camera parts, e.g. by remote control devices
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/66—Remote control of cameras or camera parts, e.g. by remote control devices
    • H04N23/661—Transmitting camera control signals through networks, e.g. control via the Internet
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/695—Control of camera direction for changing a field of view, e.g. pan, tilt or based on tracking of objects

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Studio Devices (AREA)
  • Details Of Cameras Including Film Mechanisms (AREA)
  • Accessories Of Cameras (AREA)
  • Image Analysis (AREA)
  • Closed-Circuit Television Systems (AREA)

Abstract

(57)【要約】 携帯用カメラ制御システムは、画像及び音声内容情報を使用し、カメラの指向性を制御する。好適な実施の形態では、モジュール化携帯用パン−チルト装置が提供され、典型的なカムコーダを受けるために配置される。制御システムは、カムコーダから音声及び映像情報を受信し、パン及びチルト命令をパン−チルト装置に提供してカムコーダを適切に指向する。カムコーダが制御可能なズームを有している場合、コントローラは、ズーム命令を提供してカムコーダの視野を調整し、画像及び／又は音声内容の分析に基づいて画像を適切にフレーム形成する。好適なシステムにより、所望のような遠隔及び直接のカメラ制御が可能となり、画像内容に基づいた自動追尾を提供するために配置することができる。カメラ制御システムは、熟練したカメラオペレータ技術に準じたカメラ制御を規制する１つ又は複数のナレッジベースシステム及び学習システムを含んでいる。

Description

【発明の詳細な説明】
【０００１】 ［発明の背景］ 本発明は、ビデオシステムの分野に関し、特に、ハンドフリーな映像記録を容
易にするカムコーダの制御に関する。
【０００２】 製作映像記録システムが利用されており、該システムは、取得したカメラ画像
が現れている間にユーザ／オペレータがカメラの制御から開放されるような、カ
メラのパン／チルト／ズームといった遠隔制御を含んでいる。典型的な製作にお
いて、ユーザは、記録されるイベントの「ナレータ」であり、遠隔制御を利用し
てカメラを所望のシーンに向ける。このようにして、ユーザは、カメラを操作す
る第２者の助けを要さずに、ビデオ記録を作成することができる。
【０００３】 米国特許第5,432,597号“Remote Controlled Tracking System for Tracking
a Remote-Control Unit and Positioning and Operating a Camera and Method
”1995年7月11日発行には、追尾能力含んでいる遠隔制御カメラシステムが開示
されており、参照により本明細書に組込まれる。
【０００４】 この参照された特許は、領域を掃引する赤外線発光器、赤外線が受信された時
にカメラコントローラに指示するナレータに関連する赤外線検出器を開示してい
る。赤外線検出器は、ナレータがカメラを制御するために使用するか、又はナレ
ータにより使用される遠隔制御装置に含めることができる。
【０００５】 カメラシステムが追尾モードにスイッチされた時、カメラは、その視野が赤外
線検出器の位置に対応するサイトのラインに沿うように、連続的に調節される。
カメラ指向性の変化の割合を制限することができ、コントローラは、追尾シグナ
リングの損失の仮の期間の間に変化の割合及び方向を維持するために配置される
。
【０００６】 また、参照された特許は、遠隔制御命令すなわち自動化系列を使用して、カメ
ラ設定を記憶及び検索して前フィールドに戻す能力を開示している。日本国特許
公開公報09009365A号、“Remote Controller and Image Pickup System”1995年
6月19日提出には、遠隔制御装置内に動き検出器を含み、検出された動きに対応
するカメラ指向性命令を提供する遠隔制御システムが開示されている。
【０００７】 これら従来技術の装置のそれぞれは、１人が、その人間は遠隔制御装置を持つ
のであるが、記録のための主要な被写体であり、又は記録すべき視界を決定する
ための主要なディレクタであるという前提に基づいて動作するものである。これ
は、かかる人間が指名されることを必要とし、人間の慎重な注意が記録に向けら
れることを必要とする。
【０００８】 主要なナレータ又はディレクタは専門的又は準専門的な記録技術を通常有して
はいるが、介添えのない無人の記録が好ましい多数の状況がある。たとえば、家
族のお祝いでは、イベントの記録を指名された者は、お祝い参加者とカメラ責任
者の間での役割の切り替えのために、そのお祝いに自由に参加することができな
いか、又は記録を適切に行うことができない。
【０００９】 さらに、カメラディレクタとして指名された者はカメラ撮影技術に熟練してお
らず、結果的に得られた画像は、急なカメラ移動、シーン変化等のためにそのイ
ベントを十分に捉えておらず、見るのに不快な場合がある。さらに、結婚披露宴
のようなある状況では、カメラオペレータのあちこちの移動により混乱すること
がある。
【００１０】 本発明の目的は、記録システムの無人の操作を容易にするカメラ自動化システ
ムを提供することにある。 また、本発明の目的は、熟練したカメラ操作者に知られた記録技術に準じてカ
メラを制御するカメラ制御システムを提供することにある。 さらに、本発明の目的は、視野及び画像の変化を可能にすると同時にイベント
記録の突出した手段を提供することにある。
【００１１】 ［発明の概要］ 画像及び音声内容情報を使用してカメラの指向性を制御するカメラ制御システ
ムを提供することにより、上記目的が達成される。好適な実施の形態において、
典型的なカムコーダを受けるために配置されるモジュール化携帯用パン−チルト
装置が提供される。制御システムは、カムコーダから音声及びビデオ情報を受け
、パン及びチルトコマンドをパン／チルト装置に提供し、カメラを適切に指向す
る。
【００１２】 カムコーダが制御可能なズームを有している場合、カメラの視野を調節するた
めにコントローラはズームコマンドを提供し、画像及び／又は音声内容の分析に
基づいて、画像を適切に形成する。好適なシステムにより、カメラの遠隔制御又
は直接制御は、要求されたように可能となり、画像内容に基づいた自動追尾を提
供するために配置することができる。また、カメラ制御システムは、熟練したカ
メラオペレータ技術に準じたカメラ制御を規制する知識ベースシステム及び学習
システムを１つ又は複数含んでいる。
【００１３】 ［発明の詳細な説明］ 本発明は、添付図面を参照して例示によりより詳細に説明する。図面を通して
、同じ参照番号は同じ又は対応する特徴及び機能を示す。
【００１４】 図１は、本発明によるカメラ制御システム１００の例示的なブロック図を示し
ている。カメラ制御システム１００は、視野コントローラ１７０から受信された
命令に基づいて、カメラ１１０の指向性を制御するために配置されるベースユニ
ット１３０を含んでいる。典型的なカメラ制御システムにおけるように、遠隔制
御装置１８０により、ユーザは、視野コントローラ１７０に直接命令を伝達して
カメラの指向性を制御することができる。
【００１５】 好適な実施の形態では、ベースユニット１３０は、カメラを所望に指向するこ
とができるように、垂直（チルト）に及び水平（パン）にそれぞれ又は組み合わ
せて回転可能に配置されている。これら指向性の変化は、回転の所望の平面を通
してカメラの回転を作用するモータへの電圧作動命令により作用される。
【００１６】 カメラ１１０が制御可能かつ調整可能なズームを有する場合、コントローラ１
７０は、ズームイン及びズームアウト命令を介してカメラの焦点距離を必要とさ
れるように調整し、所望の視野を達成することができる。すなわち、カメラの視
野は、パン及びチルト命令及びズーム制御により提供される倍率により調整され
るようなカメラ１１０のサイトのラインにより画定される。
【００１７】 本発明によれば、また、カメラ制御システム１００は、画像処理システム１５
０及び／又は音声処理システム１６０を含んでいる。画像処理システム１５０及
び音声処理システム１６０は、カメラ１１０からの画像又は音声情報に含まれる
情報に基づいてカメラ１１０を制御するために、視野コントローラ１７０にパラ
メータを提供することにより、カメラ１１０の無人制御を容易にする。
【００１８】 好適な実施の形態では、この無人制御は、カメラのビューファインダを通した
シーンを見ている間に受信される画像及び音声に基づいて、人間のカメラオペレ
ータが実行する操作に匹敵する。たとえば、人間のカメラオペレータは、グルー
プシーンを捉えるために典型的にズームアウトし、ソロの話者を捉えるためにズ
ームインし、個人又はグループの選択に追従するためにパンする。
【００１９】 熟練したカメラオペレータであれば、突然のカメラ移動、あちこちのカメラ移
動を最小にするためのズームアウトを避け、低品質記録から高品質なビデオ記録
を区別する結果を視覚的な訴えによりつくる他の技術を実行する。
【００２０】 画像処理システム１５０は、カメラ１１０からの画像を分析し、コントローラ
１７０に画像情報パラメータを提供する。これらのパラメータは、コントローラ
１７０内で使用されるアルゴリズムの情報の必要条件に依存している。好適な実
施の形態におけるコントローラ１７０は、たとえば、ベースユニット１３０及び
カメラ１１０への命令を介して、カメラの視野内での目標フィギュアを形成する
フィギュアターゲット及び追尾システムを含んでいる。
【００２１】 かかるターゲット及び追尾機能に作用するために、コントローラ１７０は、カ
メラの視野内でのそれぞれのフィギュア、又はそれぞれの主要なフィギュアの位
置及びサイズの判定を必要とする。本システムにおける画像処理システム１５０
は、たとえば、フレッシュトーン識別処理を使用して、カメラ１１０からの画像
におけるそれぞれのフィギュアを識別し、コントローラ１７０に対して位置及び
サイズのパラメータを提供する。
【００２２】 画像処理技術は進み続け、画像処理システム１５０は、コントローラ１７０の
アルゴリズムにより必要とされるようなそれぞれのフィギュアの予測される「ワ
ールド」座標系、それぞれのフィギュアの予測される物理的サイズ、それぞれ移
動するフィギュアの予測されるスピード、及び他の予測値のような他の関連する
画像情報を提供するために配置される。
【００２３】 容易な理解のために別々の構成要素を含むように例示されているが、好適な実
施の形態のカメラ制御システム１００は、ベースユニット１３０、画像処理シス
テム１４０、音声処理システム及び視野コントローラ１７０を含む携帯用ユニッ
トである。この携帯用ユニットは、典型的なカムコーダを搭載することができる
カメラ「アクセサリ」となるように配置されている。
【００２４】 カムコーダがステレオオーディオシステムを含んでいない場合、又はカムコー
ダのオーディオシステムにより提供される区別が、後述される音声分離及び配置
のために十分でないとわかっている場合、ベースユニット１３０に搭載すること
ができるモジュール化音声システム１２０が提供される。この携帯用ユニットを
提供することにより、ユーザはこのユニットを便利な位置に配置することができ
、この位置により提供される潜在的な視野内でのイベントの無人による記録を始
めることができる。
【００２５】 当業者であれば容易に理解されるように、フィギュアの識別以外に他の画像情
報は、画像処理システム１５０により提供することができる。たとえば、無人の
家庭用映像記録のために配置されるシステムにおいて、画像処理システム１５０
は、ダイニングテーブル、座席配置及び他の共通な焦点の位置を区別して、報告
するために配置されていてもよい。
【００２６】 同様にして、特別のイベントの無人の記録のために配置されるシステム、画像
処理システム１５０は、フットボールゲームを記録する時の新鮮な諧調ではなく
フットボールユニフォーム、ドックショウを記録する時の人間のフィギュアに加
えて又は人間のフィギュアに代わる動物のフィギュア、ヨットレースを記録する
時のセイルの形状のような固有の品目の位置を認識及び報告するために配置され
てもよい。
【００２７】 本発明の好適な実施の形態では、画像処理システム１５０は、カメラの視野内
での複数の予め定義されたビジュアルなジェスチャのうちの１つ又は複数を認識
するために配置されるジェスチャ認識システムを含んでいる。このジェスチャ認
識は、音声処理システムと共に動作してもよい。これにより、ユーザは、「カメ
ラ！」のような音声のキーワードを介してジェスチャ認識処理を開始し、その後
にカメラがパンすることになる方向を示し、又はカメラが追尾することになる個
人を示し、或いはカメラに他の操作を開始又は終了させるジェスチャを提供する
。
【００２８】 ジェスチャの認識後、画像処理システム１５０は、コントローラ１７０に情報
パラメータを提供し、特定のジャスチャに対応する適切な操作に作用する。当業
者であれば明らかであるように、画像処理システムは、適切な操作に直接作用し
、認識されたジェスチャに応答して、カメラ制御システム１００におけるいずれ
か又は全ての構成要素を制御するように配置されていてもよい。
【００２９】 代替的に、視野コントローラ１７０又は他の処理装置は、ジェスチャ認識機能
を提供してもよく、画像処理システム１５０は、手及び腕のような選択された人
体部分の位置を単に区別し、ジェスチャ認識制御のための適切な装置に対して報
告するものであってもよい。
【００３０】 音声処理システム１６０は、音声システム１２０から受信された音声信号に基
づいて画像処理システム１５０と同じ区別及び配置機能を実行する。音声システ
ム１２０は、カメラ１１０又はベースユニット１３０と一体となっていてもよく
、又はベースユニット１３０に取り付けられるディスクリートな構成要素であっ
てもよい。
【００３１】 好ましくは、音声システムは、２つ又は２つを超えるマイクロフォン１２２，
１２４を含んでおり、音源の位置を音量差及び従来技術において一般的な位相分
析を通して判定することができる。また、従来の技術において一般的なものに、
処理システム１６０により使用され、複数の同時の音源を区別して配置する音源
区別技術がある。受信された音量レベル、それぞれの音源の「ワールド」座標、
移動する音源のスピードレート、及びカメラ１１０の後続する視野を決定するた
めに視野コントローラ１７０が使用する他の音声情報パラメータ、といった関連
付けられたパラメータがある。
【００３２】 本発明の好適な実施の形態では、音声処理システム１６０は、音声信号内での
複数の予め定義された会話パターンのうちの１つ又は複数を認識するために配置
される音声認識システムを含んでいる。上述したように、音声処理システム１６
０は、「カメラ！」のような開始キーワードを認識し、応答して画像処理システ
ム１５０に信号を提供して上述したジェスチャ認識処理を開始するために配置さ
れる。
【００３３】 同時に、このキーワードは、「左」、「右」、「ズームイン」、「ズームアウ
ト」、「追尾」、「終了」等のような他のキーワードの認識を開始する場合があ
る。この認識処理は、認識されたキーワードを含んでいない予め設定されたイン
ターバルの後に自動的に終了される。この制御された開始及び終了処理は、制御
システム１００が、受信された音声信号におけるキーワードのランダムな発生に
より誤って「制御される」ことがないように採用されている。
【００３４】 音声認識処理は、音声処理システムと視野コントローラの間で区分されていて
もよく、典型的な音声処理装置が音声処理システム１６０において使用すること
でき、カメラ制御システム１００の制御に特定のキーワード認識処理がコントロ
ーラ１７０において使用することができる。
【００３５】 本実施の形態では、音声処理システムは、受信された音声信号の「写し」をコ
ントローラ１７０に連続して提供し、コントローラ１７０は、該写し内でのキー
ワードフレーズの受信に応答して、キーワード認識処理を開始して制御する。音
声認識システムは、ジェスチャ認識システムと共に、又は該システムとは独立に
使用してもよく、カメラ制御システム１００のためにユーザ命令の処理を更に容
易にすることができる。
【００３６】 視野コントローラ１７０は、画像処理システム１５０からの画像情報パラメー
タ、及び音声処理システム１６０からの音声情報パラメータを使用して、これら
情報パラメータに基づいて、指向性及び遠近の変化が適切であるかを判定する。
【００３７】 図２は、本発明によるカメラ制御システムの例示的なフローチャートを示して
いる。このフローチャートは、例示的な目的で存在しており、この開示を考慮し
て当業者により組込むことができる特徴の排他的な表現を意図するものではない
。例示されるものは、２つの並列処理、画像情報処理２２０〜２２８、及び音声
情報処理２４０〜２４６を含む連続的な処理である。
【００３８】 ステップ２１０では、処理が開始してカメラを指向する。ステップ２２０及び
２４０のそれぞれでは、画像情報及び音声情報に変換される画像と音声を提供す
る。ステップ２２２では、画像情報は処理されて、個々のフィギュアとフィギュ
アのクラスタが識別される。
【００３９】 たとえば、図１の画像処理システム１５０は、現在の画像におけるそれぞれの
画像に関連したパラメータを提供し、コントローラ１７０は、これらのパラメー
タを処理して、他のフィギュアに対するかかるフィギュアの位置に基づいてキー
フィギュアを識別し、互いに関する空間的な関係に基づいてフィギュアのクラス
タを識別する。
【００４０】 図２に例示されていないが、キーフィギュア及びクラスタリング処理２２２は
、音声情報及び後述するスピーカ識別子を使用してもよく、識別処理を容易にす
ることができる。上述したように、音声処理プロセスは、画像処理システムにお
いてジェスチャ認識プロセスを開始するキーワード認識プロセスを提供してもよ
い。ステップ２２４で命令ジェスチャが検出された場合、ステップ２５４で適切
な命令が直接に、又はステップ２５０での新たな指向性パラメータの判定を介し
て実行される。
【００４１】 同時に、音声情報が処理され、他のスピーカに関するあるスピーカからの音声
情報に基づいて主要なスピーカを識別し、ステップ２２４で他のスピーカ又はス
ピーカのクラスタを識別する。ステップ２４４で上述した音声命令が与えられた
場合、ステップ２５４で該命令が直接に、又はステップ２５０での新たな指向性
パラメータの決定を介して実行される。参照の容易さのために、本明細書で使用
される用語「指向性」とは、所望の視野に作用するためのパン、チルト又は設定
を含んでいる。
【００４２】 ステップ２２４で命令ジェスチャが与えられていない場合、画像情報プロセス
はステップ２２６に進む。ステップ２２６で画像におけるフィギュアのクラスタ
が識別されない場合、ステップ２５６でパンが開始されるか又は継続され、フィ
ギュアを含む画像が見つけられる。
【００４３】 この開示の目的のために、カメラ視野内にクラスタは１つ又は複数のフィギュ
アを含んでいる。ステップ２２６でパンプロセスは、処理された音声信号及びス
ピーカ識別子を使用して、パンの好適な方向を決定する。すなわち、たとえば、
音声情報がカメラの右側の領域で音声が検出されたことを示す場合、ステップ２
５６でパンが開始され、カメラを右に向ける。
【００４４】 図示されていないが、ステップ２５６でカメラのチルトにより、フィギュア検
出のために不適切にカメラが指向された場合、チルトは自動的に調節され、視野
の実質的なレベルで領域を掃引するパン操作を提供する。ステップ２２８でフィ
ギュアの複数のクラスタが位置される場合、画像及び音声情報が使用され、焦点
クラスタとしてどのクラスタを選択すべきかが決定される。
【００４５】 たとえば、あるクラスタが特にアクティブ又は特に大声である場合、このクラ
スタは焦点クラスタとして選択されるべきである。重み付けサンプリングのよう
な従来技術において一般的な技術を使用して、選択されているそれぞれのクラス
タの尤度は、音声の音量、機能レベル、このクラスタが最後に選択されてからの
時間、フィギュアが中央方向に全て指向されているか等の様々な要素に依存する
ようにすることができる。ステップ２２８で、１つのクラスタが配置されている
場合、クラスタ選択は必要とされない。
【００４６】 ステップ２５９で、選択クラスタすなわち１つのクラスタは、該クラスタと関
連する画像情報及び音声情報を使用して、「フレーム形成される」。たとえば、
はじめに、全体のクラスタは、カメラの視野内で中央に配置される。その後、音
声がクラスタ内の特定の点から放出されている場合、カメラの指向性は、音声及
び視野が狭くされ、支配的な音源の周囲の領域が拡大される方向に調整される。
【００４７】 本発明の好適な実施の形態では、方向性マイクロフォンが使用され、ズーム設
定と調和して音声受信及びフィールドを広く及び狭くすることが可能となる。ク
ラスタ内に１つの音源がある場合、該音源に対応するフィギュアは、確立された
画像形成技術を使用して、フレーム形成される。
【００４８】 たとえば、画像がトルソーの上体、ヘッドドレス及び頭の上の空間を含めた頭
全体の部分を含むように、ソロの話者がフレーム形成されることが好ましい。フ
ィギュアからフィギュアに音声がシフトする場合、視野は、全ての話すフィギュ
アを含むように、拡大され中心に配置される。
【００４９】 クラスタ及びフィギュアをフレーム形成するためのルール又は命令は、図１に
示す知識ベースシステム２７５に記憶されていることが好ましい。好適な実施の
形態では、知識ベースシステム２７５は、コントローラ２７０により行われる個
々の動作の適切さに関して、ユーザからのフィードバックを伴う前の記録の再生
を介してかかるルールを更新するための学習システムを含んでいる。
【００５０】 また、好適な知識ベースシステムにおいて含まれるのは、スピーカ上でどの位
長くズームインのままにするか、どの位長くクラスタを選択されたクラスタとし
て維持するかに関するルール又は命令である。また、ルールが提供され、焦点の
変化を制御する。たとえば、クラスタの変化の前にカメラが完全にズームアウト
されること、色あせがかかる変化について導入されることを要求するルールが提
供されてもよい。
【００５１】 同様にして、予め設定された時間期間の後、又は動作のない特定の期間の後等
に画像の記録を終了するルールが提供されてもよい。同様に、制御システムがパ
ンして、他のクラスタ、他の支配的なスピーカ等を配置するために、記録を一時
的に停止することができる。
【００５２】 好適な実施の形態では、ユーザ制御が提供され、異なるタイプのイベントにつ
いての特定のルールセットが援用される。たとえば、特定のタイプのスポーツイ
ベントを記録するために作成されるルールセット、ハウスパーティを記録するた
めの別のルールセット、劇場演技を記録するための別のルールセット等があって
もよい。
【００５３】 上述したように、図１のコントローラ１７０の好適な実施の形態は、画像追尾
能力を含んでいる。画像及び音声情報に基づいてカメラの視野の中央部分におい
て支配的なスピーカを維持することに加えて、コントローラ１７０は、追尾モー
ドを設定することができる。ここでは、追尾期間の間に他のフィギュア又は音声
の発生に関わらず、識別されたフィギュアが連続的に追尾される。
【００５４】 すなわち、たとえば、特定のイベントについてユーザがナレータの役割を満た
すことを望む場合、ユーザは制御システム１００を追尾モードにし、ユーザ自身
を追尾ターゲットとして識別することができる。その後、ユーザは所望のように
異なる位置に移動してもよく、指示されない限りカメラの視野は自動的に調節さ
れ、それぞれの画像内でユーザを保持する。
【００５５】 上述したように、追尾又はカメラを操作するその他の命令は、キーワード又は
ジェスチャを介して、又は典型的な遠隔制御装置を介して伝達することができる
。好適な実施の形態における上述したルールセットは、異なる追尾モードのため
オプションを含んでいる。たとえば、ナレータモードにおいて、フレーム形成ル
ールがカメラ指向性を指示してもよく、取得された画像フレームの一方の側又は
他方の側に対して離れたナレータを配置することができる。他の追尾モードにお
いて、ルールがカメラの指向性を指示してもよく、追尾されたフィギュアを取得
された画像フレーム内の中央に配置することができる。
【００５６】 命令ブロック２５４、パンブロック２５６、又はフレーム形成ブロック２５９
からの適切な指向性必要条件は、ステップ２５０で処理され、要求されるカメラ
及びベースユニット指向性パラメータが決定され、所望のカメラ視野が達成され
る。ステップ２１０でこれらのパラメータが使用され、カメラが指向される。
【００５７】 本発明の原理を単に例示して説明してきた。当業者であれば、本明細書では明
確に記載又は図示されていないが、本発明の原理を具現化し、特許請求の範囲の
精神に含まれる様々な変更を考案することができる理解されるであろう。
【図面の簡単な説明】
【図１】 本発明によるカメラ制御システムの例示的なブロック図である。
【図２】 本発明によるカメラ制御システムの例示的なブロック図である。
───────────────────────────────────────────────────── フロントページの続き (51)Int.Cl.7 識別記号 ＦＩ テーマコート゛(参考） Ｇ０３Ｂ 15/00 Ｇ０３Ｂ 15/00 Ｕ 17/00 17/00 Ｂ 17/38 17/38 Ｂ 17/56 17/56 Ｂ Ｇ０６Ｔ 7/20 ３００ Ｇ０６Ｔ 7/20 ３００Ａ Ｇ１０Ｌ 15/00 Ｈ０４Ｎ 5/225 Ｂ Ｈ０４Ｎ 5/225 Ｇ１０Ｌ 3/00 ５５１Ｇ Ｆターム(参考） 2H020 FB00 FB05 MD15 2H105 AA02 AA12 AA13 AA14 EE05 EE31 5C022 AA11 AB62 AB63 AB65 AB66 AC01 AC27 AC72 AC74 5D015 KK01 5L096 BA20 CA02 DA05 HA09

Claims (20)

    【特許請求の範囲】
  1. 【請求項１】 カメラの視野を制御するための携帯用カメラ制御システムで
    あって、 前記カメラから該カメラの視野に対応する画像を受信して処理し、前記画像か
    ら画像情報パラメータを提供するために配置される画像処理システム、及び前記
    カメラの視野に対応する音声信号を受信して処理し、前記音声信号から音声情報
    パラメータを提供するために配置される音声処理システムのうちの少なくとも一
    方と、 前記画像処理システム及び前記音声処理システムのうちの少なくとも一方に使
    用可能に接続され、前記画像情報パラメータと前記音声情報パラメータのうちの
    少なくとも一方に基づいて前記カメラの視野の変化に作用するために配置される
    視野コントローラと、 を備える携帯用カメラ制御システム。
  2. 【請求項２】 前記カメラの固定されたアタッチメントを受けるために配置
    されるベースユニットをさらに含み、 前記ベースユニットは、前記視野コントローラに使用可能に接続され、前記カ
    メラの視野の変化に作用する少なくとも１つの指向性モニタを含む、 請求項１記載の携帯用カメラ制御システム。
  3. 【請求項３】 リモート指向性命令を提供するリモード制御装置をさらに含
    み、 前記視野コントローラは、前記リモート指向性命令に基づいて前記カメラの視
    野を変化するためにさらに配置される、 請求項１記載の携帯用カメラ制御システム。
  4. 【請求項４】 前記画像処理システムは、前記カメラの視野内での複数の予
    め定義されたビジュアルなジェスチャのうちの１つ又は複数の認識に基づいて１
    つ又は複数の前記画像情報パラメータを提供するために配置されるジェスチャ認
    識システムを含む、 請求項１記載の携帯用カメラ制御システム。
  5. 【請求項５】 前記音声処理システムは、前記音声信号内での複数の予め定
    義された会話パターンのうちの１つ又は複数の認識に基づいて１つ又は複数の前
    記音声情報パラメータを提供するために配置される音声認識システムを含む、 請求項１記載の携帯用カメラ制御システム。
  6. 【請求項６】 前記視野コントローラは、前記視野の変化の判定を容易にす
    るために配置されるエキスパートシステム、知識ベースシステム、ルールベース
    システム及び学習システムのうちの少なくとも１つを含む、 請求項１記載の携帯用カメラ制御システム。
  7. 【請求項７】 前記エキスパートシステム、前記知識ベースシステム、前記
    ルールベースシステム及び前記学習システムの少なくとも１つは、前記画像情報
    パラメータ及び前記音声情報パラメータに基づいて前記視野の変化の判定をそれ
    ぞれ容易にする複数の命令セットを含み、 前記視野コントローラは、前記視野の変化の判定に使用するための複数の命令
    セットのうちの命令セットの選択を可能にするために配置される、 請求項６記載の携帯用カメラ制御システム。
  8. 【請求項８】 携帯用カメラの視野を制御する方法であって、 前記携帯用カメラから該携帯用カメラの視野に対応する画像を受信して処理し
    、前記画像から画像情報パラメータを提供するステップ、及び前記携帯用カメラ
    の視野に対応する音声信号を受信して処理し、前記音声信号から音声情報パラメ
    ータを提供するステップ、のうちの少なくとも一方のステップと、 前記画像情報パラメータ及び前記音声情報パラメータのうちの少なくとも一方
    に基づいて前記携帯用カメラの視野の変化に作用するステップと、 を備える方法。
  9. 【請求項９】 前記携帯用カメラの視野の変化への作用は、パン指向性、チ
    ルト指向性及びズーム設定のうちの少なくとも１つの変化を介する、 請求項８記載の方法。
  10. 【請求項１０】 リモート指向性命令を受信するステップをさらに含み、 前記携帯用カメラの視野の変化への作用は、前記リモート指向性命令にさらに
    基づく、 請求項８記載の方法。
  11. 【請求項１１】 前記画像及び前記音声信号のうちの少なくとも一方を処理
    するステップをさらに含み、前記携帯用カメラの視野内での複数の予め定義され
    たビジュアルなジェスチャのうちの１つ又は複数、及び前記音声信号内での複数
    の予め定義された会話パターンのうち１つ又は複数の少なくとも一方の認識に基
    づいて、前記携帯用カメラの制御を提供する、 請求項８記載の方法。
  12. 【請求項１２】 前記携帯用カメラの視野の変化に作用する前記ステップは
    、前記視野の変化の判定を容易にするために配置されるエキスパートシステム、
    知識ベースシステム、ルールベースシステム及び学習システムのうちの少なくと
    も１つの使用を含む、請求項８記載の方法。
  13. 【請求項１３】 前記エキスパートシステム、前記知識ベースシステム、前
    記ルールベースシステム及び前記学習システムは、前記画像情報パラメータ及び
    前記音声情報パラメータに基づいて前記視野の変化の判定をそれぞれ容易にする
    複数の命令セットを含み、 前記視野の変化の判定に使用するために前記複数の命令セットのうちの命令セ
    ットを選択するステップをさらに含む、請求項１２記載の方法。
  14. 【請求項１４】 ハンドヘルドカムコーダを受けるために配置される携帯用
    ベースユニットであって、 モータ作動信号に対応する受信に基づいて、回転の少なくとも１つの平面にお
    ける前記カムコーダの指向性を調節するために配置される少なくとも１つのモニ
    タと、 前記ハンドヘルドカムコーダから該ハンドヘルドカムコーダの視野に対応する
    画像を受信して処理し、前記画像から画像情報パラメータを提供する画像処理シ
    ステム、及び前記ハンドヘルドカムコーダの視野に対応する音声信号を受信して
    処理し、前記音声信号から音声情報パラメータを提供する音声処理システムのう
    ちの少なくとも一方と、 前記画像処理システム及び前記音声処理システムのうちの少なくとも一方に使
    用可能に接続され、前記画像情報パラメータ及び前記音声情報パラメータのうち
    の少なくとも一方に基づいて、前記モータ作動信号を介して前記ハンドヘルドカ
    ムコーダの視野の変化に作用するために配置される視野コントローラと、 を備える携帯用ベースユニット。
  15. 【請求項１５】 前記視野コントローラは、パン指向性、チルト指向性及び
    ズーム設定のうちの少なくとも１つの所望の変化の判定に基づいて前記モータ作
    動信号に作用する、 請求項１４記載の携帯用ベースユニット。
  16. 【請求項１６】 リモート指向性命令を提供するリモート制御装置を備え、
    前記視野コントローラは、前記リモート指向性命令に基づいて前記ハンドヘルド
    カムコーダの視野を変化するためにさらに配置される、 請求項１４記載の携帯用ベースユニット。
  17. 【請求項１７】 前記画像処理システムは、前記ハンドヘルドカムコーダの
    視野内での複数の予め定義されたビジュアルなジェスチャのうちの１つ又は複数
    の認識に基づいて、１つ又は複数の前記画像情報パラメータを提供するために配
    置されるジェスチャ認識システムを含む、 請求項１４記載の携帯用ベースユニット。
  18. 【請求項１８】 前記音声処理システムは、前記音声信号内での複数の予め
    定義された会話パターンのうちの１つ又は複数の認識に基づいて、１つ又は複数
    の前記音声情報パラメータを提供するために配置される音声認識システムを含む
    、請求項１７記載の携帯用ベースユニット。
  19. 【請求項１９】 前記視野コントローラは、前記視野の変化の判定を容易に
    するために配置されるエキスパートシステム、知識ベースシステム、ルールベー
    スシステム及び学習システムのうちの少なくとも１つを含む、 請求項１７記載の携帯用ベースユニット。
  20. 【請求項２０】 前記エキスパートシステム、前記知識ベースシステム、前
    記ルールベースシステム及び前記学習システムのうちの少なくとも１つは、前記
    画像情報パラメータ及び前記音声情報パラメータに基づいて、前記視野の変化の
    判定を容易にするために配置される、 請求項１９記載の携帯用ベースユニット。
JP2001570070A 2000-03-21 2001-03-12 ハンドフリー家庭用映像製作カムコーダ Pending JP2003528548A (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US53282000A 2000-03-21 2000-03-21
US09/532,820 2000-03-21
PCT/EP2001/002758 WO2001072034A1 (en) 2000-03-21 2001-03-12 Hands-free home video production camcorder

Publications (1)

Publication Number Publication Date
JP2003528548A true JP2003528548A (ja) 2003-09-24

Family

ID=24123302

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2001570070A Pending JP2003528548A (ja) 2000-03-21 2001-03-12 ハンドフリー家庭用映像製作カムコーダ

Country Status (5)

Country Link
EP (1) EP1269746A1 (ja)
JP (1) JP2003528548A (ja)
KR (1) KR20020008191A (ja)
CN (1) CN1381131A (ja)
WO (1) WO2001072034A1 (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009284473A (ja) * 2008-04-23 2009-12-03 Canon Inc カメラ制御装置及び方法
JP2013196047A (ja) * 2012-03-15 2013-09-30 Omron Corp ジェスチャ入力装置、制御プログラム、コンピュータ読み取り可能な記録媒体、電子機器、ジェスチャ入力システム、および、ジェスチャ入力装置の制御方法

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB2407635B (en) * 2003-10-31 2006-07-12 Hewlett Packard Development Co Improvements in and relating to camera control
US20080220809A1 (en) * 2007-03-07 2008-09-11 Sony Ericsson Mobile Communications Ab Method and system for a self timer function for a camera and ...
KR101442149B1 (ko) 2008-01-17 2014-09-23 삼성전자 주식회사 전문가 지식 기반의 영상 획득 장치 및 방법
US7990421B2 (en) * 2008-07-18 2011-08-02 Sony Ericsson Mobile Communications Ab Arrangement and method relating to an image recording device
CN102158680A (zh) * 2010-02-11 2011-08-17 北京华旗随身数码股份有限公司 具有可视化功能的电话会议终端
CN103248633B (zh) * 2012-02-01 2017-05-24 深圳中兴力维技术有限公司 一种云台控制方法及其系统
CN102799191B (zh) * 2012-08-07 2016-07-13 通号通信信息集团有限公司 基于动作识别技术的云台控制方法及系统
CN104243894A (zh) * 2013-06-09 2014-12-24 中国科学院声学研究所 一种声视频融合监控方法
CN106992004B (zh) * 2017-03-06 2020-06-26 华为技术有限公司 一种调整视频的方法及终端
CN109194918B (zh) * 2018-09-17 2022-04-19 东莞市丰展电子科技有限公司 一种基于移动载体的拍摄系统

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5432597A (en) * 1990-05-31 1995-07-11 Parkervision, Inc. Remote controlled tracking system for tracking a remote-control unit and positioning and operating a camera and method
CA2148631C (en) * 1994-06-20 2000-06-13 John J. Hildin Voice-following video system
US6624846B1 (en) * 1997-07-18 2003-09-23 Interval Research Corporation Visual user interface for use in controlling the interaction of a device with a spatial region

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009284473A (ja) * 2008-04-23 2009-12-03 Canon Inc カメラ制御装置及び方法
JP2013196047A (ja) * 2012-03-15 2013-09-30 Omron Corp ジェスチャ入力装置、制御プログラム、コンピュータ読み取り可能な記録媒体、電子機器、ジェスチャ入力システム、および、ジェスチャ入力装置の制御方法

Also Published As

Publication number Publication date
WO2001072034A1 (en) 2001-09-27
KR20020008191A (ko) 2002-01-29
EP1269746A1 (en) 2003-01-02
CN1381131A (zh) 2002-11-20

Similar Documents

Publication Publication Date Title
US11729487B2 (en) Image pickup apparatus and control method therefor
US6850265B1 (en) Method and apparatus for tracking moving objects using combined video and audio information in video conferencing and other applications
US9716831B2 (en) Imaging control apparatus, imaging control method, and program
US9883143B2 (en) Automatic switching between dynamic and preset camera views in a video conference endpoint
CN109218651B (zh) 视频会议中的最佳视图选择方法
US10848889B2 (en) Intelligent audio rendering for video recording
TWI473009B (zh) 用於加強音訊之系統及用於自一計算裝置輸出音訊之方法
US20080246833A1 (en) Video conferencing apparatus, control method, and program
JP2015089119A (ja) 物体を追跡するためのシステム及び方法
JP2013225860A (ja) 自律動作のためのカメラコンフィギュレーション
CN108702458B (zh) 拍摄方法和装置
JP2010533416A (ja) 自動的カメラ制御方法とシステム
CN108737896B (zh) 一种基于电视机的自动调节喇叭朝向的方法及电视机
JP2003528548A (ja) ハンドフリー家庭用映像製作カムコーダ
JP7233162B2 (ja) 撮像装置及びその制御方法、プログラム、記憶媒体
US20230362472A1 (en) Image pickup apparatus and control method therefor
JP2002112215A (ja) テレビ会議システム
JP7267686B2 (ja) 撮像装置及びその制御方法
JPH1042264A (ja) テレビ会議システム
JP2000244800A (ja) 撮像装置
JP2023057157A (ja) 撮像装置及びその制御方法、プログラム
WO2020026901A1 (ja) 情報処理装置及びその制御方法
JP6845121B2 (ja) ロボットおよびロボット制御方法
JP2005277845A (ja) 撮影制御装置
JPH0983856A (ja) インテリジェントカメラ装置