JP2019028753A - 機器制御装置及び機器制御方法 - Google Patents

Abstract

【課題】機器の操作に関する人が複数存在する場合であっても機器の操作を適切に行うことができる機器制御装置及び機器制御方法を提供すること。【解決手段】機器制御装置は、複数の人による操作機器の操作に関する指示又は応答の内の整合性に従って、複数の人のそれぞれに予め定められた優先度に従って優先すべき操作機器の操作を決定する操作制御部１０２ｄを備える。【選択図】図２

Description

本発明は、操作者によって操作される機器の動作を制御する機器制御装置及び機器制御方法に関する。

近年、音声認識技術を機器の動作制御に利用する技術が提案されてきている。この種の音声認識技術の中で、複数の話者の会話を録音した音声信号から個々の話者の発話部分を認識する技術が知られている。例えば、特許文献１の話者インデキシング装置は、音声信号からフレーム毎に抽出した複数の第１の特徴量の組の分布を、話者数と同数の確率分布を含む混合分布でモデル化している。そして、この話者インデキシング装置は、確率分布に基づいて第１の特徴量の組を選択し、選択した第１の特徴量の組に対応する各フレームについての第２の特徴量をその確率分布に対応する学習データとして選択し、選択した学習データに基づいて話者モデルを学習している。

特開２０１６−５７４６１号公報

特許文献１等の技術は、複数の話者の音声による機器の動作制御に適用され得る。ここで、複数の話者の音声による機器の動作制御においては、例えば複数の話者から同時に異なる操作内容を示す音声が発せられたときには、どちらかの操作内容を優先して処理が実行される必要が生じる。この他、複数の人から同時に異なる操作内容の指示が発せられていなくても、操作者の操作と異なる操作内容を示す指示が別の人から発せられた場合等でも、どちらかの操作内容を優先して処理が実行される必要が生じる。このように、複数の人が操作に関わる機器の動作制御においては、単純に話者を認識するだけでは機器の動作制御がうまくいかなくなることがある。

本発明は、前記の事情に鑑みてなされたものであり、機器の操作に関する人が複数存在する場合であっても機器の操作を適切に行うことができる機器制御装置及び機器制御方法を提供することを目的とする。

前記の目的を達成するために、本発明の第１の態様の機器制御装置は、複数の人が操作に関わる操作機器を制御する機器制御装置であって、前記複数の人による前記操作機器の操作に関する指示又は応答の内の整合性に従って、前記複数の人のそれぞれに予め定められた優先度に従って優先すべき前記操作機器の操作を決定する操作制御部を具備する。

前記の目的を達成するために、本発明の第２の態様の機器制御方法は、複数の人が操作に関わる操作機器を制御する機器制御方法であって、前記複数の人による前記操作機器の操作に関する指示又は応答の内の整合性を判定することと、前記整合性の判定の結果と前記複数の人のそれぞれに予め定められた優先度に従って優先すべき前記操作機器の操作を決定することとを具備する。

本発明によれば、機器の操作に関する人が複数存在する場合であっても機器の操作を適切に行うことができる機器制御装置及び機器制御方法を提供することができる。

本発明の各実施形態に係る機器制御装置を含む一例の機器制御システムの構成を示す図である。 機器制御装置の一例の構成を示す図である。 収音機器の一例の構成を示す図である。 操作機器の一例の構成を示す図である。 第１の実施形態における機器制御システムの動作の概要を説明するための図である。 第１の実施形態における優先度データベースの一例を示す図である。 優先度データベースの変形例を示す図である。 第１の実施形態における機器制御装置の動作を示すフローチャートである。 収音機器の動作を示すフローチャートである。 第１の実施形態における操作機器の動作を示すフローチャートである。 第２の実施形態における機器制御システムの動作の概要を説明するための図である。 第２の実施形態における機器制御装置の動作を示すフローチャートである。 第２の実施形態における操作機器の動作を示すフローチャートである。 第３の実施形態における機器制御システムの動作の概要を説明するための図である。 第３の実施形態における優先度データベースの一例を示す図である。

以下、図面を参照して本発明の実施形態を説明する。
［第１の実施形態］
図１は、本発明の各実施形態に係る機器制御装置を含む一例の機器制御システムの構成を示す図である。図１に示す機器制御システム１は、機器制御装置１００と、収音機器２００と、操作機器３００とを有する。機器制御装置１００と収音機器２００とは、互いに通信自在に接続される。また、機器制御装置１００と操作機器３００も、互いに通信自在に接続される。収音機器２００と操作機器３００とは、通信自在に接続されていてもよいし、通信自在に接続されていなくてもよい。また、図１では、機器制御装置１００と収音機器２００とは、操作機器３００とは別個に設けられている。しかしながら、何れか１つの機器の内部に他の機器が設けられていてもよい。例えば、操作機器３００の内部に機器制御装置１００及び収音機器２００が設けられていてもよい。または、収音機器２００の内部に機器制御装置１００が設けられていてもよい。

機器制御装置１００は、例えばＣＰＵを有して構成されるコンピュータであって、操作機器３００を直接的に操作する操作者による操作機器３００の操作を制御する。例えば、機器制御装置１００は、収音機器２００を介して取得される音声の内容を認識し、認識した結果に応じて操作者による操作機器３００の操作を許可したり、禁止したりする。このとき、収音機器２００を介して取得される音声に、操作者とは異なる複数の指示者の音声が含まれていたり、操作者による操作機器３００の操作内容と指示者によって示される操作内容との相違があったりする場合には、機器制御装置１００は、予め設定された優先度に従って操作機器３００の優先すべき操作の内容を決定する。また、指示と指示とが矛盾する場合だけでなく、指示と応答とが矛盾している場合にも有効な技術となるため、指示と応答との内容の整合性（一致度）に従って操作機器の操作を決定するような操作制御部を具備すればよい。この時、各人の発言力や知識、経験、専門性等の発言のバックグランドや、その現場における役割等を優先度とか関係性のデータベースとして、状況に応じて、発話と操作の有効な連携を行って、制御を行うことで、それぞれの状況下における機器、装置の狙いの効果につなげることができる。なお、ここで記載した矛盾、応答の整合又は不整合は、指示と指示との間の矛盾等の応答関係から、指示と応答との矛盾等応答関係、指示と操作の矛盾等の応答関係にも拡張して応用することができることは言うまでもない。

収音機器２００は、外部から入力される音声を電気信号に変換して取得する収音器（例えばマイクロフォン）を備え、取得した電気信号をデジタルデータに変換して記録する。また、収音機器２００は、取得したデジタルの音声信号（音声データ）を機器制御装置１００に伝送する。

操作機器３００は、操作者によって操作される機器であり、操作者の操作に応じた動作をする。また、操作機器３００は、機器制御装置１００からの制御指示があったときにはその制御指示の内容に従って動作する。

図２は、機器制御装置１００の一例の構成を示す図である。図２に示すように、機器制御装置１００は、制御回路１０２と、記録媒体１０４と、表示素子１０６と、操作部１０８と、通信回路１１０とを有している。

制御回路１０２は、ＣＰＵ等のハードウェアによって構成された制御回路である。制御回路１０２は、機器制御装置１００の動作を制御する。制御回路１０２は、通信制御部１０２ａ、データベース処理部１０２ｂ、音声認識部１０２ｃ、操作制御部１０２ｄとしての機能を有する。通信制御部１０２ａは、通信回路１１０による通信を制御する。データベース処理部１０２ｂは、記録媒体１０４に記録されているデータベース１０４ａの更新等のデータベース１０４ａに係る処理を行う。音声認識部１０２ｃは、通信回路１１０を介して収音機器２００から送られてきた音声データによって示される音声の内容を記録媒体１０４に記録されているデータベース１０４ａを参照して認識する。操作制御部１０２ｄは、音声認識部１０２ｃの認識結果に応じて、操作者による操作機器３００の操作に応じた処理を制御するための指示をする。なお、通信制御部１０２ａ、データベース処理部１０２ｂ、音声認識部１０２ｃ、操作制御部１０２ｄとしての機能は、例えばソフトウェアを用いて実現されるものである。勿論、これらの機能はハードウェアを用いて実現されてもよい。また、これらの機能は、クラウドコンピューティングを利用した分散処理によって実現されてもよい。

記録媒体１０４は、ハードディスクドライブ（ＨＤＤ）、ソリッドステートドライブ（ＳＳＤ）等の記録媒体である。記録媒体１０４には、制御回路１０２において実行される各種のプログラムが記録される。また、記録媒体１０４には、制御回路１０２の音声認識において用いられるデータベース１０４ａが記録される。このデータベース１０４ａは、音声データベース及び優先度データベースを含む。音声データベースは、文字又は単語と音声データとの対応関係を記録したデータベースである。優先度データベースは、操作機器３００の操作に関わる人（操作者及び指示者）毎の操作（指示）の優先度を記録したデータベースである。優先度データベースについては後で詳しく説明する。ここで、図２の例では、記録媒体１０４のデータベース１０４ａは、機器制御装置１００に設けられているが、データベース１０４ａは、機器制御装置１００とは別の場所に設けられていてもよい。この場合、機器制御装置１００は、ネットワークを介してデータベース１０４ａから情報を取得する。

表示素子１０６は、例えば液晶ディスプレイであり、各種の画像を表示する。例えば、表示素子１０６は、操作機器３００から送られてきた画像を表示する。

操作部１０８は、機器制御装置１００を手動操作するための操作部材を有する。この操作部材は、ボタン、スイッチ、タッチパネル等を含む。

通信回路１１０は、機器制御装置１００が他の機器と通信するための回路として、第１通信回路１１０ａと、第２通信回路１１０ｂとを含む。第１通信回路１１０ａは、比較的に高速、かつ、大容量の通信をするための通信回路である。第１通信回路１１０ａは、例えばＷｉ‐Ｆｉ（登録商標）通信をするための通信回路である。第２通信回路１１０ｂは、第１通信回路１１０ａに比較して、小容量、かつ、低消費電力の通信をするための通信回路である。第２通信回路１１０ｂは、例えばＢｌｕｅｔｏｏｔｈ（登録商標）通信をするための通信回路である。ここでは、第１通信回路１１０ａ及び第２通信回路１１０ｂとして、無線通信をする回路を例示している。しかしながら、第１通信回路１１０ａ及び第２通信回路１１０ｂの何れか一方又は両方は、有線通信をする回路であってもよい。

図３は、収音機器２００の一例の構成を示す図である。図３に示すように、収音機器２００は、制御回路２０２と、収音部２０４と、記録媒体２０６と、操作部２０８と、第１通信回路２１０とを有している。

制御回路２０２は、ＣＰＵ等のハードウェアによって構成された制御回路である。制御回路２０２は、収音機器２００の動作を制御する。制御回路２０２は、音声処理部２０２ａ、音声弁別部２０２ｂ、記録制御部２０２ｃ、通信制御部２０２ｄとしての機能を有する。音声処理部２０２ａは、収音部２０４を介して取得される音声データに対して各種の処理を行う。この処理は、音声データにおけるノイズを除去する処理、記録のための圧縮処理等を含む。音声弁別部２０２ｂは、音声処理部２０２ａで処理された音声データと記録媒体２０６に記録されているデータベース２０６ｂとを照合することで音声データを話者毎に弁別する。記録制御部２０２ｃは、圧縮された音声データを記録媒体２０６に記録する。通信制御部２０２ｄは、第１通信回路２１０による通信を制御する。

収音部２０４は、マイクロフォン（マイク）等の収音器を有し、外部から入力された音声を電気信号（音声信号）に変換する。また、収音部２０４は、音声信号を増幅し、デジタル化して音声データを生成するといった前処理も行う。収音部は、どの人がどのような発言をしたかを検出するために、人物毎にそれぞれ別のマイクを対応させたり、人の場所とマイクの指向性との関係を対応させたり、声紋や声の特徴を判別したりすることで誰が何を言ったかを判定できるようにしてもよい。収音部は、音声による指示又は応答を検出するためのものであるが、収音部の代わりに他のセンサやキーボード等のスイッチで指示又は応答を検出するようにしてもよい。

記録媒体２０６は、例えばフラッシュメモリである。記録媒体２０６には、制御回路２０２において実行される各種のプログラムが記録される。また、記録媒体２０６には、制御回路２０２の音声処理部２０２ａで処理された音声データ２０６ａが記録される。さらに、記録媒体２０６には、制御回路２０２の音声弁別において用いられるデータベース２０６ｂが記録される。このデータベース２０６ｂは、特徴データベースを含む。特徴データベースは、話者毎の音声の特徴（周波数特性等）を記録したデータベースである。ここで、図２の例では、記録媒体２０６のデータベース２０６ｂは、収音機器２００に設けられているが、データベース２０６ｂは、収音機器２００とは別の場所に設けられていてもよい。この場合、収音機器２００は、ネットワークを介してデータベース２０６ｂから情報を取得する。

操作部２０８は、収音機器２００を手動操作するための操作部材を有する。この操作部材は、ボタン、スイッチ、タッチパネル等を含む。

第１通信回路２１０は、第１通信回路１１０ａと対応した通信回路であり、比較的に高速、かつ、大容量の通信をするための通信回路である。第１通信回路２１０は、例えばＷｉ‐Ｆｉ通信をするための通信回路である。

図４は、操作機器３００の一例の構成を示す図である。操作機器３００は、例えばデジタルカメラである。この場合、図４に示すように、操作機器３００は、制御回路３０２と、撮像部３０４と、表示素子３０６と、記録媒体３０８と、操作部３１０と、通信回路３１２とを有している。なお、操作機器３００は、操作者によって操作され得るものであって、機器制御装置１００と通信できる各種の機器である。例えば、操作機器３００は、撮像部３０４を有していない音声記録装置（ＩＣレコーダ等）でもよい。

制御回路３０２は、ＣＰＵ等のハードウェアによって構成された制御回路である。制御回路３０２は、操作機器３００の動作を制御する。なお、制御回路３０２が実行する機能は、例えばソフトウェアを用いて実現されるものである。勿論、この機能はハードウェアを用いて実現されてもよい。

撮像部３０４は、被写体を撮像し、被写体に係る画像データを生成する。撮像部３０４は、光学系３０４ａと、変倍駆動回路３０４ｂと、合焦駆動回路３０４ｃと、絞り駆動回路３０４ｄと、撮像素子３０４ｅとを有している。光学系３０４ａは、図示しない被写体からの光束を撮像素子３０４ｅの受光面に結像させる。この光学系３０４ａは、ズームレンズと、フォーカスレンズと、絞りとを有している。ズームレンズは、光軸方向に沿って駆動するように構成され、光学系３０４ａの変倍をするためのレンズである。フォーカスレンズは、光軸方向に沿って駆動するように構成され、光学系３０４ａの合焦調節をするためのレンズである。絞りは、開閉できるように構成され、光学系３０４ａから撮像素子３０４ｅに入射する光束の量を制限する。変倍駆動回路３０４ｂは、モータ等を有し、制御回路３０２からの指示に従ってズームレンズを駆動する。合焦駆動回路３０４ｃは、モータ等を有し、制御回路３０２からの指示に従ってフォーカスレンズを駆動する。絞り駆動回路３０４ｄは、モータ等を有し、制御回路３０２からの指示に従って絞りを駆動する。撮像素子３０４ｅは、例えばＣＭＯＳセンサであり、受光面で受光した光束を電気信号（画像信号）に変換する。また、撮像素子３０４ｅは、画像信号を増幅し、デジタル化して画像データを生成するといった前処理も行う。

表示素子３０６は、例えば液晶ディスプレイであり、撮像素子３０４ｅを介して得られた画像データに基づく画像等の各種の画像を表示する。

記録媒体３０８は、例えばフラッシュメモリである。記録媒体３０８には、制御回路３０２において実行される各種のプログラムが記録される。また、記録媒体３０８には、制御回路３０２で処理された画像データ３０８ａが記録される。

操作部３１０は、操作機器３００を手動操作するための操作部材を有する。この操作部材は、ボタン、スイッチ、タッチパネル等を含む。

通信回路３１２は、第１通信回路３１２ａと、第２通信回路３１２ｂとを含む。第１通信回路３１２ａは、第１通信回路１１０ａと対応しており、比較的に高速、かつ、大容量の通信をするための通信回路である。第１通信回路３１２ａは、例えばＷｉ‐Ｆｉ通信をするための通信回路である。第２通信回路３１２ｂは、第２通信回路１１０ｂと対応しており、比較的に、小容量、かつ、低消費電力の通信をするための通信回路である。第２通信回路３１２ｂは、例えばＢｌｕｅｔｏｏｔｈ通信をするための通信回路である。

以下、本実施形態の機器制御システムの動作を説明する。図５は、第１の実施形態における機器制御システム１の動作の概要を説明するための図である。ここで、図５は、モデル撮影の現場に機器制御システム１を適用したときの例である。すなわち、図５の例では、カメラマンＣが操作機器３００であるデジタルカメラを持ち、モデルＭを撮影する。一方、カメラマンＣの背後にいるのは監督Ｄ及びプロデューサーＰである。監督Ｄ及びプロデューサーＰは、デジタルカメラで撮影される画像を機器制御装置１００に設けられた表示素子１０６で確認し、必要に応じて音声による指示をする。この音声は、収音機器２００（図５では２つの収音機器２００ａ、２００ｂが設けられている）で収音され、機器制御装置１００に送られる。このように、本実施形態では、操作機器３００の操作に複数の人が関係する。すなわち、図５の例では、カメラマンＣは操作機器３００を実際に操作する操作者であり、監督Ｄ及びプロデューサーＰは操作機器３００を直接的には操作せずにカメラマンＣに対して操作機器３００の操作を指示する指示者である。すなわち、指示者は、操作機器３００を間接的に操作する人である。

ここで、図５の例では、指示者が二人である。このため、二人の指示者の指示が異なってしまうことがあり得る。図５の例では、プロデューサーＰはピントを変えることを指示しているのに対し、監督Ｄはズームを変えることを指示している。この場合、カメラマンＣは、何れの指示を優先すればよいか判断し、必要な操作をすることになる。機器制御装置１００は、このような判断をアシストする。

前述したように、機器制御装置１００は、優先度データベースを有する。図６は、第１の実施形態における優先度データベースの一例を示す図である。図６の優先度データベースは、操作機器３００の操作に関わる人（図５の例では、カメラマンＣ、監督Ｄ、プロデューサーＰの３人）の名前（ＩＤ等でもよい）と、それぞれの名前毎に割り当てられた優先度とを対応付けたデータベースである。優先度は、例えば最小値が１、最大値が１０であって、その現場における操作に対する専門性や経験値、その人物の立場（ポジション、与えられた役割、地位、発言力等）等に基づいて設定される。例えば、図５では、監督Ｄは専門性及び地位の何れも高いと考えられる。したがって、監督Ｄについては、図６に示すように高い優先度が割り当てられる。同様の考え方について、プロデューサーＰ、カメラマンＣについても優先度が割り当てられる。なお、優先度データベースに記憶される優先度は、操作機器３００の操作に関わる人の間の合意形成によって設定されてもよい。この他、合意形成並びに操作者及び指示者の専門性、立場（地位、発言力等を含む）、役割等によって設定された優先度を機器制御装置１００が判定してもよい。この場合の機器制御装置１００は、複数の人のそれぞれの指示と指示を受けての操作（作業）との関係を判定する関係判定部を備えることになる。優先度は、例えば、単純にそれぞれの役割で作業をした時間の長さが長いほど、作業をした回数が多いほどに高く設定されるように判定してもよい。また、誰が何をやったかというエビデンスとして残す資料に書かれた役割から、優先度が判定されてもよい。優先度は、作業の時間や回数、資料に書かれた役割等を総合的に判定することで判定されてもよい。また、特定の作業毎に、作業のやり直しがあった発言や指示（失敗発言、失敗指示）の回数が多い人は優先度を低くしたりしてもよい。或いは、声の周波数や高さ、大きさの特性で感情等を考慮し、切迫感のある声の場合は優先度を上げるようにしてもよい。低い声で簡潔に命じる内容が重要な場合もある。常に、そうした発話をする人の場合は、それだけで判定するのは好ましくないので、特性の変化の大きさで判断してもよい。こうした事を総合的に学習することによって優先度データベースの内容が逐次に更新されるように構成されてもよい。この学習は、比較的簡単で、各人の指示と操作の関係を見ていて、順調にそれが伝わって実際に操作や制御が行われ、やり直しがない場合、所定の効果が現れた事を判定してフィードバックすればよい。そうでない場合が多い人は、その作業、操作に関する指示の優先度を下げればよい。このように、指示と指示が矛盾する場合だけでこの実施形態が有効ではない。もちろん、指示と応答、操作が矛盾している場合にも有効である。矛盾しない発話がある場合もまた、制御を行う方向に積極的に寄与していると考えることができるので、指示と応答の内容の一致度（整合性）に従って操作機器の操作を決定するような操作制御部と書き直すこともできる。この時、上述のように、各人の発言力や知識、経験、専門性等の発言のバックグランドや、その現場における役割等を優先度とか関係性のデータベースとして作動する。つまり、状況に応じて、発話と操作の有効な連携を行って、制御を行うことが、それぞれの状況下における機器、装置の狙いの効果につなげることができる。また、優先度データベースでは、対応するマイクや、声の質や声紋等で、誰がどの立場かを予め設定しておくもの以外にも、機器を扱う人や人の配置等で、立場、役割を判定するようにすれば、事前設定は不要である。一度、このように判定された後に、声の質や声紋等を使って補助して判定してもよい。

図６のような優先度データベースが機器制御装置１００のデータベース１０４ａに記憶されている状況において、図５のように、プロデューサーＰからはピントを変えることが指示され、監督Ｄからはズームを変えることが指示されたとき、これらの指示を含む音声Ｖ１、Ｖ２が収音機器２００ａ、２００ｂにおいて収音される。収音機器２００ａでは、取得された音声データから監督Ｄの音声データが弁別される。一方、収音機器２００ｂでは、取得された音声データからプロデューサーＰの音声データが弁別される。これらの音声データは、機器制御装置１００に送られる。

機器制御装置１００は、プロデューサーＰの音声データから認識される指示の内容と監督Ｄの音声データから認識される指示の内容とが異なっていることから、優先度データベースを参照し、何れの指示を優先すべきかを判定する。図６の優先度データベースからは、監督Ｄの指示が優先されるべきと判定されるので、機器制御装置１００は、操作機器３００に対し、ズームを変えるように制御指示Ｉを送信する。これを受けて、操作機器３００は、カメラマンＣに対してズームを変えるように促すガイドをする。ガイドＧは、例えば操作機器３００の表示素子３０６に「ズームしないとダメですよ！」といったメッセージを表示させることで行われる。このガイドＧを見て、カメラマンＣは、ズームを変更すべく、操作機器３００を操作する。このようにして、カメラマンＣは、適切に操作機器３００を操作することができる。また、本実施形態では、ガイドＧが表示されている状態では、仮にカメラマンＣがズーム操作以外の操作、例えばピント操作をしようとしても、このピント操作は無効化される。これにより、複数の指示や操作が競合したとしても専門性等が考慮された優先度の高い人の指示に従って操作機器３００の操作をすることができる。

ここで、優先度は、操作機器３００の操作に関わる個人毎に割り当てられるのに加えて、操作機器３００の操作内容毎にも割り当てられてよい。すなわち、図７に示す優先度データベースが用いられてもよい。図７に示す優先度データベースは、操作機器３００の操作に関わる人（図５の例では、カメラマンＣ、監督Ｄ、プロデューサーＰの３人）の名前（ＩＤ等でもよい）と、操作内容（例えば、ズーム操作、ピント操作）と、それぞれの操作内容毎に割り当てられた優先度とを対応付けたデータベースである。このようなデータベースをもとに、複数の人のそれぞれの指示と、それを受けての作業の関係を判定する関係判定に従って正確な操作機器の操作が決定される。

図７の優先度データベースは、同一の操作内容について異なる指示がされたときに有効である。例えば、監督Ｄからは望遠側にズームを変えることが指示され、プロデューサーＰからは広角側にズームを変えることが指示されたとき、図７の優先度データベースからは、監督Ｄの指示が優先されるべきと判定される。一方、監督ＤとプロデューサーＰとでピントについて異なる指示がされたとき、図７の優先度データベースからは、プロデューサーＰの指示が優先されるべきと判定される。

図８、図９、図１０は、機器制御システム１の動作を示すフローチャートである。ここで、図８は、機器制御装置１００の動作を示すフローチャートである。また、図９は、収音機器２００の動作を示すフローチャートである。また、図１０は、操作機器３００の動作を示すフローチャートである。

まず、図８を参照して機器制御装置１００の動作を説明する。図８の動作は、主に制御回路１０２によって制御される。なお、図８の動作に先立って、図６、図７で示した優先度データベースが作成されているものとする。

ステップＳ１０１において、制御回路１０２は、通信設定が完了しているか否かを判定する。ステップＳ１０１においては、機器制御装置１００の通信先の収音機器２００及び操作機器３００との通信接続が確立しているか否かが判定される。ステップＳ１０１において、通信設定が完了していないと判定されたときには、処理はステップＳ１０２に移行する。ステップＳ１０１において、通信設定が完了していると判定されたときには、処理はステップＳ１０３に移行する。

ステップＳ１０２において、制御回路１０２は、通信設定の処理を行う。すなわち、制御回路１０２は、近くにある収音機器２００及び操作機器３００のそれぞれに対して通信接続要求をする。そして、両方の機器との通信接続が確立した後、処理はステップＳ１０３に移行する。

ステップＳ１０３において、制御回路１０２は、操作機器３００からライブビューのための画像データが受信されたか否かを判定する。ステップＳ１０３において、操作機器３００から画像データが受信されていないと判定されたときには、処理はステップＳ１０５に移行する。ステップＳ１０３において、操作機器３００から画像データが受信されたと判定されたときには、処理はステップＳ１０４に移行する。なお、画像データの通信は、第１通信回路１１０ａを介して行われる。

ステップＳ１０４において、制御回路１０２は、操作機器３００から送られてきた画像データに基づく画像を例えば表示素子１０６に表示させる。表示素子１０６に表示された画像を見て、プロデューサーＰ及び監督Ｄは、操作機器３００であるデジタルカメラで撮影される画像を確認することができる。プロデューサーＰ及び監督Ｄは、この確認結果に基づき、必要に応じて音声により指示する。

ステップＳ１０５において、制御回路１０２は、収音機器２００から音声データが受信されたか否かを判定する。ステップＳ１０５において、収音機器２００から音声データが受信されていないと判定されたときには、処理はステップＳ１１１に移行する。ステップＳ１０５において、収音機器２００から音声データが受信されたと判定されたときには、処理はステップＳ１０６に移行する。なお、音声データの通信は、第１通信回路１１０ａを介して行われる。

ステップＳ１０６において、制御回路１０２は、音声データの内容をデータベース１０４ａの音声データベースを参照して認識する。ここで、音声データに複数の話者の音声が含まれている場合には、制御回路１０２は、話者毎に音声の内容を認識する。音声認識の完了後、処理はステップＳ１０７に移行する。

ステップＳ１０７において、制御回路１０２は、認識した内容に操作機器３００の操作に関する指示が含まれているか否かを判定する。ステップＳ１０７において、認識した内容に操作機器３００の操作に関する指示が含まれていないと判定されたときには、処理はステップＳ１１１に移行する。ステップＳ１０７において、認識した内容に操作機器３００の操作に関する指示が含まれていると判定されたときには、処理はステップＳ１０８に移行する。

ステップＳ１０８において、制御回路１０２は、指示が矛盾しているか否かを判定する。図５の例のように、プロデューサーＰはピントを変えることを指示しているのに対し、監督Ｄはズームを変えることを指示しているときには、指示が矛盾していると判定される。一方、指示をした人が一人しかいない場合や同じ指示がされているときには、指示が矛盾していないと判定される。ステップＳ１０８において、指示が矛盾していると判定されたときには、処理はステップＳ１０９に移行する。ステップＳ１０９において、指示が矛盾していないと判定されたときには、処理はステップＳ１１０に移行する。

ステップＳ１０９において、制御回路１０２は、データベース１０４ａの優先度データベースにおいて記録されている優先度に従って矛盾した複数の指示のうちの優先すべき指示を決定する。その後、処理はステップＳ１１０に移行する。なお、図６で示した優先度データベースと図７で示した優先度データベースはそれぞれが単独で用いられてもよいし、組み合わせて用いられてもよい。

ステップＳ１１０において、制御回路１０２は、指示の内容に従って操作機器３００を制御するための制御指示を生成する。そして、制御回路１０２は、生成した制御指示を、通信回路１１０を介して操作機器３００に送信する。その後、処理はステップＳ１１１に移行する。なお、制御指示の通信は、第２通信回路１１０ｂを介して行われる。これは、画像データ及び音声データの容量に比べて制御指示のデータの容量の方が小さいためである。制御指示の通信を第２通信回路１１０ｂによって行うことで省電力化に繋がる。

ステップＳ１１１において、制御回路１０２は、機器制御装置１００の動作を終了させるか否かを判定する。例えば、機器制御装置１００の操作部１０８に含まれる電源スイッチがオフされたときに、機器制御装置１００の動作を終了させると判定される。ステップＳ１１１において、機器制御装置１００の動作を終了させないと判定されたときには、処理はステップＳ１０１に移行する。ステップＳ１１１において、機器制御装置１００の動作を終了させると判定されたときには、図８の処理は終了する。なお、機器制御装置１００と、収音機器２００と、操作機器３００との通信が確立しているときには、機器制御装置１００の動作の終了時に、収音機器２００及び操作機器３００の動作を終了させるための制御指示が収音機器２００及び操作機器３００のそれぞれに送信される。

次に、図９を参照して収音機器２００の動作を説明する。図９の動作は、主に制御回路２０２によって制御される。

ステップＳ２０１において、制御回路２０２は、機器制御装置１００との通信が確立しているか否かを判定する。ステップＳ２０１において、機器制御装置１００との通信が確立していないと判定されたときには、処理はステップＳ２０２に移行する。ステップＳ２０１において、機器制御装置１００との通信が確立していると判定されたときには、処理はステップＳ２０５に移行する。

ステップＳ２０２において、制御回路２０２は、機器制御装置１００からの通信接続要求があるか否かを判定する。ステップＳ２０２において、機器制御装置１００からの通信接続要求がないと判定されたときには、処理はステップＳ２０３に移行する。ステップＳ２０２において、機器制御装置１００からの通信接続要求があると判定されたときには、処理はステップＳ２０４に移行する。

ステップＳ２０３において、制御回路２０２は、収音機器２００の機器制御システム１としての処理以外のその他の処理を行う。その他の処理としては、例えば音声の入力があったときに、その音声を音声データとして記録媒体２０６に記録する処理である。その他の処理の詳細については説明を省略する。その他の処理の後、処理はステップＳ２０９に移行する。

ステップＳ２０４において、制御回路２０２は、機器制御装置１００との通信を確立するための処理を行う。その後、処理はステップＳ２０５に移行する。

ステップＳ２０５において、制御回路２０２は、収音部２０４による収音を実行させる。ステップＳ２０６において、制御回路２０２は、音声処理部２０２ａにより、収音部２０４を介して得られた音声データに対してノイズの除去等の音声処理を施す。ステップＳ２０７において、制御回路２０２は、音声弁別部２０２ｂにより、音声処理部２０２ａで処理された音声データと記録媒体２０６に記録されているデータベース２０６ｂとを照合することで音声データを話者毎に弁別する。収音機器２００において、音声データを話者毎に弁別しておくことにより、機器制御装置１００において音声弁別の処理をする必要がなくなるので、機器制御装置１００における負荷を軽減することができる。勿論、このような音声データの弁別は、機器制御装置１００において行われてもよい。

ステップＳ２０８において、制御回路２０２は、話者毎に弁別した音声データを、第１通信回路２１０を介して機器制御装置１００に送信する。その後、処理はステップＳ２０９に移行する。

ステップＳ２０９において、制御回路２０２は、収音機器２００の動作を終了させるか否かを判定する。例えば、収音機器２００の操作部２０８に含まれる電源スイッチがオフされたとき又は動作を終了させるための制御指示が受信されたときに、収音機器２００の動作を終了させると判定される。ステップＳ２０９において、収音機器２００の動作を終了させないと判定されたときには、処理はステップＳ２０１に移行する。ステップＳ２０９において、収音機器２００の動作を終了させると判定されたときには、図９の処理は終了する。

次に、図１０を参照して操作機器３００の動作を説明する。図１０の動作は、主に制御回路３０２によって制御される。

ステップＳ３０１において、制御回路３０２は、機器制御装置１００との通信が確立しているか否かを判定する。ステップＳ３０１において、機器制御装置１００との通信が確立していないと判定されたときには、処理はステップＳ３０２に移行する。ステップＳ３０１において、機器制御装置１００との通信が確立していると判定されたときには、処理はステップＳ３０５に移行する。

ステップＳ３０２において、制御回路３０２は、機器制御装置１００からの通信接続要求があるか否かを判定する。ステップＳ３０２において、機器制御装置１００からの通信接続要求がないと判定されたときには、処理はステップＳ３０３に移行する。ステップＳ３０２において、機器制御装置１００からの通信接続要求があると判定されたときには、処理はステップＳ３０４に移行する。

ステップＳ３０３において、制御回路３０２は、操作機器３００の機器制御システム１としての処理以外のその他の処理を行う。その他の処理としては、例えば操作者による撮影操作があったときに、撮像部３０４による撮像動作を実行して画像データ３０８ａを記録媒体２０６に記録する処理である。その他の処理の詳細については説明を省略する。その他の処理の後、処理はステップＳ３１５に移行する。

ステップＳ３０４において、制御回路３０２は、機器制御装置１００との通信を確立するための処理を行う。その後、処理はステップＳ３０５に移行する。

ステップＳ３０５において、制御回路３０２は、現在の動作モードが撮影モードであるか否かを判定する。操作機器３００としてのデジタルカメラは、動作モードとして撮影モードと再生モードとを有している。撮影モードは、画像データの記録のための動作モードである。再生モードは、画像データの再生のための動作モードである。ステップＳ３０５において、現在の動作モードが撮影モードでないと判定されたときに、処理はステップＳ３０６に移行する。ステップＳ３０５において、現在の動作モードが撮影モードであると判定されたときに、処理はステップＳ３０７に移行する。

ステップＳ３０６において、制御回路３０２は、再生モードの処理を行う。再生モードの処理として、制御回路３０２は、ユーザによって選択された画像データに基づく画像を表示素子３０６に表示させたり、外部機器に送信したりする。再生モードの処理の詳細については説明を省略する。再生モードの処理の後、処理はステップＳ３１５に移行する。

ステップＳ３０７において、制御回路３０２は、ライブビューのための画像データを機器制御装置１００に送信する。このために、制御回路３０２は、撮像部３０４による繰り返しの撮像を開始させる。そして、制御回路３０２は、撮像部３０４を介して逐次に得られた画像データに対してライブビューのための画像処理を施す。その後、制御回路３０２は、ライブビューのための画像データを、第１通信回路３１２ａを介して機器制御装置１００に送信する。その後、処理はステップＳ３０８に移行する。

ステップＳ３０８において、制御回路３０２は、機器制御装置１００から制御指示が受信されたか否かを判定する。ステップＳ３０８において、制御指示が受信されたと判定されたときに、処理はステップＳ３０９に移行する。ステップＳ３０８において、制御指示が受信されていないと判定されたときに、処理はステップＳ３１１に移行する。

ステップＳ３０９において、制御回路３０２は、受信された制御指示の内容を解読する。ステップＳ３１０において、制御回路３０２は、解読した制御指示の内容に従って表示素子３０６にガイド表示を行う。その後、処理はステップＳ３１１に移行する。例えば、制御指示がズームを指示するものであった場合、制御回路３０２は、「ズームしないとダメですよ！」といったメッセージを表示素子３０６に表示させる。このメッセージは、例えば、操作機器３００において想定される制御指示に応じたメッセージの中から制御回路３０２によって選択される。一方、想定されない制御指示が受信された場合には、その都度、メッセージが生成されてもよい。また、ここではガイド表示としたが、ガイドは、対応する操作に応じた操作部材を発光させたり、音声によって行われたりしてもよい。

ステップＳ３１１において、制御回路３０２は、操作者による操作部３１０の操作があったか否かを判定する。ステップＳ３１１において、操作者による操作部３１０の操作があったと判定されたときに、処理はステップＳ３１２に移行する。ステップＳ３１１において、操作者による操作部３１０の操作がなかったと判定されたときに、処理はステップＳ３１５に移行する。なお、ここでは操作があったか否かを判定しているが、操作者が特定の操作部材に触れたか否かを判定するようにしてもよい。この場合、操作者の操作前に操作を無効にすることもできる。

ステップＳ３１２において、制御回路３０２は、操作者よりも優先度の高い人から禁止されている操作に対応した操作部材が操作されたか否かを判定する。例えば、カメラマンＣよりも優先度の高い監督Ｄからピント操作を禁止する旨の指示がされている状態において、カメラマンＣがピントに関する操作部材を操作したときには、禁止されている操作に対応した操作部材が操作されたと判定される。この他、カメラマンＣよりも優先度の高い監督Ｄからズーム操作を行う旨の指示がされている状態において、カメラマンＣがピントに関する操作部材を操作したとき、すなわち監督Ｄの指示内容とカメラマンＣの操作内容とが矛盾しているときには、禁止されている操作に対応した操作部材が操作されたと判定される。一方で、制御指示が受信されていないとき、カメラマンＣよりも上位の優先度を有する人の指示内容とカメラマンＣの操作内容とが矛盾していないとき又は制御指示がカメラマンＣよりも下位の優先度を有する人からのものであるときには、禁止されている操作に対応した操作部材が操作されていないと判定される。ステップＳ３１２において、操作者よりも優先度の高い人から禁止されている操作に対応した操作部材が操作されたと判定されたときには、処理はステップＳ３１３に移行する。ステップＳ３１２において、操作者よりも優先度の高い人から禁止されている操作に対応した操作部材が操作されていないと判定されたときには、処理はステップＳ３１４に移行する。

なお、この矛盾は、指示と指示との矛盾から、指示と応答との矛盾、指示と操作との矛盾等にも拡張して応用することができることは言うまでもない。また、指示と指示が矛盾する場合だけでなく、指示と応答とが矛盾している場合にも有効な技術となるため、指示と応答の内容の整合性（一致度）に従って操作機器の操作を決定するような操作制御部を具備すればよい。この時、各人の発言力や知識、経験、専門性などの発言のバックグランドや、その現場における役割などを優先度とか関係性のデータベースとして、状況に応じて、発話と操作の有効な連携を行って、制御を行うことが、それぞれの状況下における機器、装置の狙いの効果につなげることができる。これらは、各現場、場面において、操作される機器の種類や機能毎に、それを操作する時に使われる指示や応答の言葉や命令等をデータベース化したもので判定される。全く異なる機器や機能等を指示する言葉や命令は、全く別のカテゴリーとして分類しておけば、それがどのカテゴリーかを比較して、矛盾するか応答に整合性があるかどうかを簡単に判定することができる。また、カテゴリー分けして判定する以上に、積極的にこの指示とこの指示があった場合は、矛盾しているとかしていないとか、整合性が良いとか悪いとか、不都合が生じるか否かといった関係をテーブル参照できるようにしておいても良い。また、機器や機能は整合されていても操作の仕方に不整合が生じることがあるので、「ピントを合わせる」、「ピントをはずす」、といった操作そのものの関係や、「ゆっくり合わせる」、「さっと合わせる」といった、操作の仕方を表す言葉や命令も一覧にしておいて、各項目の整合性の善し悪しをデータベース化しておくことを行ってもよい。機器はこれを参照すれば、指示と応答の整合性が判断できる。辞書機能を検索して、それらが類義語か反対語かを判定する方法もある。「整合性」という切り口では、このようなデータベースによる判定、あるいは学習による判定方法が有効で、「一致度」という切り口では、各人の言い回しの違い（男女の声の質やなまりなど、あるいは多言語への言い換えの差異）などを特定の命令に置き換えて標準化するような技術を使えばよい。これも、各現場特有の言い回しやトレンドによって新しい言い回しが出てくるので、類似と矛盾を適宜学習させることでさらに有効になる。これらは広義には、いずれも「整合性の判断」であったり「一致度の判断」であったりする。また、操作の矛盾や整合性、一致度は、各機器の各操作部材にそれぞれ操作中、またはそれに先立つ操作を検出するセンサ類を付けておけば、どの機器のどの部材が、どのように判定されたかを判定して、先の指示や命令や応答と対比できる。このような、どの機器、どの操作部材、その操作のスピードや方向等も、データベース化して検索しやすくしてもよいし、フローチャート的に整合、不整合を判定して行ってもよい。

ステップＳ３１３において、制御回路３０２は、操作者による操作を無効にする。その後、処理はステップＳ３１５に移行する。このとき、操作者に対して操作が無効になったことが通知されてもよい。

ステップＳ３１４において、制御回路３０２は、操作者による操作に従った処理を行う。その後、処理はステップＳ３１５に移行する。例えば、操作がズームに関する操作であるときには、制御回路３０２は、変倍駆動回路３０４ｂを制御してズームレンズを駆動する。また、例えば、操作が撮影に関する操作であるときには、制御回路３０２は、撮像部３０４による撮像動作を実行して画像データ３０８ａを記録媒体２０６に記録する。

なお、ステップＳ３１２において操作者による操作があったと判定されたときに、操作者による操作の内容を機器制御装置１００に通知するようにすることにより、ステップＳ３１２−Ｓ３１４の処理を機器制御装置１００において行うこともできる。このために、どの機器のどの操作部がどのように操作されたかを記録部に記録したりエンコーダ等のセンサで検出できるようにしたりしておく。これは、エンコーダの生データ変化をリアルタイムで送信するような方法でも、エンコーダの生データ変化を要約した信号を外部に出力するような方法でもよい。

ステップＳ３１５において、制御回路３０２は、操作機器３００の動作を終了させるか否かを判定する。例えば、操作機器３００の操作部３１０に含まれる電源スイッチがオフされたとき又は動作を終了させるための制御指示が受信されたときに、操作機器３００の動作を終了させると判定される。ステップＳ３１５において、操作機器３００の動作を終了させないと判定されたときには、処理はステップＳ３０１に移行する。ステップＳ３１５において、操作機器３００の動作を終了させると判定されたときには、図１０の処理は終了する。

以上説明したように本実施形態によれば、操作機器を直接的に操作する操作者の他に操作機器の操作に関わる指示者が存在する場合において、操作者の操作の内容と指示者の指示の内容とに矛盾が生じているときには、操作者と指示者の専門性や立場等を考慮した優先度に従ってその後の処理の内容が決定される。また、複数の指示者が存在する場合であっても、指示者の間の優先度に従ってその後の処理の内容が決定される。このようにして本実施形態では、専門性等の高い人の意見を反映した適切な操作機器の操作がなされる。

ここで、第１の実施形態ではモデル撮影の現場への機器制御システム１の適用例を説明している。そして、前述した例では、「操作」の例として、操作機器３００としてのデジタルカメラにおけるズーム操作、ピント操作等を例示している。一方で、撮影の分野においては、複数の被写体を撮影する場合等もあり、このような場合、どの被写体を撮影するのかの指示を受ける状況もある。このとき、カメラマンＣは、操作機器３００としてのデジタルカメラを動かして指示された被写体が構図に収まるようにする。本実施形態における「操作に関する指示」は、このような操作機器３００の操作部材の操作が不要な指示も含むものである。

［第２の実施形態］
次に、本発明の第２の実施形態について説明する。なお、機器制御システムの構成は、第１の実施形態で説明した構成を適用することができる。したがって、機器制御システムの構成については説明を省略する。

第１の実施形態では、操作者の操作内容と指示者の指示内容との間に矛盾があった場合、指示者の間で指示内容に矛盾があった場合の処理を説明している。人の音声による意思伝達を補助するのに、音声による「応答」の例として、ここでは指示を把握した事を確実にする「復唱」を「応答」の一例として強調する。これは、いずれも音声を有効利用したユーザ補助ということで同様の考え方が適用できるが、さらに同じ言葉や内容を繰り返すという点で、人同士では作業そのものの連携をよくし、システム的には有効に使える音声の情報量を豊富にして確実性を増すという特徴がある。また、復唱とその前の音声指示で、指示と作業の関係を明確に判断でき、他の人のアドバイスもあった場合、それも参考にすることができる。つまり、複数の人のそれぞれの指示と、それを受けての作業の関係を判定する関係判定に従って、より正確な操作機器の操作が決定される。一方で、第１の実施形態で説明したモデル撮影の例では、監督ＤやプロデューサーＰの指示をカメラマンＣに復唱させることでカメラマンＣが指示を正しく理解しているかを確認することがよく行われる。第２の実施形態は、指示者からの指示に対して復唱があったときに操作者による操作機器３００の操作を許可する例である。

以下、本実施形態の機器制御システムの動作を説明する。図１１は、第２の実施形態における機器制御システム１の動作の概要を説明するための図である。図１１も、図５と同様、モデル撮影の現場に機器制御システム１を適用したときの例である。図１１の例では、操作者であるカメラマンＣの近傍にも収音機器２００ｃが配置されている。

図１１の例において、指示者である例えばプロデューサーＰはカメラマンＣに対して指示をする。図１１の例では、プロデューサーＰは、ピントを変えることを指示している。図１１のように、プロデューサーＰからピントを変えることが指示されたとき、この指示を含む音声Ｖ１が収音機器２００ｂにおいて収音される。収音機器２００ｂでは、取得された音声データからプロデューサーＰの音声データが弁別される。この音声データは、機器制御装置１００に送られる。

一方、プロデューサーＰからの指示を受けてカメラマンＣは、例えば「ピント操作します」といったようにプロデューサーＰからの指示を復唱する。このときの音声Ｖ３は収音機器２００ｃにおいて収音される。収音機器２００ｃでは、取得された音声データからカメラマンＣの音声データが弁別される。この音声データは、機器制御装置１００に送られる。

機器制御装置１００は、プロデューサーＰの指示を含む音声データに続いて、プロデューサーＰの指示の復唱を含むカメラマンＣの音声データが受信されたか否かを判定する。そして、プロデューサーＰの指示の復唱を含むカメラマンＣの音声データが受信されたときに、機器制御装置１００は、操作機器３００に対し、ピント操作を許可するように制御指示Ｉを送信する。このとき、カメラマンＣは、操作機器３００を操作してピントを変えることができる。一方、ピント操作が許可されている状態では、仮にカメラマンＣがピント操作以外の操作、例えばズーム操作をしようとしても、このズーム操作は無効化される。これにより、第２の実施形態においても、第１の実施形態と同様に専門性等が考慮された優先度の高い人の指示に従って操作機器３００の操作をすることができる。

図１２、図１３は、機器制御システム１の動作を示すフローチャートである。ここで、図１２は、機器制御装置１００の動作を示すフローチャートである。また、図１３は、操作機器３００の動作を示すフローチャートである。収音機器２００の動作は、操作者の音声も取得される以外は図９で示したものと同様である。したがって、説明を省略する。

まず、図１２を参照して機器制御装置１００の動作を説明する。図１２の動作は、主に制御回路１０２によって制御される。なお、図１２の動作のうち、図８と同様の動作については適宜に説明を省略又は簡略化する。

図１２のステップＳ４０１−Ｓ４０６までの処理は図８のステップＳ１０１−１０６と同様であるので説明を省略する。ステップＳ４０７において、制御回路１０２は、認識した内容に操作機器３００の操作に関する指示が含まれているか否かを判定する。ステップＳ４０７において、認識した内容に操作機器３００の操作に関する指示が含まれていないと判定されたときには、処理はステップＳ４１１に移行する。ステップＳ４０７において、認識した内容に操作機器３００の操作に関する指示が含まれていると判定されたときには、処理はステップＳ４０８に移行する。

ステップＳ４０８において、制御回路１０２は、認識した内容に操作機器３００の操作に関する指示に続くカメラマンＣからの復唱が含まれているか否かを判定する。すなわち、操作指示の内容に続くカメラマンＣからの音声が操作指示と同様の内容を示しているか否かを判定する。復唱は、コミュニケーションが確実に行われているかを確認する時の基本的な動作で、正確に聞き取れているか確認できるという基本的な効用の他、正しく理解できていることが相手に伝わり、安心感を与えられたり、周りのメンバー、スタッフにこれからの作業を共有でき、相互確認で失敗をなくしたりできる。また、音声を判定する際にも、間が生まれるので作業に時間的余裕ができるという利点がある他、区切ったり、別の言い方に変えたりしながら確認したい部分を明確にしての復唱もあるので、さらに音声を判定する時の情報量が増加する。単に繰り返すだけでも、聞き取りのにくい発音を、別の方法で判定しなおすと言った方法が取れる。図１１の例のように、プロデューサーＰがピントを変えることを指示しているときに、カメラマンＣがピントを変える旨の音声を発したときには、復唱が含まれていると判定される。一方、カメラマンＣの音声が無い場合又はプロデューサーＰの指示内容とカメラマンＣの復唱の内容とが一致していないときには、復唱が含まれていないと判定される。ステップＳ４０８において、復唱が含まれていないと判定されたときには、処理はステップＳ４０９に移行する。ステップＳ４０８において、復唱が含まれていると判定されたときには、処理はステップＳ４１０に移行する。このような分岐判断は、復唱の持つ様々な効用を反映、考慮してさらに精度を上げることができる。この判断精度のみならず、トータルとして作業性を改善する効能がある。つまり、作業する機器（通信している相手機器）を扱う人の復唱を判定すれば、その前に類似の言葉で指示を出した人との関係が判定できる。先に発話した方が、特定の指示を行う人であり、機器を扱う方が実際の操作を行う人である。このようにして、音声を分析するのみならず、時間的な差異や指示と実施の間に正しいコミュニケーションが確実に行われているかが確認でき、指示と復唱の間が生まれた時間を使って指示内容を検索したり判定したりする際の絞り込み等の精度を上げることができる。また、区切ったり、別の言い方に変えたりしながら確認したい部分を明確にしての復唱もある。この場合、音声判定時の情報量が増加するので、それらを総合的に判定することもできる。単に繰り返すだけでも、聞き取りのにくい発音を、別の方法で判定しなおすと言った方法が取れる。正しく理解できているかどうかが、指示者に伝わり、周りのメンバーにも伝わるので、指示と一致しない時には、それらの声が発せられるので、これを参考にして判断を行うようにしてもよい。このように、複数の人のそれぞれの指示と、それを受けての作業の関係を判定する関係判定に従って正確な操作機器の操作が決定される。

このように重要な復唱であるから、ステップＳ４０９において、制御回路１０２は、復唱を促す旨の制御指示を、通信回路１１０を介して操作機器３００に送信する。その後、処理はステップＳ４１１に移行する。復唱を促す技術を採用することで、作業の連携の正確性を向上させることが可能となる。通信相手機器にマイク等を設けて、収音性を高めてもよい。この場合、指向性などの制御やノイズリダクションの併用によって、さらに音声判定の確実さを向上させることができる。

ステップＳ４１０において、制御回路１０２は、指示の内容に従って操作機器３００の操作を許可するための制御指示を生成する。そして、制御回路１０２は、生成した制御指示を、通信回路１１０を介して操作機器３００に送信する。その後、処理はステップＳ４１１に移行する。

ステップＳ４１１において、制御回路１０２は、機器制御装置１００の動作を終了させるか否かを判定する。ステップＳ４１１において、機器制御装置１００の動作を終了させないと判定されたときには、処理はステップＳ４０１に移行する。ステップＳ４１１において、機器制御装置１００の動作を終了させると判定されたときには、図１２の処理は終了する。図８と同様に、機器制御装置１００と、収音機器２００と、操作機器３００との通信が確立しているときには、機器制御装置１００の動作の終了時に、収音機器２００及び操作機器３００の動作を終了させるための制御指示が収音機器２００及び操作機器３００のそれぞれに送信される。

次に、図１３を参照して操作機器３００の動作を説明する。図１３の動作は、主に制御回路３０２によって制御される。なお、図１３の動作のうち、図１０と同様の動作については適宜に説明を省略又は簡略化する。

図１３のステップＳ５０１−Ｓ５０９までの処理は図１０のステップＳ３０１−３０９と同様であるので説明を省略する。ステップＳ５１０において、制御回路３０２は、解読した制御指示に復唱を促す旨の制御指示が含まれているか否かを判定する。復唱が促される事によって、システムとして作業性を確実にすることができ、個々のメンバー間で、正確に情報が伝達できているか確認できるという基本的な効用の他、正しく理解できていることが相手に伝わり、安心感を与えられたり、周りのスタッフにこれからの作業を共有でき、相互確認で失敗をなくしたりできる。また、音声を判定する際にも、間が生まれるので作業に時間的余裕ができるという利点がシステム設計上もある他、区切ったり、別の言い方に変えたりしながら確認したい部分を明確にしての復唱もあるので、さらに音声を判定する時の情報量が増加する。このため、システムとして状況を総合的に判定、確認することができる。単に繰り返すだけでも、聞き取りのにくい発音を、別の方法で判定しなおすと言った方法が取れる。したがって、この機器、装置が行う動作も、確実性を増した環境下で実行されるので、失敗が起こることがない。復唱を検出するマイクをこの機器、装置に内蔵して、復唱の判定を高精度化してもよい。復唱を検出して、通信で送れば、誰がどう発話したかの確実性も増す。

ステップＳ５１０において、解読した制御指示に復唱を促す旨の制御指示が含まれていると判定されたときには、処理はステップＳ５１１に移行する。ステップＳ５１０において、解読した制御指示に復唱を促す旨の制御指示が含まれていないと判定されたときには、処理はステップＳ５１２に移行する。

ステップＳ５１１において、制御回路３０２は、表示素子３０６に復唱を促す旨の表示を表示させる。その後、処理はステップＳ５１２に移行する。例えば、制御回路３０２は、「プロデューサーの指示を復唱して下さい。」といったメッセージを表示素子３０６に表示させる。このメッセージは、例えば、操作機器３００において想定される制御指示に応じたメッセージの中から制御回路３０２によって選択される。一方、想定されない制御指示が受信された場合には、その都度、メッセージが生成されてもよい。このような復唱を促す旨の表示により、操作者は、指示者からの指示を復唱しなければならないことに気付くことができる。なお、ここでは復唱を促す表示としたが、音声等で復唱が促されてもよい。

ステップＳ５１２において、制御回路３０２は、操作者による操作部３１０の操作があったか否かを判定する。ステップＳ５１２において、操作者による操作部３１０の操作があったと判定されたときに、処理はステップＳ５１３に移行する。ステップＳ５１２において、操作者による操作部３１０の操作がなかったと判定されたときに、処理はステップＳ５１６に移行する。なお、ここでは操作があったか否かを判定しているが、操作者が特定の操作部材に触れたか否かを判定するようにしてもよい。このように、複数の人による前記操作機器の操作に関する応答の内容が矛盾しているかどうかを復唱等の応答で判定することができる。

ステップＳ５１３において、制御回路３０２は、操作が許可されているか否かを判定する。解読した制御指示に特定の操作を許可する旨の制御指示が含まれており、かつ、操作者によって操作された操作部材はその特定の操作に関するものであるときには操作が許可されていると判定される。例えば、プロデューサーＰによるピント操作をする旨の指示に対してカメラマンＣがピント操作をする旨を復唱したときには、ピント操作を許可する旨の制御指示が操作機器３００において受信される。このとき、カメラマンＣがピントに関する操作部材を操作したときには、操作が許可されていると判定される。また、指示者による指示がなされていない場合、すなわち制御指示が受信されていないときも操作が許可されていると判定される。一方、復唱がないとき、又は解読した制御指示に特定の操作を許可する旨の制御指示が含まれており、かつ、操作者によって操作された操作部材はその特定の操作に関するものでないときには、操作が許可されていないと判定される。例えば、プロデューサーＰによるピント操作をする旨の指示に対してカメラマンＣがピント操作をする旨を復唱したにも関わらずに、カメラマンＣがピント操作以外の操作をしたときには、操作が許可されていないと判定される。ステップＳ５１３において、操作が許可されていると判定されたときには、処理はステップＳ５１４に移行する。ステップＳ５１３において、操作が許可されていないと判定されたときには、処理はステップＳ５１５に移行する。

ステップＳ５１４において、制御回路３０２は、操作者による操作に従った処理を行う。その後、処理はステップＳ５１６に移行する。例えば、操作がピントに関する操作であるときには、制御回路３０２は、合焦駆動回路３０４ｃを制御してフォーカスレンズを駆動する。また、例えば、操作が撮影に関する操作であるときには、制御回路３０２は、撮像部３０４による撮像動作を実行して画像データ３０８ａを記録媒体２０６に記録する。

ステップＳ５１５において、制御回路３０２は、操作者による操作を無効にする。その後、処理はステップＳ５１６に移行する。このとき、操作者に対して操作が無効になったことが通知されてもよい。

なお、ステップＳ５１２において操作者による操作があったと判定されたときに、操作者による操作の内容を機器制御装置１００に通知するようにすることにより、ステップＳ５１２−Ｓ５１５の処理を機器制御装置１００において行うこともできる。

ステップＳ５１６において、制御回路３０２は、操作機器３００の動作を終了させるか否かを判定する。ステップＳ５１６において、操作機器３００の動作を終了させないと判定されたときには、処理はステップＳ５０１に移行する。ステップＳ５１６において、操作機器３００の動作を終了させると判定されたときには、図１３の処理は終了する。

以上説明したように本実施形態によれば、操作機器を直接的に操作する操作者の復唱に応じて操作機器の操作が許可される。このようにして本実施形態においても、第１の実施形態と同様に専門性等の高い人の意見を反映した適切な操作機器の操作がなされる。

ここで、第１の実施形態における機器制御システム１の動作と第２の実施形態における機器制御システム１の動作とを組み合わせることもできる。例えば、複数の指示者の指示が競合したときには第１の実施形態で説明した優先度データベースに基づいて優先すべき指示が決定され、この決定された指示に対して復唱があったときに操作機器３００の操作を許可する旨の制御信号が送信されるような形態が考えられる。

［第３の実施形態］
次に、本発明の第３の実施形態について説明する。なお、機器制御システムの構成は、基本的には第１の実施形態で説明した構成を適用することができる。したがって、機器制御システムの構成については説明を省略する。

前述した第１の実施形態及び第２の実施形態では、モデル撮影の現場に機器制御システム１を適用したときの例を挙げて説明している。これに対し、第３の実施形態は、手術の現場に機器制御システム１を適用したときの例である。図１４は、第３の実施形態における機器制御システム１の動作の概要を説明するための図である。図１４の例では、執刀医（操作者）Ｏが操作機器３００である処置具の操作部３１０を操作して患者Ｐを処置している。一方、麻酔科医（指示者Ａ）ＩＡは、腹腔鏡４００を患者Ｐに挿入している。腹腔鏡４００で撮像された画像は、収音機器２００に取り付けられた表示素子２１２に表示される。麻酔科医は、この表示素子１０６に表示されている画像を見て患者Ｐの状態をモニタしている。また、看護師（指示者Ｂ）ＩＢは、必要に応じて患部にガーゼ（綿）を当てる等の補助を行う。執刀医、麻酔科医、看護師の発言は、例えば表示素子１０６に据え付けられた収音機器２００によって収音される。そして、収音機器２００で収音された音声データは、例えばネットワークを介してサーバ内に設けられた機器制御装置１００に送信される。この収音機器は、１００、３００、４００の各装置、機器に内蔵されてもよい。

図１４のような手術の現場では、モデル撮影の現場とは異なり、状況が時々刻々に変化し易い。したがって、緊急性等の操作機器３００の使用時の状況に応じて指示の優先度が割り当てられることが望ましい。図１５は、第３の実施形態における優先度データベースの一例を示す図である。図１５の優先度データベースは、操作機器３００の操作に関わる人（図１４の例では、操作者、指示者Ａ、指示者Ｂの３人）の名前（ＩＤ等でもよい）と、それぞれの名前毎に割り当てられた優先度とを状況毎に対応付けたデータベースである。すなわち、本実施形態では、状況が変わると優先度が変わる。

なお、図１５の優先度データベースに記憶される優先度は、操作機器３００の操作に関わる人の間の合意形成によって設定されてもよい。また、優先度は、状況毎の固定値であってもよいが、例えば声の切迫さが高いほどに優先度を大きくするような変更や声の大きさが大きいほどに優先度を大きくするような変更がされてもよい。さらに、状況に応じた優先度と、図７で示した操作の専門性に応じた優先度とは組み合わせて用いられてもよい。

優先度データベースを用いた機器制御システム１の動作としては、図８、図９、図１０で説明した動作を適用することができる。例えば、図１４の例では、執刀医は、操作機器３００である処置具を使用して患者Ｐの患部を切除しようと操作している。一方、表示素子２１２の画像をモニタしている麻酔科医は、患部の出血が多いのでまず止血をするように指示している。出血のある状況では出血を止めてから切除が行われたほうがよいので、執刀医よりも麻酔科医のほうの優先度が高く設定されている。したがって、麻酔科医の「まず止血！」という指示が優先されて執刀医による処置具の操作は禁止される。現在の状況がどのような状況であるのかの判断は、例えば腹腔鏡４００で撮像された画像を機器制御装置１００で解析することで行われる。すなわち、画像から患部における出血の量が多いと判断されたときには出血状況であるとして、機器制御装置１００は、出血状況用の優先度に従って判定を行う。

以上説明したように本実施形態によれば、状況に応じた優先度を用いることで状況が時々刻々に変化し得る場合であっても専門性等の高い人の意見を反映した適切な操作機器の操作がなされる。

以上実施形態に基づいて本発明を説明したが、本発明は上述した実施形態に限定されるものではなく、本発明の要旨の範囲内で種々の変形や応用が可能なことは勿論である。例えば、本実施形態の技術は、操作機器の操作に複数の人から成るチームが関わる各種のシステムにおいて適用され得る。このため、前述したような撮影の分野及び医療分野以外の他の各種の分野においても本実施形態の技術が適用され得る。

また、前述した実施形態では、指示者は、音声によって操作者に指示を与えている。実際には指示者による指示は音声に限るものではない。例えば所定の操作部材を操作することで操作者に対して指示が与えられてもよいし、メッセージ等を表示させることによって操作者に対して指示が与えられてもよい。この他、指示者が例えば遠隔操作によって操作機器を操作することで指示を与える場合であっても本実施形態の技術は適用され得る。この場合、例えば操作者よりも高い優先度の人の操作があったときにはそちらの操作が有効になる。特に騒音環境下では、音声以外のコミュニケーションが活用されることが多いが、ゼスチャーや手話、顔の表情、キーボード打ち込みなどでも同様の応答判定は可能である。

また、前述の各動作フローチャートの説明において、便宜上「まず」、「次に」等を用いて動作を説明しているが、この順で動作を実施することが必須であることを意味するものではない。

また、上述した実施形態による各処理は、コンピュータである制御回路１０２に実行させることができるプログラムとして記憶させておくこともできる。この他、磁気ディスク、光ディスク、半導体メモリ等の外部記憶装置の記録媒体に格納して配布することができる。そして、制御回路１０２は、この外部記憶装置の記録媒体に記録されたプログラムを読み込み、この読み込んだプログラムによって動作が制御されることにより、上述した処理を実行することができる。

本発明は、上記実施形態に限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で種々に変形することが可能である。また、各実施形態は適宜組み合わせて実施してもよく、その場合組み合わせた効果が得られる。更に、上記実施形態には種々の発明が含まれており、開示される複数の構成要件から選択された組み合わせにより種々の発明が抽出され得る。例えば、実施形態に示される全構成要件からいくつかの構成要件が削除されても、課題が解決でき、効果が得られる場合には、この構成要件が削除された構成が発明として抽出され得る。

１ 機器制御システム、１００ 機器制御装置、１０２ 制御回路、１０２ａ 通信制御部、１０２ｂ データベース処理部、１０２ｃ 音声認識部、１０２ｄ 操作制御部、１０４ 記録媒体、１０４ａ データベース、１０６ 表示素子、１０８ 操作部、１１０ 通信回路、１１０ａ 第１通信回路、１１０ｂ 第２通信回路、２００，２００ａ，２００ｂ，２００ｃ 収音機器、２０２ 制御回路、２０２ａ 音声処理部、２０２ｂ 音声弁別部、２０２ｃ 記録制御部、２０２ｄ 通信制御部、２０４ 収音部、２０６ 記録媒体、２０６ｂ データベース、２０８ 操作部、２１０ 第１通信回路、２１２ 表示素子、３００ 操作機器、３０２ 制御回路、３０４ 撮像部、３０４ａ 光学系、３０４ｂ 変倍駆動回路、３０４ｃ 合焦駆動回路、３０４ｄ 絞り駆動回路、３０４ｅ 撮像素子、３０６ 表示素子、３０８ 記録媒体、３１０ 操作部、３１２ 通信回路、３１２ａ 第１通信回路、３１２ｂ 第２通信回路、４００ 腹腔鏡。

Claims (11)

1. 複数の人が操作に関わる操作機器を制御する機器制御装置であって、
   前記複数の人による前記操作機器の操作に関する指示又は応答の内の整合性に従って、前記複数の人のそれぞれに予め定められた優先度に従って優先すべき前記操作機器の操作を決定する操作制御部を具備する機器制御装置。
2. 前記複数の人のそれぞれの指示と指示を受けての作業との関係を判定する関係判定部をさらに具備し、
   前記優先度は、前記複数の人のそれぞれの関係の判定結果に従って設定される請求項１に記載の機器制御装置。
3. 前記優先度は、前記複数の人のそれぞれの専門性又は立場に応じて設定される請求項１に記載の機器制御装置。
4. 前記優先度は、前記操作機器の操作内容毎に前記複数の人のそれぞれに予め定められている請求項１に記載の機器制御装置。
5. 前記優先度は、前記操作機器の使用時に状況毎に前記複数の人のそれぞれに予め定められている請求項１に記載の機器制御装置。
6. 前記複数の人は、前記操作機器を間接的に操作する少なくとも２人の指示者を含み、
   前記操作制御部は、複数の前記指示者による前記操作機器の操作に関する指示の内容が矛盾しているときに、前記複数の人のそれぞれに予め定められた優先度に従って優先すべき前記操作機器の操作を決定する請求項１乃至５の何れか１項に記載の機器制御装置。
7. 前記複数の人は、前記操作機器を間接的に操作する少なくとも１人の指示者を含み、
   前記指示者による前記操作機器の操作に関する指示は音声による指示である請求項１乃至５の何れか１項に記載の機器制御装置。
8. 前記複数の人は、前記操作機器を直接的に操作する操作者を含み、
   前記操作制御部は、前記指示者の音声による前記操作機器の操作に関する指示に続いて前記操作者による復唱があったときに、前記指示者による前記操作機器の操作に関する指示を優先すべき前記操作機器の操作と決定する請求項７に記載の機器制御装置。
9. 前記複数の人は、前記操作機器を直接的に操作する操作者と、前記操作機器を間接的に操作する少なくとも１人の指示者とを含み、
   前記操作制御部は、前記操作者による前記操作機器の操作と前記指示者による前記操作機器の操作に関する指示の内容とが矛盾しており、かつ、前記操作者の優先度よりも前記指示者の優先度の方が高いときには、前記操作者による前記操作機器の操作を無効にし、前記操作者による前記操作機器の操作と前記指示者による前記操作機器の操作に関する指示の内容とが矛盾していない又は前記指示者の優先度よりも前記操作者の優先度の方が高いときには、前記操作者による前記操作機器の操作を許可する請求項１乃至５の何れか１項に記載の機器制御装置。
10. 前記複数の人は、前記操作機器を直接的に操作する操作者と、前記操作機器を間接的に操作する少なくとも１人の指示者とを含み、
    前記操作制御部は、前記指示者による操作機器の操作に関する指示を前記操作者に対してガイドするように前記操作機器に対して指示をする請求項１乃至５の何れか１項に記載の機器制御装置。
11. 複数の人が操作に関わる操作機器を制御する機器制御方法であって、
    前記複数の人による前記操作機器の操作に関する指示又は応答の内の整合性を判定することと、
    前記整合性の判定の結果と前記複数の人のそれぞれに予め定められた優先度に従って優先すべき前記操作機器の操作を決定することと、
    を具備する機器制御方法。