JP2021526743A - 撮像制御方法、装置及び制御装置、撮像装置 - Google Patents

撮像制御方法、装置及び制御装置、撮像装置 Download PDF

Info

Publication number
JP2021526743A
JP2021526743A JP2019544007A JP2019544007A JP2021526743A JP 2021526743 A JP2021526743 A JP 2021526743A JP 2019544007 A JP2019544007 A JP 2019544007A JP 2019544007 A JP2019544007 A JP 2019544007A JP 2021526743 A JP2021526743 A JP 2021526743A
Authority
JP
Japan
Prior art keywords
information
control
voice
image pickup
imaging
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2019544007A
Other languages
English (en)
Other versions
JP6949974B2 (ja
Inventor
ウー、ダン
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
SZ DJI Technology Co Ltd
Original Assignee
SZ DJI Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by SZ DJI Technology Co Ltd filed Critical SZ DJI Technology Co Ltd
Publication of JP2021526743A publication Critical patent/JP2021526743A/ja
Application granted granted Critical
Publication of JP6949974B2 publication Critical patent/JP6949974B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/66—Remote control of cameras or camera parts, e.g. by remote control devices
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64C—AEROPLANES; HELICOPTERS
    • B64C39/00—Aircraft not otherwise provided for
    • B64C39/02—Aircraft not otherwise provided for characterised by special use
    • B64C39/024—Aircraft not otherwise provided for characterised by special use of the remote controlled vehicle type, i.e. RPV
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16—Sound input; Sound output
    • G06F3/167—Audio in a user interface, e.g. using voice commands for navigating, audio feedback
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/26—Speech to text systems
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/695—Control of camera direction for changing a field of view, e.g. pan, tilt or based on tracking of objects
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64U—UNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
    • B64U2101/00—UAVs specially adapted for particular uses or applications
    • B64U2101/30—UAVs specially adapted for particular uses or applications for imaging, photography or videography
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
    • G10L2015/223—Execution procedure of a spoken command

Abstract

【課題】音声に基づいて撮像装置への自動化制御を実現する。【解決手段】撮像制御方法が、撮像装置に接続された後に前記撮像装置を制御するための制御装置に適用され、現在接続されている撮像装置の装置識別子を取得すること（Ｓ２０１）と、音声情報を収集した場合、装置識別子に基づいて音声情報に含まれるコンテンツデータに対して情報照合を行うこと（Ｓ２０２）と、情報照合の結果として、コンテンツデータが装置識別子にマッチングするマッチング情報を含むと、音声情報を分析して制御情報を識別すること（Ｓ２０３）と、制御情報に基づいて、映像を撮像するように撮像装置を制御するための制御コマンドを生成し、かつ前記制御コマンドを現在接続されている撮像装置に送信すること（Ｓ２０４）と、を含む。【選択図】図２

Description

本発明は、電子技術分野に関し、特に、撮像制御方法、装置及び制御装置、撮像装置に関する。
科学技術の進歩に伴い、電子技術と撮像技術が発展し続き、様々な性能があるカメラが次々に出現し、より高品質な映像を撮像することができるようになっていると同時に、カメラに対して撮像を補助するための様々な装置が開発されており、例えば、カメラを回転させるように駆動し、複数の方向にも撮像できる雲台と、カメラを搭載して移動することができ、それにより空撮、監視等のタスクを実行する無人航空機等が挙げられる。ユーザによるカメラのような、ユーザが所望の画像を撮像することを支援するために利用できる撮像装置への自動的な制御をどのようにより容易にするかも研究のホットな話題である。
本発明の実施例は、音声に基づいて撮像装置への自動化制御を実現することができる撮像制御方法、装置及び制御装置を提供する。
一態様では、本発明の実施例は、撮像制御方法を提供し、前記方法は、撮像装置に接続した後に前記撮像装置を制御するための制御装置に適用され、
現在接続されている撮像装置の装置識別子を取得することと、
音声情報を収集した場合、前記装置識別子に基づいて前記音声情報に含まれるコンテンツデータに対して情報照合を行うことと、
情報照合の結果として、前記コンテンツデータが前記装置識別子にマッチングするマッチング情報を含むと、前記音声情報を分析して制御情報を識別することと、
前記制御情報に基づいて制御コマンドを生成し、映像を撮像するように前記撮像装置を制御するための前記制御コマンドを現在接続されている撮像装置に送信することと、を含む。
一態様では、本発明の実施例はさらに、他の撮像制御方法を提供し、前記方法は、撮像装置に適用され、
現在の環境における音声情報を収集することと、
音声情報を収集した場合、本撮像装置に設定された装置識別子に基づいて前記音声情報に含まれるコンテンツデータに対して情報照合を行うことと、
情報照合の結果として、前記コンテンツデータが前記装置識別子にマッチングするマッチング情報を含むと、前記音声情報を分析して制御情報を識別し、
前記制御情報に基づいて、映像を撮像するように前記撮像装置を制御するための制御コマンドを生成することと、を含む。
それに応じて、本発明の実施例はさらに、撮像制御装置を提供し、前記撮像制御装置は、撮像装置に接続された後に前記撮像装置を制御するための制御装置に設置され、前記装置は、
撮像装置の装置識別子を取得するための取得モジュールと、
音声情報を収集した場合、前記装置識別子に基づいて前記音声情報に含まれるコンテンツデータに対して情報照合を行うための照合モジュールと、
情報照合の結果として、前記コンテンツデータが前記装置識別子にマッチングするマッチング情報を含むと、前記音声情報を分析して制御情報を識別するための処理モジュールと、
前記制御情報に基づいて映像を撮像するように前記撮像装置を制御するための制御コマンドを生成するための通信モジュールと、を含む。
それに応じて、本発明の実施例はさらに、制御装置を提供し、前記制御装置は、撮像装置に接続された後に前記撮像装置を制御するために用いられ、
記憶装置、プロセッサ及び通信インタフェースを含み、
前記記憶装置は、プログラムコマンドを記憶するために用いられ、
前記プロセッサは、前記記憶装置に記憶されたプログラムコマンドを呼び出し、現在接続されている撮像装置の装置識別子を取得し、音声情報を収集すると、前記装置識別子に基づいて前記音声情報に含まれるコンテンツデータに情報照合を行い、情報照合の結果として、前記コンテンツデータが前記装置識別子にマッチングするマッチング情報を含むと、前記音声情報を分析して制御情報を識別し、前記制御情報に基づいて制御コマンドを生成し、かつ前記通信モジュールにより、映像を撮像するように前記撮像装置を制御するための前記制御コマンドを現在接続されている撮像装置に送信するために用いられる。
それに応じて、本発明の実施例はさらに、撮像装置を提供し、それは、
記憶装置及びプロセッサを含み、
前記記憶装置は、プログラムコマンドを記憶するために用いられ、
前記プロセッサは、前記記憶装置に記憶されたプログラムコマンドを呼び出し、現在環境における音声情報を収集し、音声情報を収集すると、本撮像装置に設定された装置識別子に基づいて前記音声情報に含まれるコンテンツデータに情報照合を行い、情報照合の結果として、前記コンテンツデータが前記装置識別子にマッチングするマッチング情報を含むと、前記音声情報を分析して制御情報を識別し、前記制御情報に基づいて、映像を撮像するように前記撮像装置を制御するための制御コマンドを生成するために用いられる。
それに応じて、本発明の実施例はさらに、コンピュータに読み込まれて実行されると、上記撮像制御方法が実行されるコンピュータプログラム製品を提供する。
本願は、ユーザの音声が撮像装置の制御に用いられるか否かを全自動で分析でき、かつユーザの音声が撮像装置の制御に用いられると判定した場合、さらにユーザの音声に基づいて撮像装置の撮像を制御することができ、ユーザの撮像制御の自動化、インテリジェント化への需要をよりよく満たす。
本発明の実施例又は従来技術における技術的解決手段をより明確に説明するために、以下、実施例に必要な図面を簡単に説明するが、明らかに、以下の記載における図面は本発明のいくつかの実施例に過ぎず、当業者であれば、創造的な労働をせずこれらの図面に基づいて他の図面を得ることができる。
本発明の実施例に係る撮像制御システムの構造の概略図である。 本発明の実施例に係る撮像制御方法のフローチャートである。 本発明の実施例に係る制御装置に表示されるユーザインタフェースの概略図である。 本発明の実施例に係る撮像制御の場合の概略図である。 本発明の実施例に係る別の撮像制御の場合の概略図である。 本発明の実施例に係る別の撮像制御方法のフローチャートである。 本発明の実施例に係る撮像制御装置の構造の概略図である。 本発明の実施例に係る制御装置の構造の概略図である。 本発明の実施例に係る撮像装置の構造の概略図である。
本発明の実施例に言及される撮像装置は、主にユーザが様々な所望の映像を撮像することを支援することができる装置を指し、これらの撮像装置は、例えば、カメラ、カメラと雲台とで構成される装置、無人航空機や知能移動ロボット等の移動プラットフォームとカメラとで構成された装置であり得る。
図１に示すのは、本発明の実施例に係る撮像制御システムの構造の概略図であり、図１に示すシステムにおいて、撮像装置１０１は、制御装置１０２と有線又は無線の接続を確立して、例えばブルートゥース（登録商標）モジュール、ＷｉＦｉモジュール、無線周波数モジュールにより通信接続を確立することができる。制御装置１０２は、スマートフォン、タブレットコンピュータ、スマート着用型装置等のようなスマート端末であってもよく、ユーザは、制御装置１０２を操作することにより撮像装置１０１を制御する。図１において、撮像装置１０１は例示的なものにすぎず、該撮像装置１０１は、カメラと雲台とを組み合わせた装置であってもよいし、無人航空機と、カメラとを組み合わせた装置であってもよい。
撮像装置１０１と制御装置１０２がＷｉ−Ｆｉ、又はブルートゥース（登録商標）、又はハードウェアインタフェース等を介して接続されると、撮像装置１０１は、ユーザが所望する任意の位置に配置するか、又はユーザが所望する任意の位置に飛行させてもよい。ユーザは、すでに撮像装置１０１に接続された制御装置１０２を、ユーザの音声を収集できる任意の位置に配置してもよい。一実施例において、ユーザは、制御装置１０２上でユーザ操作を行うことにより、制御装置１０２で撮像装置１０１を制御することができ、例えば、映像を撮像するようにカメラを制御することができ、異なる方向での映像を撮像するか又はある対象をフォロー撮影するように撮像装置１０１における雲台の回転を制御することができ、さらに撮像装置１０１における無人航空機を、飛行させ、かつカメラにより異なる環境映像を撮像するか又はある対象をフォロー撮影するように制御することができる。
一実施例において、ユーザは、さらに音声情報を発して撮像装置１０１を制御することができ、制御装置１０２に撮像装置１０１が接続されると、制御装置１０２は、撮像装置１０１の装置識別子を取得し、該装置識別子は、該制御装置１０２が識別可能ないくつかの番号等の識別子であってもよい。該装置識別子は、該撮像装置１０１の一般的な名称、例えば製品名等であってもよい。制御装置１０２は、撮像装置１０１の装置識別子を自動的に受信するか又は能動的に取得してもよく、接続を確立した後に、ユーザによって現在接続されている撮像装置１０１に対して装置識別子を設定してもよい。ユーザは、必要に応じて、例えば現在、描画、家事、演奏又はスポーツ等の活動を行う場合、両手で制御装置１０２上で操作することを必要とせず、音声情報を発信することによって撮像装置１０１への制御を完了することができる。
制御装置１０２と撮像装置１０１との間の通信接続が確立された後に、ユーザは、音声信号を発することができ、制御装置１０２は、音声信号を取得して音声情報を得た後、現在接続されている撮像装置１０１の装置識別子に基づいて、該音声情報が制御情報であるか否かを自動的に判断し、該音声情報に装置識別子を含まない場合、該音声情報が通常のユーザのコミュニケーション情報等であり、撮像装置１０１を制御するための情報ではないと見なすことができ、無視すればよい。該音声情報に現在接続されている装置の装置識別子を含む場合、該音声情報を制御音声として、該音声情報を分析してさらに制御情報を識別することにより、撮像装置１０１を制御する。例えば、「ＯＳＭＯ」と名付けられたある撮像装置１０１に対して、ユーザは、「ＯＳＭＯ、撮像して」を発することができ、制御装置１０２は、収集されたユーザの音声情報への音声分析により、音声中に装置識別子「ＯＳＭＯ」のマッチング情報を含むと判定した場合に、さらに音声情報を分析して制御情報「撮像して」を識別することを必要とし、「撮像して」に基づいて制御コマンドを生成して撮像装置１０１を撮像を開始するように制御し、また、例えば、「Ｍａｖｉｃ」と名付けられたある撮像装置１０１に対して、ユーザは、「Ｍａｖｉｃ、離陸して、私を撮像して」という音声を発することができ、制御装置１０２は、分析により「Ｍａｖｉｃ」というマッチング情報が存在すると判定した後に、無人航空機を離陸させて、音声コマンドを発したユーザをフォローして映像を撮像するように制御するための制御情報を発信することができる。
具体的には、さらに図２を参照すると、本発明の実施例に係る撮像制御方法のフローチャートであり、本発明の実施例に係る方法は、図１に示すようなシステムに適用することができ、具体的には制御装置によって実行され、該制御装置は、スマートフォン、タブレットコンピュータ、スマート着用型装置等の無線伝送機能付きの、音声情報を収集できるスマート端末であってもよい。該制御装置に対応するアプリケーションＡＰＰをインストールし、さらに制御装置への手動制御及び音声制御を実現することができる。
本発明の実施例に係る方法は、ユーザが、自動検索又は手動による接続の方式で制御装置と撮像装置との接続を確立し、接続が確立された後、制御装置によりＳ２０１で現在接続されている撮像装置の装置識別子を取得することを含み、該装置識別子は制御装置に現在接続されている撮像装置をマークするために用いられる。制御装置に２つ又は複数の撮像装置が接続されている場合、それぞれ各撮像装置の装置識別子を取得することができ、この場合、異なる撮像装置の装置識別子が異なるため、制御装置は、装置識別子に基づいて異なる撮像装置を制御することができる。これらの装置識別子は、接続が確立された後に、ユーザによって設定されてもよいし、接続が確立された撮像装置により自動的に報告されてもよいし、撮像装置のハードウェア識別子等の他の固有の識別子を受信した後に自動的に履歴データに基づいて設定されてもよく、例えば、型番がＸＹＺの撮像装置が制御装置に接続された後、制御装置は、該撮像装置の装置識別子を「ＸＹＺ」としてインテリジェントに記録するか、又は、ユーザが該ＸＹＺ型番の撮像装置に対して名付けた「カメラ」を装置識別子として受信するか、又は自動的に履歴データ中の型番ＸＹＺの撮像装置に設定した「カメラ」を、今回、型番ＸＹＺの該撮像装置を接続するための装置識別子とする。本発明の実施例において、装置識別子は、主にユーザが記憶可能で、かつ比較的に正確な言語で表現できる識別子であり、覚えにくい識別子は撮像装置の装置識別子としては好ましくない。ユーザは、自分のニーズに応じて様々なタイプの撮像装置に対して名付けることにより、これらの撮像装置の装置識別子を確定することができ、一実施例において、装置識別子は、例えば、上述した製品名「ＯＳＭＯ」又は「Ｍａｖｉｃ」であってもよく、さらに「張三」、「李四」等の名付け識別子で撮像装置の装置識別子を設定することができる。
装置識別子を取得すると、制御装置は、存在する可能性のある撮像装置への制御操作をリアルタイム又は定期的に監視し、該制御操作は、制御装置で提供された画面上でユーザによる手動操作であってもよいし、音声操作であってもよい。一実施例において、図３に示すように、制御装置３００に表示するユーザインタフェースは、第１の制御インタフェース３０１と第２の制御インタフェース３０２とを含み、第１の制御インタフェース３０１はボタン領域３０１２を含むことができ、ボタン領域３０１２の周辺に複数の方向仮想ボタンが設置され、ボタン領域３０１２の中間位置に撮像を確定するボタンが設置され、これらの方向仮想ボタンにより、撮像装置に含まれる雲台の回転方向を制御して、それにより制御装置３００により制御される多方位撮像を実現することができる。第２の制御インタフェース３０２は音声ボタン３０２１を含むことができ、ユーザが該音声ボタン３０２１をシングルクリックすると、制御装置３００は、マイク等の収音装置を呼び出して音声情報の収集を開始する。その他の実施例において、制御装置３００に表示するユーザインタフェースは、第１の制御インタフェース３０１のみを含み、音声収集機能はずっとオンであるとすることができ、即ち、ユーザは、制御装置３００上でＡＰＰを開いた後、後続操作を実行するために音声情報が存在するか否かをリアルタイムに監視することができ、ユーザによる特別なボタンへのクリック操作等のユーザ操作を行う必要がない。一実施例において、本発明の実施例に係る方法はさらに、装置タイプに基づいてユーザ操作インタフェースを取得して表示することを含むことができ、前記ユーザ操作インタフェースは、前記撮像装置を制御するためのユーザ操作を受信する第１の制御インタフェース３０１、及び／又は、音声情報を受信して前記撮像装置を音声制御するための第２の制御インタフェース３０２を含み、即ち、制御装置３００は、異なる接続装置に対して、異なる仮想ボタンを有する第１の制御インタフェース３０１を表示し、図３に示すインタフェースは、現在接続されているのが雲台とカメラを含む撮像装置であると検出した時に表示されるインタフェースである。その他のインタフェースにおいては、現在接続されているのが無人航空機及びカメラを含む撮像装置であると検出すると、無人航空機に対する、離陸制御ボタン、着陸制御ボタン、逆方向制御ボタン又はスティックボタンを含む制御ボタンを表示することができ、さらに飛行データを表示できる表示領域等を含むこともできる。現在接続されているのが単なるカメラであると検出した場合、写真撮像ボタン、ビデオ撮像ボタン等の仮想ボタンのみを含むことができる。
制御装置は、音声情報を収集したか否かを検出し、Ｓ２０２において音声情報を収集した場合、前記装置識別子に基づいて前記音声情報に含まれるコンテンツデータに対して情報照合を行い、制御装置は、設置されたマイク等の収音装置により環境における音声情報を収集することができ、これらの音声情報は、ユーザからの、撮像装置を制御するための情報である可能性があり、ユーザの通常の会話で生じた、撮像装置を制御するためのものではない情報である可能性もある。したがって、制御装置は、音声情報を収集した後、対応する制御コマンドを生成する関連処理を開始するかわりに、Ｓ２０１で取得した装置識別子に基づいて現在収集された音声情報が撮像装置を制御するための制御音声であるか否かを自動的に識別する。
Ｓ２０２において、制御装置は、取得した音声情報に対してまずコンテンツ識別を行い、その中のコンテンツデータを特定してもよく、これらのコンテンツデータは、主にいくつかの文字であり、次に、文字のコンテンツについて、音声の連続性によりその中の各キーワード又はかぎとなる語を特定する。コンテンツデータ中の各文字を特定した後に、より完全なキーワード又はかぎとなる語を取得することを確保するために単語分解の方式によりその中のキーワード又はかぎとなる語を特定してもよい。キーワード又はかぎとなる語を特定した後、装置情報に含まれるワード又は単語と一つずつ照合することで、音声情報中のキーワード又はかぎとなる語が装置識別子中のキーワード又はかぎとなる語にマッチするか否かを特定することができる。
制御装置は、Ｓ２０３において、情報照合の結果として、前記コンテンツデータが前記装置識別子にマッチングするマッチング情報を含むと、前記音声情報を分析して制御情報を識別する。Ｓ２０２において特定されたキーワード又はかぎとなる語を制御装置がＳ２０１において取得した装置識別子とを比較し、音声情報のうちの文字内容に装置識別子に対応するワード又は単語と同じであるか又は類似したキーワード又はかぎとなる語が存在するか否かを決定する。
一実施例において、文字間が同じ及び／又は類似するか否かという判断方式により判断することができる。同じとの判断とは、音声情報に対応する文字内容のうちあるワード又は単語の発音が、装置識別子のうちあるワード又は単語の発音と同じであるか否かを判断し、同じであれば、情報照合の結果として、前記コンテンツデータが前記装置識別子にマッチングするマッチング情報を含むと見なすことができることであってもよく、同じとの判断とは、さらに、音声情報に対応する文字内容のうちのあるキーワード又はかぎとなる語が、装置識別子のうちのあるワード又は単語の文字と同じであるか否かを判断し、同じであれば、例えば、装置識別子は「張三」を含み、音声情報のうちの文字内容が「張三」を含むと、情報照合の結果として、前記コンテンツデータが前記装置識別子にマッチングするマッチング情報を含むと見なすことであってもよい。
類似するとの判断とは、音声情報に対応する文字内容のうちのあるワード又は単語の発音が装置識別子のうちのあるワード又は単語の発音と類似するか否かを判断し、例えば、「ＯＳＭＵ」と「ＯＳＭＯ」との発音が類似すれば、情報照合の結果として、前記コンテンツデータは前記装置識別子にマッチングするマッチング情報を含むと見なすことであってもよく、類似するとの判断とは、また、音声情報に対応する文字内容のうちのあるワード又は単語が装置識別子のうちのあるワード又は単語の文字と類似するか否かを判断し、類似すれば、例えば、装置識別子は「ＯＳＭＯ」を含み、音声情報中に特定された文字内容が「ＯＳＭＵ」のキーワードを含み、両者が文字上で類似しており、この場合、情報照合の結果として、前記コンテンツデータは前記装置識別子にマッチングするマッチング情報を含むと考えられる。
一実施例において、マッチング情報を特定した後に、制御装置は、前記マッチング情報の前記音声情報における位置を基準位置とし、前記音声情報を分析してキー情報を識別し、識別されたキー情報から制御情報を取得する。約定した音声情報構造における制御情報とマッチング情報との位置関係に基づいて、音声情報からキー情報を特定することができ、例えば、約定した位置関係がまずマッチング情報であり、次に制御情報であり、即ち約定した音声情報構造が｛マッチング情報、制御情報１、制御情報２｝であり、この時、Ｓ２０２の照合結果に基づいてマッチング情報を特定した後、コンテンツデータ中の直後のキーワード又はかぎとなる語をキー情報とし、かつキー情報から制御情報を最終的に取得することができる。簡単に言えば、マッチング情報の後ろのキーワード又はかぎとなる語をキー情報とし、次にその中から有効な情報を制御情報として見つけ出することができ、一部の無意味なワード或いは単語、又は制御のためではないワード或いは単語はいずれも棄却され、例えば、「Ｍａｖｉｃ、離陸して、速く、私を撮像して」において、「Ｍａｖｉｃ」は識別されたマッチング情報であり、後続の「離陸して」、「速く」、「私を撮像して」はキー情報であるが、そのうち「速く」は撮像装置を制御できないので棄却され、例えば「速く」に関する制御コマンドが見つからなかった場合に、キー情報「速く」は棄却されてもよく、したがって、後続の「離陸して」、「私を撮像して」は、それぞれ撮像装置に含まれる無人航空機を離陸させるように制御し、無人航空機に搭載されたカメラを対象物に対して写真又はビデオの撮像を開始するように制御するために用いられる。
一実施例において、前記の識別されたキー情報から制御情報を取得することは、現在接続されている撮像装置の装置タイプに基づいてターゲット情報セットを決定することと、識別された各キー情報をターゲット情報セット中の各ターゲット情報と照合することと、照合結果に基づいてキー情報から、対応する文字がターゲット情報セット中の１つのターゲット情報に対応する文字と同じであるか又は予め設定された近似条件を満たす制御情報を選択することと、を含むことができる。つまり、異なる装置タイプに対して異なる情報セットを設定することができ、これらの情報セットは、撮像装置を制御するための複数のターゲット情報を含み、例えば、無人航空機及びカメラを含む撮像装置に対して、情報セットは、少なくとも「離陸して、上へ飛行して、下向き飛行して、着陸して、撮像して、犬をフォローして」等の、いずれもいくつかの制御コマンドに対応する多くのターゲット情報を含む。各キー情報を情報セットにおけるターゲット情報と比較するだけで、同じであっても類似していても制御情報を特定し、かつ制御コマンドを最終的に特定することができ、例えば、ユーザが発した音声情報が、情報マッチングにより「上へ飛んで」というキー情報を含むとなった場合、該「上へ飛んで」のキー情報は、無人航空機及びカメラを含む撮像装置に対応する情報セットにおける「上へ飛行して」と類似するため、該「上へ飛んで」のキー情報を制御情報とし、かつ情報セットにおける「上へ飛行して」に対して設定された制御コマンドに基づいて、「上へ飛んで」の制御コマンドを対応して決定することにより、制御情報に基づいて撮像装置中の無人航空機の飛行を最終的に制御することができる。
制御装置は、Ｓ２０４において、前記制御情報に基づいて、映像を撮像するように前記撮像装置を制御するための制御コマンドを生成し、かつ前記制御コマンドを現在接続されている撮像装置に送信する。各制御情報が１つの制御コマンドに予め対応し、制御情報に基づいて対応する制御コマンドを取得することができる。さらに、上述した情報セットにおけるターゲット情報と制御コマンドとの間の対応関係を予め設定することができ、ターゲット情報セットにおけるターゲット情報に基づいて制御情報を識別すると、ターゲット情報に対応する制御コマンドに基づいて制御情報に対応する撮像装置を制御するための制御コマンドを生成する。制御装置は、確立された通信リンクを介して撮像装置に制御コマンドを送信することができる。
また、情報照合の結果として、前記コンテンツデータが前記装置識別子にマッチングするマッチング情報を含むと、制御装置は、その後に収集された音声情報を分析して制御情報を識別することができる。即ち、現在の音声情報からマッチング情報を含むと判定した後、直接的にその後に収集された音声情報を分析して制御情報を識別することにより、Ｓ２０４を実行することができ、装置識別子と音声情報に基づいて照合するという処理を実行することを必要とせず、その後に収集された音声情報とは、所定の時間範囲内に収集された音声情報を指し、所定の時間範囲外の音声情報の場合、前記Ｓ２０２〜Ｓ２０４のステップを再実行する必要がある。
撮像装置のタイプは様々であり、一実施例において、図４に示すように、撮像装置４００は、雲台４０１１と雲台４０１１に設置されたカメラ４０１２を含むことができ、雲台４０１１とカメラ４０１２のみを含む撮像装置４００を１つのタイプとし、例えば第１のタイプと名付けることができ、雲台４０１１を回転させることができるため、フォロー撮影を実現することができる。これに基づき、前記制御情報に基づいて制御コマンドを生成することは、前記制御情報がフォロー撮影指示情報を含むと、前記雲台４０１２装置を回転させ、かつ前記カメラ４０１１をトリガーして前記フォロー撮影指示情報に含まれるターゲット対象をフォロー撮影するように制御するためのフォロー撮影制御コマンドを生成することを含む。このフォロー撮影指示情報とは、キー情報のうち、該タイプの撮像装置４００に対応する情報セットのうちのフォロー撮影を表すためのターゲット情報と同じであるか又は類似するいくつかの情報、例えば、「私を撮像して」、「犬を撮像して」、「木を撮像して」等のターゲット情報を指すことができ、ユーザが発した音声情報にこれらのターゲット情報と同じであるか又は類似するフォロー撮影指示情報を含むと、キー情報に基づいて決定された制御情報がフォロー撮影指示情報であると見なすことができ、撮像された画像から、「私（音声情報を発したユーザ）」、「犬」、「木」を識別し、さらに、画像識別に基づいて対象へのフォロー撮影を実現し、かつフォロー撮影するようにカメラ４０１１を持続的に制御する必要がある。一実施例において、画像に基づくフォロー撮影は、従来技術を用いて実現することができる。一実施例において、ターゲット対象に対する識別は、制御装置から雲台４０１２に送信された位置と姿勢及び雲台４０１２の位置と姿勢に基づいて相対的な方位を決定することにより、音声情報を発したユーザ、他の人物又は言われた「犬」、「木」等のターゲット対象をフォロー撮影することができ、また、撮像された画像から１人の人物（顔特徴又は身体的特徴により識別）、又は指定された人物特徴（顔特徴又は身体特徴）と類似する人物、又は指定された「犬」、「木」等の対象の特徴に類似する対象を特定するまで、雲台４０１２を継続的に回転させ、それにより識別して得られたターゲット対象（音声情報を発したユーザー、又は他のユーザ、対象）へのフォロー撮影を実現することができる。
別の実施例において、図５に示すように、前記撮像装置５００は、無人航空機５００１と該無人航空機５００１に設置されたカメラ５００２を含み、無人航空機５００１とカメラ５００２のみを含む撮像装置５００を１つのタイプとし、例えば、第２のタイプと名付けることができ、前記制御情報に基づいて制御コマンドを生成することは、前記制御情報がフォロー撮影指示情報を含むと、前記無人航空機５００１を飛行させ、かつ飛行中に前記カメラ５００２によって前記フォロー指示情報に含まれるターゲット対象をフォロー撮影するように制御するためのフォロー撮影制御コマンドを生成することを含む。無人航空機５００１は、フォロー撮影をより実現しやすく、制御装置５１０が音声情報に基づいて上述した「私（音声情報を発したユーザ）」、「犬」、「木」等のターゲット対象をフォロー撮影する必要があると判定した場合、ターゲット対象を含むフォローコマンドを無人航空機５００１に送信するだけで、無人航空機５００１は、自動的に飛行タスクを実行してフォロー撮影操作を実現することができる。音声情報からフォロー撮影指示情報を特定する方式については、前述の図４に対応する実施例の関連内容の説明を参照することができる。
画像に基づくフォロー撮影は、制御装置によって実現されてもよく、即ち、制御装置は、撮像装置からフィードバックされた撮像画像に基づいて、画像識別及び追跡を行い、制御コマンドを連続的に発して雲台の回転又は無人航空機の移動を制御することにより、上述した「音声情報を発したユーザ」、「犬」、「木」等のターゲット対象を常に撮像画像内の中間位置領域又は他の指定された画像位置領域に保持し、ターゲット対象へのフォロー撮影を実現する。
本願は、ユーザの音声を監視した後、予め取得した装置識別子に基づいて該ユーザの音声が撮像装置を制御するための制御音声であるか否かを判断し、ユーザの音声が撮像装置の制御に用いられると判定した場合に、さらにユーザの音声に基づいて撮像装置の撮像を制御することができ、一方で、関連性のないいくつかの音声を明らかに除去して、撮像装置への誤操作を効果的に回避することができ、他方で、ユーザが音声により撮像装置を制御して撮像することを保証することもできる。また、異なる撮像装置の構造、タイプに応じて、異なる撮像制御ロジックと制御方式を決定することができ、フォロー撮影のような撮像制御を実現でき、ユーザの撮像制御に対する自動化、インテリジェント化のニーズを大幅に満たすことができる。
次に、図６を参照すると、本発明の実施例に係る別の撮像制御方法のフローチャートであり、本発明の実施例に係る方法は、撮像装置、例えば、いくつかの位置に固定可能なカメラ等の装置に適用され、該撮像装置にはマイクのような集音装置が設置されたか、又はマイクのような集音装置が付けられたか、現在の所在環境における撮像装置の音声を収集するために用いられ、それにより収集された環境音声に基づいて撮像を制御し、例えば、音声制御に応じて画像の撮像、又はビデオの撮像を開始し、あるいは撮像装置が雲台に設置され、このようにしてユーザが音声で指定したある対象をフォロー撮影するように撮像装置を制御することができる。
本発明の実施例において、方法は、以下のステップを含む。
現在の環境における音声情報を収集するＳ６０１であって、
音声収集機能をリアルタイム又は周期的に起動し、内蔵又は外付けのマイクのような集音装置により現在の所在環境における撮像装置の音声情報を収集することができるものと、
音声情報を収集した場合、本撮像装置に設定された装置識別子に基づいて前記音声情報に含まれるコンテンツデータに対して情報照合を行うＳ６０２であって、
具体的な照合方式は前述のとおりであり、本発明の実施例では説明を省略するものと、
情報照合の結果として、前記コンテンツデータが前記装置識別子にマッチングするマッチング情報を含むと、前記音声情報を分析して制御情報を識別するＳ６０３であって、
マッチング情報を照合した後、さらに制御情報を識別する具体的な実現は、前述の実施例に関連する内容の説明を参照することができ、本発明の実施例では説明を省略するもの。
一実施例において、前記音声情報を分析して制御情報を識別することは、
前記マッチング情報の前記音声情報における位置を基準位置とし、前記音声情報を分析してキー情報を識別することと、
識別されたキー情報から制御情報を取得することとを含むことができる。
さらに、好ましい実施例において、前記識別されたキー情報から制御情報を取得することは、
現在接続されている撮像装置の装置タイプに基づいてターゲット情報セットを決定することと、
識別された各キー情報をターゲット情報セット中の各ターゲット情報と照合することと、
照合結果に基づいてキー情報から、対応する文字がターゲット情報セット中の１つのターゲット情報に対応する文字とは同じであるか又は予め設定された近似条件を満たす制御情報を選択することとを含むことができる。
前記制御情報に基づいて、映像を撮像するように前記撮像装置を制御するための制御コマンドを生成するＳ６０４。制御情報を生成した後に撮像装置をどのように制御するかは前述の実施例に関連する内容の説明を参照することができ、本発明の実施例では説明を省略する。
一実施例において、前記撮像装置は、１つの雲台に設置されてもよく、例えば１つの三軸雲台又は一軸、又は二軸雲台に設置され、撮像装置は雲台に接続され、該雲台の回転を制御することができる。前記制御情報に基づいて制御コマンドを生成することは、前記制御情報がフォロー撮影指示情報を含むと、前記雲台装置を、回転し、かつ前記フォロー撮影指示情報に含まれるターゲット対象をフォロー撮影するように制御するためのフォロー撮影制御コマンドを生成することを含むことができる。
一実施例において、前記撮像装置はさらに移動可能なプラットフォームに設置されてもよく、該移動可能なプラットフォームは例えば無人航空機であってもよく、撮像装置は該移動可能なプラットフォームに接続され、該移動可能なプラットフォームを移動制御することができ、前記制御情報に基づいて制御コマンドを生成することは、前記制御情報がフォロー撮影指示情報を含むと、前記移動可能なプラットフォームを、移動し、かつ移動中に前記フォロー撮影指示情報に含まれるターゲット対象をフォロー撮影するように制御するためのフォロー撮影制御コマンドを生成することを含むことができる。該実施例において、移動可能なプラットフォームと音声を発したユーザとの間の距離は合理的な距離内にあるべきであり、そうでなければ移動プラットフォームは、環境におけるユーザ制御に関連する音声を収集できない可能性がある。この場合、移動プラットフォームは、引き続き前の音声の制御コマンドを実行し、例えば、引き続きターゲットをフォロー撮影することができるが、ユーザは、他の方式、例えば移動プラットフォームのリモコンにより、戻るか又は対応する制御コマンドをもう実行しないように移動可能なプラットフォームを制御することができる。
一実施例において、前記撮像装置は、さらにユーザ操作インタフェースを表示可能なタッチスクリーンを備えたスマート端末であってもよく、前記方法はさらに、ユーザ操作インタフェースを取得して表示することを含むことができ、前記ユーザ操作インタフェースは前記撮像装置を制御するためのユーザ操作を受信する第１の制御インタフェース、及び／又は、音声情報を受信して前記撮像装置を音声制御するための第２の制御インタフェースを含む。
理解できるように、本発明の実施例が前述の各図面に対応する実施例に対して、唯一の異なる点は、対応するステップ、機能がカメラ付きの撮像装置で直接的に実現されることであり、またこれらのステップ、機能の具体的な実現は実行する主体が一致しない可能性がある以外、他の方式の具体的な実施形態が相互に利用することができる。例えば、上述した第１の制御インタフェース及び第２の制御インタフェースについては、前述の実施例では主に制御装置に表示されるが、また、本実施例では、撮像装置に直接表示され、撮像装置にこれらのユーザインタフェースを表示する具体的な表示形態は図３に示したものを参照することができ、かつユーザの操作方式も図３に対応する内容の説明を参照することができる。
本願は、ユーザの音声を監視した後、予め取得した装置識別子に基づいて該ユーザの音声が撮像装置を制御するための制御音声であるか否かを判断し、ユーザの音声が撮像装置の制御に用いられると決定した場合に、さらにユーザの音声に基づいて撮像装置の撮像を制御することができ、一方で、明らかに関連性のないいくつかの音声を除去して、撮像装置への誤操作を効果的に回避することができ、他方で、ユーザが音声により撮像装置を制御して撮像することを保証できる。また、異なる撮像装置の構造、タイプに応じて、異なる撮像制御ロジックと制御方式を決定することができ、フォロー撮影のような撮像制御を実現でき、ユーザの撮像制御に対する自動化、インテリジェント化のニーズを大幅に満たすことができる。
次に、図７を参照すると、本発明の実施例に係る撮像制御装置の構造の概略図であり、本発明の実施例に係る装置は、撮像装置を制御するための制御装置に設置されてもよく、前記制御装置は、例えば、スマートフォン、タブレットコンピュータ、スマート着用型装置等のスマート端末に設置されてもよく、かつ撮像装置に接続して撮像装置を制御するために用いられてもよい。本発明の実施例に係る装置も１つの撮像装置に直接設置されてもよい。
本発明の実施例に係る装置は、撮像装置の装置識別子を取得するための取得モジュール７０１と、音声情報を収集した場合、前記装置識別子に基づいて前記音声情報に含まれるコンテンツデータに対して情報照合を行うための照合モジュール７０２と、情報照合の結果として、前記コンテンツデータが前記装置識別子にマッチングするマッチング情報を含むと、前記音声情報を分析して制御情報を識別するための処理モジュール７０３と、前記制御情報に基づいて、映像を撮像するように前記撮像装置を制御するための制御コマンドを生成する通信モジュールと、を含む。
一実施例において、前記装置はさらに、撮像装置の装置タイプを識別するための識別モジュール７０４と、装置タイプに基づいてユーザ操作インタフェースを取得して表示するための表示モジュール７０５と、を含むことができ、前記ユーザ操作インタフェースは前記撮像装置を制御するためのユーザ操作を受信する第１の制御インタフェース、及び／又は、音声情報を受信して前記撮像装置を音声制御するための第２の制御インタフェースを含む。
一実施例において、前記処理モジュール７０３は、前記マッチング情報の前記音声情報における位置を基準位置とし、前記音声情報を分析してキー情報を識別し、識別されたキー情報から制御情報を取得するように構成される。
一実施例において、前記処理モジュール７０３は、具体的には撮像装置の装置タイプに基づいてターゲット情報セットを決定し、識別された各キー情報をターゲット情報セット中の各ターゲット情報と照合し、照合結果に基づいてキー情報から、対応する文字がターゲット情報セット中の１つのターゲット情報に対応する文字とは同じであるか又は予め設定された近似条件を満たす制御情報を選択するために用いられる。
一実施例において、前記撮像装置は、雲台装置と該雲台装置に設置されたカメラを含み、前記処理モジュール７０３は、具体的には前記制御情報がフォロー撮影指示情報を含むと、前記雲台装置を、回転して、前記フォロー撮影指示情報に含まれるターゲット対象をフォロー撮影するように制御するためのフォロー撮影制御コマンドを生成するために用いられる。
一実施例において、前記撮像装置は、無人航空機と該無人航空機に設置されたカメラとを含み、前記処理モジュール７０３は、具体的には前記制御情報がフォロー撮影指示情報を含むと、前記無人航空機を、飛行し、かつ飛行中に前記フォロー撮影指示情報に含まれるターゲット対象をフォロー撮影するように制御するためのフォロー撮影制御コマンドを生成するために用いられる。
一実施例において、前記処理モジュール７０３はさらに、情報照合の結果として、前記コンテンツデータが前記装置識別子にマッチングするマッチング情報を含むと、後に収集された応用情報を分析して制御情報を識別するために用いられる。
本発明の実施例に係る装置に含まれる各機能モジュールの具体的な実現は前述の実施例における関連内容の具体的な説明を参照することができ、ここでは説明を省略する。
本願は、ユーザの音声を監視した後、予め取得した装置識別子に基づいて該ユーザの音声が撮像装置を制御するための制御音声であるか否かを判断し、ユーザの音声が撮像装置の制御に用いられると判定した場合に、さらにユーザの音声に基づいて撮像装置の撮像を制御することができ、一方で、明らかに関連性のないいくつかの音声を除去して、撮像装置への誤操作を効果的に回避することができ、他方で、ユーザが音声により撮像装置を制御して撮像することを保証できる。また、異なる撮像装置の構造、タイプに応じて、異なる撮像制御ロジックと制御方式を決定することができ、フォロー撮影のような撮像制御を実現でき、ユーザの撮像制御に対する自動化、インテリジェント化のニーズを大幅に満たすことができる。
次に、図８を参照すると、本発明の実施例に係る制御装置の構造の概略図であり、本発明の実施例に係る制御装置は、具体的には、例えば、スマートフォン、タブレットコンピュータ、スマート着用型装置等のスマート端末であってもよい。該制御装置は、記憶装置８０１、プロセッサ８０２及び通信インタフェース８０３を含み、さらに、該制御装置は、必要に応じてユーザインタフェース８０４等の他の構造を含んでもよい。
前記記憶装置８０１は、揮発性メモリ（ｖｏｌａｔｉｌｅ ｍｅｍｏｒｙ）、例えばランダムアクセスメモリ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）を含んでもよく、記憶装置８０１も、不揮発性メモリ（ｎｏｎ−ｖｏｌａｔｉｌｅ ｍｅｍｏｒｙ）、例えばフラッシュメモリ（ｆｌａｓｈ ｍｅｍｏｒｙ）、ソリッドステートドライブ（ｓｏｌｉｄ−ｓｔａｔｅ ｄｒｉｖｅ、ＳＳＤ）等を含んでもよく、記憶装置８０１は、上記タイプのメモリの組み合わせを含んでもよい。
前記プロセッサ８０２は、中央処理装置（ｃｅｎｔｒａｌ ｐｒｏｃｅｓｓｉｎｇ ｕｎｉｔ、ＣＰＵ）であってもよい。前記プロセッサ８０２は、さらにハードウェアチップを含んでもよい。上記ハードウェアチップは、特定用途向け集積回路（ａｐｐｌｉｃａｔｉｏｎ−ｓｐｅｃｉｆｉｃ ｉｎｔｅｇｒａｔｅｄ ｃｉｒｃｕｉｔ、ＡＳＩＣ）、プログラマブルロジックデバイス（ｐｒｏｇｒａｍｍａｂｌｅ ｌｏｇｉｃ ｄｅｖｉｃｅ、ＰＬＤ）等であってもよい。上記ＰＬＤは、例えばフィールドプログラマブルゲートアレイ（ｆｉｅｌｄ−ｐｒｏｇｒａｍｍａｂｌｅ ｇａｔｅ ａｒｒａｙ、ＦＰＧＡ）、汎用アレイロジック（ｇｅｎｅｒｉｃ ａｒｒａｙ ｌｏｇｉｃ、ＧＡＬ）等であってよい。
前記通信インタフェース８０３は、ＷｉＦｉインタフェース、ブルートゥース（登録商標）インタフェース等のような、撮像装置と無線通信接続を確立できるインタフェースであってよく、ＵＳＢ等の有線インタフェースであってもよい。前記ユーザインタフェース８０４は、主にマンマシンインタラクションを実現するために用いられ、該ユーザインタフェース８０４は、例えばタッチスクリーンであり、一方で、ユーザにユーザインタフェース、関連制御ボタン、収集したデータ等の情報を表示することができ、他方で、ユーザの操作による撮像装置におけるカメラ、雲台、又は無人航空機等への手動制御を受信する。
一実施例において、前記記憶装置８０１はさらに、プログラムコマンドを記憶するために用いられる。前記プロセッサ８０２は、前記プログラムコマンドを呼び出して、本願の前述の実施例で説明したような撮像制御方法を実現することができる。
具体的には、前記プロセッサ８０２は、前記記憶装置８０１に記憶されたプログラムコマンドを呼び出し、現在接続されている撮像装置の装置識別子を取得し、音声情報を収集した場合、前記装置識別子に基づいて前記音声情報に含まれるコンテンツデータに対して情報照合を行い、情報照合の結果として、前記コンテンツデータが前記装置識別子にマッチングするマッチング情報を含むと、前記音声情報を分析して制御情報を識別し、前記制御情報に基づいて制御コマンドを生成し、かつ前記通信モジュールにより、映像を撮像するように前記撮像装置を制御するための前記制御コマンドを現在接続されている撮像装置に送信するために用いられる。
一実施例において、前記プロセッサ８０２はさらに、現在接続されている撮像装置の装置タイプを識別し、装置タイプに基づいてユーザ操作インタフェースを取得して表示するために用いられ、前記ユーザ操作インタフェースは、前記撮像装置を制御するためのユーザ操作を受信する第１の制御インタフェース、及び／又は、音声情報を受信して前記撮像装置を音声制御するための第２の制御インタフェースを含む。
一実施例において、前記プロセッサ８０２は、前記マッチング情報の前記音声情報における位置を基準位置とし、前記音声情報を分析してキー情報を識別し、識別されたキー情報から制御情報を取得するように構成される。
一実施例において、前記プロセッサ８０２は、現在接続されている撮像装置の装置タイプに基づいてターゲット情報セットを決定し、識別された各キー情報をターゲット情報セット中の各ターゲット情報と照合し、照合結果に基づいて、キー情報から、対応する文字がターゲット情報セット中の１つのターゲット情報に対応する文字とは同じであるか又は予め設定された近似条件を満たす制御情報を選択するために用いられる。
一実施例において、前記撮像装置は、雲台装置と該雲台装置に設置されたカメラを含み、前記プロセッサ８０２は、前記制御情報がフォロー撮影指示情報を含むと、前記雲台装置を回転させ、かつ前記カメラをトリガーして前記フォロー撮影指示情報に含まれるターゲット対象をフォロー撮影するように制御するためのフォロー撮影制御コマンドを生成するために用いられる。
一実施例において、前記撮像装置は、無人航空機と該無人航空機に設置されたカメラとを含み、前記プロセッサ８０２は、前記制御情報がフォロー撮影指示情報を含むと、前記無人航空機を飛行させ、かつ飛行中に前記カメラにより前記フォロー撮影指示情報に含まれるターゲット対象をフォロー撮影するように制御するためのフォロー撮影制御コマンドを生成するために用いられる。
一実施例において、前記プロセッサ８０２はさらに、情報照合の結果として、前記コンテンツデータが前記装置識別子にマッチングするマッチング情報を含むと、後に収集された応用情報を分析して制御情報を識別するために用いられる。
本発明の実施例に係るプロセッサ８０２の具体的な実現は前述の実施例における関連内容の具体的な説明を参照することができ、ここでは説明を省略する。
本願は、ユーザの音声を監視した後、予め取得した装置識別子に基づいて該ユーザの音声が撮像装置を制御するための制御音声であるか否かを判断し、ユーザの音声が撮像装置の制御に用いられると決定した場合に、さらにユーザの音声に基づいて撮像装置の撮像を制御することができ、一方で、明らかに関連性のないいくつかの音声を除去して、撮像装置への誤操作を効果的に回避することができ、他方で、ユーザが音声により撮像装置を制御して撮像することを保証できる。また、異なる撮像装置の構造、タイプに応じて、異なる撮像制御ロジックと制御方式を決定することができ、フォロー撮影のような撮像制御を実現でき、ユーザの撮像制御に対する自動化、インテリジェント化のニーズを大幅に満たすことができる。
次に、図９を参照すると、本発明の実施例に係る撮像装置の構造の概略図であり、本発明の実施例に係る撮像装置は、カメラ９０１、給電モジュール等の部品を含み、さらに、プロセッサ９０２及び記憶装置９０３を含む。また、必要に応じてユーザインタフェース９０４を含んでもよい。該撮像装置はさらに音声収集モジュールを含んでもよく、該音声収集モジュールはマイクか、又は外部の集音モジュールから出力された音声情報を受信することができるモジュールであってもよい。本発明の実施例において、前記撮像装置がマイク９０５を含む場合を例として説明する。
前記記憶装置９０１は、揮発性メモリ（ｖｏｌａｔｉｌｅ ｍｅｍｏｒｙ）、例えばＲＡＭを含んでもよく、記憶装置９０１も、不揮発性メモリ（ｎｏｎ−ｖｏｌａｔｉｌｅ ｍｅｍｏｒｙ）、例えばフラッシュメモリ（ｆｌａｓｈ ｍｅｍｏｒｙ）、ＳＳＤ等を含んでもよく、記憶装置９０１は、上記タイプのメモリの組み合わせを含んでもよい。前記プロセッサ９０２は、ＣＰＵであってもよく、さらにハードウェアチップを含んでもよい。上記ハードウェアチップは、ＡＳＩＣ、ＰＬＤ等であってもよい。上記ＰＬＤは、例えば、ＦＰＧＡ、ＧＡＬ等であってもよい。
前記プロセッサ９０２は、前記記憶装置９０３に記憶されたプログラムコマンドを呼び出し、現在環境における音声情報を収集し、音声情報を収集した場合、本撮像装置のために設定された装置識別子に基づいて前記音声情報に含まれるコンテンツデータに対して情報照合を行い、情報照合の結果として、前記コンテンツデータが前記装置識別子にマッチングするマッチング情報を含むと、前記音声情報を分析して制御情報を識別し、前記制御情報に基づいて、映像を撮像するように前記撮像装置を制御するための制御コマンドを生成するために用いられる。
一実施例において、前記プロセッサ９０２はさらに、本撮像装置の装置タイプに基づいてユーザ操作インタフェースを取得て表示するために用いられ、前記ユーザ操作インタフェースは前記撮像装置を制御するためのユーザ操作を受信する第１の制御インタフェース、及び／又は、音声情報を受信して前記撮像装置を音声制御するための第２の制御インタフェースを含む。該ユーザ操作インタフェースは上記ユーザインタフェース９０４に表示されてもよく、該ユーザインタフェース９０４は具体的にはタッチスクリーンであってもよい。
一実施例において、前記プロセッサ９０２は、前記マッチング情報の前記音声情報における位置を基準位置とし、前記音声情報を分析してキー情報を識別し、識別されたキー情報から制御情報を取得するために用いられる。
一実施例において、前記プロセッサ９０２は、本撮像装置の装置タイプに基づいてターゲット情報セットを決定し、識別された各キー情報をターゲット情報セット中の各ターゲット情報と照合し、照合結果に基づいて、キー情報から、対応する文字がターゲット情報セット中の１つのターゲット情報に対応する文字とは同じであるか又は予め設定された近似条件を満たす制御情報を選択することに用いられる。
一実施例において、前記撮像装置は、雲台装置に設置され、前記プロセッサ９０２は、前記制御情報がフォロー撮影指示情報を含むと、前記雲台装置を、回転し、かつ前記フォロー撮影指示情報に含まれるターゲット対象をフォロー撮影するように制御するためのフォロー撮影制御コマンドを生成するために用いられる。
一実施例において、前記撮像装置は、移動プラットフォームに設置され、例えば、無人航空機に設置され、前記プロセッサ９０２は、前記制御情報がフォロー撮影指示情報を含むと、前記移動可能なプラットフォームを、移動し、かつ移動中に前記フォロー撮影指示情報に含まれるターゲット対象をフォロー撮影するように制御するためのフォロー撮影制御コマンドを生成するために用いられる。
一実施例において、前記プロセッサ９０２はさらに、情報照合の結果として、前記コンテンツデータが前記装置識別子にマッチングするマッチング情報を含むと、その後に収集された応用情報を分析して制御情報を識別するために用いられる。
本発明の実施例に係るプロセッサの具体的な実現は前述の実施例における関連内容の説明を参照することができ、ここでは説明を省略する。
本願は、ユーザの音声を監視した後、予め取得した装置識別子に基づいて該ユーザの音声が撮像装置を制御するための制御音声であるか否かを判断し、ユーザの音声が撮像装置の制御に用いられると決定した場合に、さらにユーザの音声に基づいて撮像装置の撮像を制御することができ、一方で、明らかに関連性のないいくつかの音声を除去して、撮像装置への誤操作を効果的に回避することができ、他方で、ユーザが音声により撮像装置を制御して撮像することを保証できる。また、異なる撮像装置の構造、タイプに応じて、異なる撮像制御ロジックと制御方式を決定することができ、フォロー撮影のような撮像制御を実現でき、ユーザの撮像制御に対する自動化、インテリジェント化のニーズを大幅に満たすことができる。
当業者であれば理解できるように、上記実施例方法の全部又は一部のフローは、コンピュータプログラムにより関連ハードウェアを指示して実現することができ、前記プログラムがコンピュータ可読記憶媒体に記憶でき、該プログラムが実行される時、上記各方法の実施例のフローを含むことができる。前記記憶媒体は、磁気ディスク、光ディスク、リードオンリーメモリ（Ｒｅａｄ−Ｏｎｌｙ Ｍｅｍｏｒｙ、ＲＯＭ）又はランダムアクセスメモリ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ、ＲＡＭ）等であってもよい。
以上に開示されたのは本発明の一部の実施例に過ぎず、これにより本発明の権利範囲を限定することができないため、本発明の特許請求の範囲において行われた同等の変更は、依然として本発明に含まれる範囲に属する。
１０１ 撮像装置
１０２ 制御装置
３００ 制御装置
３０１ 第１の制御インタフェース
３０１２ ボタン領域
３０２ 第２の制御インタフェース
３０２１ 音声ボタン
４００ 撮像装置
５００ 撮像装置
５００１ 無人航空機
５００２ カメラ
５１０ 制御装置
７０１ 取得モジュール
７０２ 照合モジュール
７０３ 処理モジュール
７０４ 識別モジュール
７０５ 表示モジュール
８０１ 記憶装置
８０２ プロセッサ
８０３ 通信インタフェース
８０４ ユーザインタフェース
９０１ カメラ
９０２ プロセッサ
９０３ 記憶装置
９０４ ユーザインタフェース
９０５ マイク

Claims (16)

  1. 撮像制御方法であって、撮像装置に接続された後に前記撮像装置を制御するための制御装置に適用され、
    現在接続されている撮像装置の装置識別子を取得することと、
    音声情報を収集した場合、前記装置識別子に基づいて前記音声情報に含まれるコンテンツデータに対して情報照合を行うことと、
    情報照合の結果として、前記コンテンツデータが前記装置識別子にマッチングするマッチング情報を含むと、前記音声情報を分析して制御情報を識別することと、
    前記制御情報に基づいて、映像を撮像するように前記撮像装置を制御するための制御コマンドを生成し、かつ前記制御コマンドを現在接続されている撮像装置に送信することと、を含むことを特徴とする撮像制御方法。
  2. 現在接続されている撮像装置の装置タイプを識別することと、
    装置タイプに基づいてユーザ操作インタフェースを取得して表示することと、をさらに含み、
    前記ユーザ操作インタフェースは、前記撮像装置を制御するためのユーザ操作を受信する第１の制御インタフェース、及び／又は音声情報を受信して前記撮像装置を音声制御するための第２の制御インタフェースを含むことを特徴とする請求項１に記載の方法。
  3. 前記音声情報を分析して制御情報を識別することは、
    前記マッチング情報の前記音声情報における位置を基準位置とし、前記音声情報を分析してキー情報を識別することと、
    識別されたキー情報から制御情報を取得することと、を含むことを特徴とする請求項１に記載の方法。
  4. 識別されたキー情報から制御情報を取得することは、
    現在接続されている撮像装置の装置タイプに基づいてターゲット情報セットを決定することと、
    識別された各キー情報をターゲット情報セット中の各ターゲット情報と照合することと、
    照合結果に基づいてキー情報から、
    対応する文字がターゲット情報セット中の１つのターゲット情報に対応する文字とは同じであるか又は予め設定された近似条件を満たす制御情報を選択することと、を含むことを特徴とする請求項３に記載の方法。
  5. 前記撮像装置は、雲台装置と前記雲台装置に設置されたカメラを含み、前記制御情報に基づいて制御コマンドを生成することは、
    前記制御情報がフォロー撮影指示情報を含むと、前記雲台装置を回転させ、かつ前記カメラをトリガーして前記フォロー撮影指示情報に含まれるターゲット対象をフォロー撮影するように制御するためのフォロー撮影制御コマンドを生成することを含むことを特徴とする請求項１〜３のいずれか１項に記載の方法。
  6. 前記撮像装置は、無人航空機と、前記無人航空機に設置されたカメラとを含み、
    前記制御情報に基づいて制御コマンドを生成することは、
    前記制御情報がフォロー撮影指示情報を含むと、前記無人航空機を飛行させ、かつ飛行中に前記カメラによって前記フォロー撮影指示情報に含まれるターゲット対象をフォロー撮影するように制御するためのフォロー撮影制御コマンドを生成することを含むことを特徴とする請求項１〜３のいずれか１項に記載の方法。
  7. 情報照合の結果として、前記コンテンツデータが前記装置識別子にマッチングするマッチング情報を含むと、後に収集された音声情報を分析して制御情報を識別することをさらに含むことを特徴とする請求項１〜６のいずれか１項に記載の方法。
  8. 撮像制御方法であって、撮像装置に適用され、
    現在の環境における音声情報を収集することと、
    音声情報を収集した場合、前記撮像装置に設定された装置識別子に基づいて前記音声情報に含まれるコンテンツデータに対して情報照合を行うことと、
    情報照合の結果として、前記コンテンツデータが前記装置識別子にマッチングするマッチング情報を含むと、前記音声情報を分析して制御情報を識別することと、
    前記制御情報に基づいて、映像を撮像するように前記撮像装置を制御するための制御コマンドを生成することと、を含むことを特徴とする撮像制御方法。
  9. 撮像制御装置であって、撮像装置の装置識別子を取得するための取得モジュールと、
    音声情報を収集した場合、前記装置識別子に基づいて前記音声情報に含まれるコンテンツデータに対して情報照合を行うための照合モジュールと、
    情報照合の結果として、前記コンテンツデータが前記装置識別子にマッチングするマッチング情報を含むと、前記音声情報を分析して制御情報を識別するための処理モジュールと、
    前記制御情報に基づいて、映像を撮像するように前記撮像装置を制御するための制御コマンドを生成するための通信モジュールと、を含むことを特徴とする撮像制御装置。
  10. 撮像制御装置であって、撮像装置に接続された後に前記撮像装置を制御するために用いられ、
    記憶装置、プロセッサ及び通信インタフェースを含み、
    前記記憶装置は、プログラムコマンドを記憶するために用いられ、
    前記プロセッサは、前記記憶装置に記憶されたプログラムコマンドを呼び出し、現在接続されている撮像装置の装置識別子を取得し、音声情報を収集した場合、前記装置識別子に基づいて前記音声情報に含まれるコンテンツデータに対して情報照合を行い、情報照合の結果として、前記コンテンツデータが前記装置識別子にマッチングするマッチング情報を含むと、前記音声情報を分析して制御情報を識別し、前記制御情報に基づいて制御コマンドを生成し、かつ通信モジュールにより、映像を撮像するように前記撮像装置を制御するための前記制御コマンドを現在接続されている撮像装置に送信するために用いられることを特徴とする制御装置。
  11. 前記プロセッサはさらに、現在接続されている撮像装置の装置タイプを識別し、装置タイプに基づいてユーザ操作インタフェースを取得して表示するために用いられ、
    前記ユーザ操作インタフェースは、前記撮像装置を制御するためのユーザ操作を受信する第１の制御インタフェース、及び／又は、音声情報を受信して前記撮像装置を音声制御するための第２の制御インタフェースを含むことを特徴とする請求項１０に記載の制御装置。
  12. 前記プロセッサは、前記マッチング情報の前記音声情報における位置を基準位置とし、前記音声情報を分析してキー情報を識別し、識別されたキー情報から制御情報を取得するために用いられることを特徴とする請求項１０に記載の制御装置。
  13. 前記プロセッサは、現在接続されている撮像装置の装置タイプに基づいてターゲット情報セットを決定し、識別された各キー情報をターゲット情報セット中の各ターゲット情報と照合し、照合結果に基づいて、キー情報から、対応する文字がターゲット情報セット中の１つのターゲット情報に対応する文字とは同じであるか又は予め設定された近似条件を満たす制御情報を選択するために用いられることを特徴とする請求項１２に記載の制御装置。
  14. 前記撮像装置は、雲台装置と該雲台装置に設置されたカメラを含み、
    前記プロセッサは、前記制御情報がフォロー撮影指示情報を含むと、前記雲台装置を回転させ、かつ前記カメラをトリガーして前記フォロー撮影指示情報に含まれるターゲット対象をフォロー撮影するように制御するためのフォロー撮影制御コマンドを生成するために用いられることを特徴とする請求項１０〜１３のいずれか１項に記載の制御装置。
  15. 前記撮像装置は、無人航空機と前記無人航空機に設置されたカメラを含み、
    前記プロセッサは、前記制御情報がフォロー撮影指示情報を含むと、前記無人航空機を飛行させ、かつ飛行中に前記カメラによって前記フォロー撮影指示情報に含まれるターゲット対象をフォロー撮影するように制御するためのフォロー撮影制御コマンドを生成するために用いられることを特徴とする請求項１０〜１３のいずれか１項に記載の制御装置。
  16. 撮像装置であって、記憶装置及びプロセッサを含み、
    前記記憶装置は、プログラムコマンドを記憶し、
    前記プロセッサは、前記記憶装置に記憶されたプログラムコマンドを呼び出し、現在環境における音声情報を収集し、音声情報を収集した場合、本撮像装置に設定された装置識別子に基づいて前記音声情報に含まれるコンテンツデータに対して情報照合を行い、情報照合の結果として、前記コンテンツデータが前記装置識別子にマッチングするマッチング情報を含むと、前記音声情報を分析して制御情報を識別し、前記制御情報に基づいて、映像を撮像するように前記撮像装置を制御するための制御コマンドを生成するために用いられることを特徴とする撮像装置。
JP2019544007A 2019-05-15 2019-05-15 撮像制御方法、装置及び制御装置、撮像装置 Active JP6949974B2 (ja)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/CN2019/087115 WO2020227996A1 (zh) 2019-05-15 2019-05-15 一种拍摄控制方法、装置及控制设备、拍摄设备

Publications (2)

Publication Number Publication Date
JP2021526743A true JP2021526743A (ja) 2021-10-07
JP6949974B2 JP6949974B2 (ja) 2021-10-13

Family

ID=68083724

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2019544007A Active JP6949974B2 (ja) 2019-05-15 2019-05-15 撮像制御方法、装置及び制御装置、撮像装置

Country Status (4)

Country Link
US (2) US10971152B2 (ja)
JP (1) JP6949974B2 (ja)
CN (2) CN113747069A (ja)
WO (1) WO2020227996A1 (ja)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110963064B (zh) * 2019-11-05 2022-06-24 深圳市道通智能航空技术股份有限公司 镜头模组的控制方法、装置、飞行器、飞行系统及介质
CN111083407A (zh) * 2019-11-21 2020-04-28 北京文香信息技术有限公司 一种录播方法、装置及设备
CN112825030B (zh) * 2020-02-28 2023-09-19 腾讯科技（深圳）有限公司 一种应用程序控制方法、装置、设备及存储介质
CN113228620B (zh) * 2021-03-30 2022-07-22 华为技术有限公司 一种图像的获取方法以及相关设备

Family Cites Families (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6226422B1 (en) * 1998-02-19 2001-05-01 Hewlett-Packard Company Voice annotation of scanned images for portable scanning applications
US6289140B1 (en) * 1998-02-19 2001-09-11 Hewlett-Packard Company Voice control input for portable capture devices
US7697827B2 (en) * 2005-10-17 2010-04-13 Konicek Jeffrey C User-friendlier interfaces for a camera
CN101465960B (zh) * 2007-12-19 2011-07-27 深圳富泰宏精密工业有限公司 具有语音控制功能的摄像装置及其使用方法
CN104683677B (zh) * 2013-11-26 2019-06-18 深圳富泰宏精密工业有限公司 为照片增加语音描述的系统及方法
WO2015200209A1 (en) * 2014-06-23 2015-12-30 Nixie Labs, Inc. Wearable unmanned aerial vehicles, launch- controlled unmanned aerial vehicles, and associated systems and methods
CN104853101A (zh) * 2015-05-18 2015-08-19 牟肇健 基于语音的智能化即时命名拍照技术
CN205451432U (zh) * 2015-11-30 2016-08-10 无锡觅睿恪科技有限公司 无人机用声控遥控器
CN106373567A (zh) * 2016-08-28 2017-02-01 广安奥海通讯电子科技有限公司 一种语音控制拍照的拍照方法和装置
CN106682091A (zh) * 2016-11-29 2017-05-17 深圳市元征科技股份有限公司 一种无人机控制方法及装置
WO2018214068A1 (zh) * 2017-05-24 2018-11-29 深圳市大疆创新科技有限公司 飞行控制方法、设备、机器可读存储介质以及系统
CN108702458B (zh) * 2017-11-30 2021-07-30 深圳市大疆创新科技有限公司 拍摄方法和装置
CN108154878A (zh) * 2017-12-12 2018-06-12 北京小米移动软件有限公司 控制监控设备的方法及装置
TWI648519B (zh) * 2018-01-05 2019-01-21 易圖科技股份有限公司 無人機偵測系統及方法
CN108375986A (zh) * 2018-03-30 2018-08-07 深圳市道通智能航空技术有限公司 无人机的控制方法、装置及终端
CN108737719A (zh) * 2018-04-04 2018-11-02 深圳市冠旭电子股份有限公司 摄像头拍摄控制方法、装置、智能设备及存储介质
CN109445460A (zh) * 2018-11-07 2019-03-08 常州信息职业技术学院 一种基于视觉传达的无人机引导系统
CN109559743A (zh) * 2018-12-05 2019-04-02 嘉兴行适安车联网信息科技有限公司 基于Android系统的车载即时通讯工具信息分享方法

Also Published As

Publication number Publication date
CN110313174A (zh) 2019-10-08
WO2020227996A1 (zh) 2020-11-19
CN110313174B (zh) 2021-09-28
US20210233529A1 (en) 2021-07-29
US10971152B2 (en) 2021-04-06
US20200365149A1 (en) 2020-11-19
CN113747069A (zh) 2021-12-03
JP6949974B2 (ja) 2021-10-13

Similar Documents

Publication Publication Date Title
JP6949974B2 (ja) 撮像制御方法、装置及び制御装置、撮像装置
US10587790B2 (en) Control method for photographing using unmanned aerial vehicle, photographing method using unmanned aerial vehicle, mobile terminal, and unmanned aerial vehicle
US11566915B2 (en) Method, device and system for processing a flight task
US11720126B2 (en) Motion and image-based control system
JP6388706B2 (ja) 無人航空機の撮影制御方法及び撮影制御装置、電子デバイス
CN107336243B (zh) 基于智能移动终端的机器人控制系统及控制方法
CN106598071B (zh) 跟随式的飞行控制方法及装置、无人机
US10710244B2 (en) Robot control using gestures
JP7027601B2 (ja) ロボット制御装置、ロボット制御方法及びロボット
US9477302B2 (en) System and method for programing devices within world space volumes
WO2020024104A1 (zh) 返航控制方法、装置及设备
CN107636551B (zh) 一种飞行控制方法、装置及智能终端
JP2021013159A (ja) 情報処理装置、テレプレゼンスロボット、拠点制御システム、遠隔制御システム、情報処理方法およびプログラム
CN114827553B (zh) 视频巡控方法、装置、设备及存储介质
US11978252B2 (en) Communication system, display apparatus, and display control method
WO2022188151A1 (zh) 影像拍摄方法、控制装置、可移动平台和计算机存储介质
WO2021043333A1 (zh) 一种拍摄控制方法、装置、飞行器及飞行系统
CN113778125B (zh) 基于语音的飞行设备控制方法、装置、车辆及存储介质
CN111065982A (zh) 一种控制方法、设备、系统及存储介质

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20190815

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20190815

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20210831

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20210922

R150 Certificate of patent or registration of utility model

Ref document number: 6949974

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150