JP2021182702A - 撮像制御装置、撮像制御方法、及びプログラム - Google Patents
撮像制御装置、撮像制御方法、及びプログラム Download PDFInfo
- Publication number
- JP2021182702A JP2021182702A JP2020087630A JP2020087630A JP2021182702A JP 2021182702 A JP2021182702 A JP 2021182702A JP 2020087630 A JP2020087630 A JP 2020087630A JP 2020087630 A JP2020087630 A JP 2020087630A JP 2021182702 A JP2021182702 A JP 2021182702A
- Authority
- JP
- Japan
- Prior art keywords
- gesture
- angle
- view
- determination
- time
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000003384 imaging method Methods 0.000 title claims abstract description 34
- 238000000034 method Methods 0.000 title claims description 127
- 238000001514 detection method Methods 0.000 claims description 63
- 230000001629 suppression Effects 0.000 claims description 46
- 238000012937 correction Methods 0.000 claims description 10
- 238000012545 processing Methods 0.000 description 16
- 230000006870 function Effects 0.000 description 9
- 238000004364 calculation method Methods 0.000 description 4
- 238000004891 communication Methods 0.000 description 4
- 238000013135 deep learning Methods 0.000 description 3
- 238000010586 diagram Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/20—Movements or behaviour, e.g. gesture recognition
- G06V40/28—Recognition of hand or arm movements, e.g. recognition of deaf sign language
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/61—Control of cameras or camera modules based on recognised objects
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/61—Control of cameras or camera modules based on recognised objects
- H04N23/611—Control of cameras or camera modules based on recognised objects where the recognised objects include parts of the human body
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/69—Control of means for changing angle of the field of view, e.g. optical zoom objectives or electronic zooming
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/695—Control of camera direction for changing a field of view, e.g. pan, tilt or based on tracking of objects
Abstract
【課題】撮像対象となる人物のジェスチャに応じて撮像を行う。【解決手段】撮像制御装置は、映像情報を解析してジェスチャを行った人体とジェスチャの動き情報を検出する。撮像制御装置は、検出されたジェスチャが、画角変更が必要なジェスチャであるか判定し、画角変更が必要なジェスチャである場合には、前回画角変更が必要なジェスチャが行われた時点からの経過時間が、所定時間内であるかをさらに判定する。所定時間内であると判定された場合には、前回行われた画角変更が必要なジェスチャ、及び今回行われた画角変更が必要なジェスチャのそれぞれに対応する、映像情報における注目領域を検出する。撮像制御装置は、検出されたすべての注目領域に基づいて、画角を変更するためのパン動作命令を生成する。【選択図】図2
Description
本発明は、撮像制御装置、撮像制御方法、及びプログラムに関するものである。
従来より、被写体が予め定められたジェスチャを行うことで、カメラの各種動作を制御することが知られている(たとえば、特許文献1参照)。
本発明が解決しようとする課題は、撮像対象となる人物のジェスチャに応じて適切な画角で撮像を行うことである。
本発明の一態様に係る撮像制御装置は、撮像対象の人物を撮像する撮像装置から映像情報を入力する映像入力手段と、前記映像情報を解析して前記人物のジェスチャを検出するジェスチャ検出手段と、前記ジェスチャ検出手段により検出されたジェスチャが、所定のジェスチャであるか判定する第1の判定処理を実行する第1の判定手段と、前記第1の判定処理により前記所定のジェスチャであると判定された場合に、前記第1の判定処理を実行した時点を記憶するとともに、前回前記所定のジェスチャであると判定した前記第1の判定処理を実行した時点からの経過時間が所定時間内であるかを判定する第2の判定手段と、前記第2の判定手段により前記所定時間内であると判定された場合に、前記第1の判定処理で判定対象としたジェスチャの動き情報、及び前回前記所定のジェスチャであると判定した前記第1の判定処理で判定対象としたジェスチャの動き情報のそれぞれに対応する、前記映像情報における注目領域を検出する領域検出手段と、前記領域検出手段により検出されたすべての前記注目領域に基づいて、前記撮像装置の画角を変更するように制御する画角制御手段と、を有することを特徴とする。
以下、添付図面を参照して、本発明の第1の実施形態について説明する。
<第1の実施形態>
(撮像システムの全体構成)
図1aは、第1の実施形態に係る撮像システム100の全体構成の一例を示す図である。撮像システム100は、第1の実施形態に係る撮像制御装置130を含む。撮像システム100は、撮像対象となる人物の行ったジェスチャに応じて画角を変更して撮像を行うためのシステムである。
(撮像システムの全体構成)
図1aは、第1の実施形態に係る撮像システム100の全体構成の一例を示す図である。撮像システム100は、第1の実施形態に係る撮像制御装置130を含む。撮像システム100は、撮像対象となる人物の行ったジェスチャに応じて画角を変更して撮像を行うためのシステムである。
図1aに示すように、撮像システム100は、映像入力装置110、パン駆動装置120、撮像制御装置130、及び収録装置140を有する。撮像制御装置130と収録装置140はビデオインターフェースを介して接続されている。以下、各構成について説明する。
映像入力装置110は、周囲を撮像して映像情報を生成する装置であり、カメラ等により構成される。映像入力装置110は、映像情報を撮像制御装置130へ出力する。映像入力装置110は、撮像装置の一例である。
パン駆動装置120は、映像入力装置110の撮像方向(パン方向)を変更する装置であり、モーター、ギア等により構成される。パン駆動装置120は、撮像制御装置130からパン動作の一連の動作命令を受け取ると、受け取った動作命令に従って、モーターを駆動しパン動作を行う。
パン駆動装置120は、映像入力装置110の撮像方向(パン方向)を変更する装置であり、モーター、ギア等により構成される。パン駆動装置120は、撮像制御装置130からパン動作の一連の動作命令を受け取ると、受け取った動作命令に従って、モーターを駆動しパン動作を行う。
撮像制御装置130は、映像入力装置110で撮像された映像情報を解析して、映像入力装置110の画角を変更するように制御する装置である。具体的には、撮像制御装置130は、映像情報から検出したジェスチャに基づいてパン動作の動作命令を生成する。撮像制御装置130は、生成した動作命令をパン駆動装置120へ出力する。また、撮像制御装置130は、映像入力装置110から入力された映像情報を収録装置140へ出力する。
収録装置140は、撮像制御装置130から入力された映像情報をHDD(ハードディスク)等の記憶機器に保存する処理を行う。
収録装置140は、撮像制御装置130から入力された映像情報をHDD(ハードディスク)等の記憶機器に保存する処理を行う。
(撮像制御装置のハードウェア構成)
次に、図1bを参照して、撮像制御装置130のハードウェア構成について説明する。撮像制御装置130は、ハードウェアとして、CPU151、記憶装置152、入出力インタフェース153、及びこれらを接続するバス154を有する。
CPU151は、撮像制御装置130の全体を制御する。CPU151が記憶装置152等に記憶されているプログラムに基づき処理を実行することによって、撮像制御装置130の各種の機能や、図2に示すフローチャートの処理が実現される。
記憶装置152は、RAM、ROM、HDD等であって、プログラムを記憶したり、CPU151がプログラムに基づき処理を実行する際に利用するデータ等を記憶したりする。
入出力インタフェース153は、撮像制御装置130と、映像入力装置110等の外部装置との入出力の制御を司る。入出力インタフェース153は、撮像制御装置130と収録装置140とを接続するビデオインターフェースを含む。
次に、図1bを参照して、撮像制御装置130のハードウェア構成について説明する。撮像制御装置130は、ハードウェアとして、CPU151、記憶装置152、入出力インタフェース153、及びこれらを接続するバス154を有する。
CPU151は、撮像制御装置130の全体を制御する。CPU151が記憶装置152等に記憶されているプログラムに基づき処理を実行することによって、撮像制御装置130の各種の機能や、図2に示すフローチャートの処理が実現される。
記憶装置152は、RAM、ROM、HDD等であって、プログラムを記憶したり、CPU151がプログラムに基づき処理を実行する際に利用するデータ等を記憶したりする。
入出力インタフェース153は、撮像制御装置130と、映像入力装置110等の外部装置との入出力の制御を司る。入出力インタフェース153は、撮像制御装置130と収録装置140とを接続するビデオインターフェースを含む。
(撮像制御装置の機能構成)
撮像制御装置130は、CPU151が、記憶装置152等に記憶されたプログラムを実行することにより、図1aに示すように、映像入力部131、人体検出部132、ジェスチャ検出部133、画角変更判定部134、連続操作判定部135、注目領域検出部136、画角設定部137、映像配信部138、及び通信部139として機能する。以下、撮像制御装置130の各構成部について詳細に説明する。
撮像制御装置130は、CPU151が、記憶装置152等に記憶されたプログラムを実行することにより、図1aに示すように、映像入力部131、人体検出部132、ジェスチャ検出部133、画角変更判定部134、連続操作判定部135、注目領域検出部136、画角設定部137、映像配信部138、及び通信部139として機能する。以下、撮像制御装置130の各構成部について詳細に説明する。
映像入力部131は、映像入力装置110で撮像された映像情報を入力し、人体検出部132、及び映像配信部138へ出力する。また、映像入力部131は、映像情報を記憶装置152に記録する。映像入力部131は、例えば過去60フレーム分の映像情報を記憶装置152に記録する。映像入力部131が映像入力手段に相当する。
人体検出部132は、映像入力部131から入力された映像情報を解析して人体を検出する。具体的には、人体検出部132は、映像情報に対して映像内の人体を検出するための人体検出処理を行う。人体の検出手法としては、例えばテンプレートマッチング法や、ディープラーニングにより人体を検出する方法を用いる。人体検出部132は人体を検出すると人体の座標情報(領域情報)を取得する。また、人体検出部132は、検出したすべての人体にユニークなIDを割り当てる。この場合に、記憶装置152に記録される過去の人体検出結果を参照し、検出した人体が過去に検出された人体と同一である場合は、過去に検出された人体と同一のIDを割り当てる。人体検出部132は、映像情報、人体の座標情報、及びID情報をジェスチャ検出部133へ出力する。座標情報は、球面座標系による絶対座標で出力する。人体検出部132が人物検出手段に相当する。
ジェスチャ検出部133は、人体検出部132から入力された映像情報等を解析してジェスチャを検出する。具体的には、ジェスチャ検出部133は、記憶装置152から読み出した過去60フレーム分の映像情報を用いて、映像内の人体が行ったジェスチャを検出する。また、記憶装置152には人体のIDごとに過去の人体の座標情報や映像情報が記憶されており、ジェスチャ検出部133は、人体のIDごとにジェスチャを検出する。ジェスチャの検出手法としては、例えばブロックマッチング法や、ディープラーニングにより人体の動きから検出する方法を用いる。ジェスチャ検出部133は、ジェスチャを検出すると、人体検出部132から入力された人体の座標情報とID情報の中から、ジェスチャを検出した人体の座標情報とID情報を選択する。そして、選択した人体の座標情報及びID情報を、検出したジェスチャの動き情報及び映像情報とともに、画角変更判定部134へ出力する。ジェスチャ検出部133がジェスチャ検出手段に相当する。
画角変更判定部134は、ジェスチャ検出部133で検出されたジェスチャが画角変更が必要なジェスチャであるかを判定する。画角変更判定部134により実行される判定処理が、第1の判定処理に相当する。具体的には、画角変更判定部134は、記憶装置152に予め記憶される画角変更が必要なジェスチャ(以下、画角変更ジェスチャという;所定のジェスチャ)の動き情報を読み出す。そして、画角変更判定部134は、読み出した画角変更ジェスチャの動き情報と、ジェスチャ検出部133から入力されたジェスチャの動き情報のマッチングを行う。マッチングに成功した場合、画角変更判定部134は、検出されたジェスチャが画角変更が必要なジェスチャであるとして、その時刻を画角変更ジェスチャが行われた時点(第1の判定処理を実行した時点に相当する)として記憶装置152に記録する。また、画角変更判定部134は、画角変更ジェスチャが行われた時点に対応付けて、ジェスチャ検出部133から入力された情報を、記憶装置152に記録する。即ち、記憶装置152には、画角変更ジェスチャが行われた時点、及びジェスチャ(第1の判定処理で判定対象としたジェスチャに相当する)の動き情報が、時系列で記憶される。そして、画角変更判定部134は、ジェスチャ検出部133から入力された人体の座標情報、ID情報、ジェスチャの動き情報、及び映像情報を、連続操作判定部135へ出力する。なお、画角変更判定部134は、上記のマッチングに失敗した場合、検出されたジェスチャが画角変更が必要なジェスチャではないとして、何も出力しない。画角変更判定部134が第1の判定手段に相当する。
連続操作判定部135は、画角変更ジェスチャが連続して行われたかを判定する。具体的には、連続操作判定部135は、画角変更判定部134からの入力を受けると、前回の画角変更ジェスチャが行われた時点から、現在までの経過時間を算出する。経過時間が予め規定した時間(所定時間)内である場合、前回行われた画角変更ジェスチャ、及び今回行われた画角変更ジェスチャが、連続したジェスチャであると判定する。そして、今回画角変更判定部134から入力された情報と、前回画角変更判定部134から入力された情報とを合わせて、注目領域検出部136へ出力する。例えば、連続操作判定部135は、今回及び前回の画角変更ジェスチャが行われた時点に対応付けて記憶される情報を記憶装置152から読み出して、注目領域検出部136へ出力する。経過時間が予め規定した時間(所定時間)を超えた場合、今回行われた画角変更ジェスチャが単発のジェスチャであるとして、今回画角変更判定部134から入力された情報のみを、注目領域検出部136へ出力する。連続操作判定部135が第2の判定手段に相当する。
注目領域検出部136は、ジェスチャにより指し示された注目領域を検出する。例えば、人体が指差しのジェスチャを行った場合では、ディープラーニングを用いて検出した人体の関節推定の情報から指差しの角度を算出することで、指差した領域の推定を行い、推定した領域を注目領域として検出する。連続操作判定部135から複数のジェスチャの動き情報が入力された場合には、入力されたすべてのジェスチャの動き情報に対して、注目領域を検出する。注目領域検出部136は、連続操作判定部135から入力された人体の座標情報と、注目領域検出部136にて検出したすべての注目領域についての座標情報とを、画角設定部137へ出力する。座標情報は球面座標系による絶対座標で出力する。注目領域検出部136が領域検出手段に相当する。
画角設定部137は、注目領域検出部136から入力された人体の座標情報と、すべての注目領域の座標情報に基づいて、人体とすべての注目領域とが含まれるように画角を算出する。画角を算出する方法の詳細については図3で後述する。そして、画角設定部137は、算出した画角になるように、パン動作命令を生成する。画角設定部137は、生成したパン動作命令をパン駆動装置120へ出力する。画角設定部137が画角制御手段に相当する。
映像配信部138は、映像入力部131から映像情報を入力されると通信部139へ出力する。
通信部139は、映像配信部138から入力された映像情報を収録装置140へ出力する。
映像配信部138は、映像入力部131から映像情報を入力されると通信部139へ出力する。
通信部139は、映像配信部138から入力された映像情報を収録装置140へ出力する。
(画角の算出方法)
ここで、図3を参照して、第1の実施形態における、画角の算出方法の一例を説明する。映像300は、撮像システム100で画角を制御して撮像された映像である。映像300は、領域301、領域302及び領域303を含む。領域301がジェスチャを行った人体の座標情報に対応する領域である。領域302及び領域303がそれぞれ、注目領域の座標情報に対応する領域である。
ここで、図3を参照して、第1の実施形態における、画角の算出方法の一例を説明する。映像300は、撮像システム100で画角を制御して撮像された映像である。映像300は、領域301、領域302及び領域303を含む。領域301がジェスチャを行った人体の座標情報に対応する領域である。領域302及び領域303がそれぞれ、注目領域の座標情報に対応する領域である。
画角設定部137は、左端座標304及び右端座標306を算出する。左端座標304は、人体、及びすべての注目領域の座標の中で、最も左端に位置する横方向の座標(以下、横方向の座標をx座標という)である。左端余白305は、映像300の画角の左端から左端座標304までのx座標における距離である。同様にして、右端座標306は人体、及びすべての注目領域の右端に位置するx座標である。右端余白307は、映像300の画角の右端から右端座標306までのx座標における距離である。画角設定部137は、左端余白305と右端余白307の距離が同一になるように、横方向(パン方向)の画角を算出する。
(画角制御処理)
次に、図2のフローチャートを参照しながら、第1の実施形態の撮像システム100によって実行される画角制御処理について説明する。画角制御処理は、撮像システム100がユーザの操作により起動された場合に開始される。
S101において、CPU151は、映像入力装置110から映像情報を取得し、取得した映像情報を記憶装置152に記録する。そして処理はS102へ進む。
S102において、CPU151は、取得した映像情報に対して、人体検出処理を行う。そして処理はS103へ進む。
S103において、CPU151は、人体検出処理の結果、人体が検出されたか否かを判定する。CPU151が人体が検出されたと判定した場合、処理はS104へ進む。CPU151が人体が検出されていないと判定した場合、処理はS101へ戻る。
S104において、CPU151は、過去に検出されていない新たな人体を検出したか否かを判定する。CPU151が新たな人体を検出したと判定した場合には、処理はS105へ進む。CPU151が過去に検出された人体と同一であると判定した場合には、過去に検出された人体と同一のIDを割り当てて、処理はS106へ進む。
次に、図2のフローチャートを参照しながら、第1の実施形態の撮像システム100によって実行される画角制御処理について説明する。画角制御処理は、撮像システム100がユーザの操作により起動された場合に開始される。
S101において、CPU151は、映像入力装置110から映像情報を取得し、取得した映像情報を記憶装置152に記録する。そして処理はS102へ進む。
S102において、CPU151は、取得した映像情報に対して、人体検出処理を行う。そして処理はS103へ進む。
S103において、CPU151は、人体検出処理の結果、人体が検出されたか否かを判定する。CPU151が人体が検出されたと判定した場合、処理はS104へ進む。CPU151が人体が検出されていないと判定した場合、処理はS101へ戻る。
S104において、CPU151は、過去に検出されていない新たな人体を検出したか否かを判定する。CPU151が新たな人体を検出したと判定した場合には、処理はS105へ進む。CPU151が過去に検出された人体と同一であると判定した場合には、過去に検出された人体と同一のIDを割り当てて、処理はS106へ進む。
S105において、CPU151は、新たに検出した人体に新規のIDを割り当てる。そして処理はS106へ進む。
S106において、CPU151は、S102で得られた人体の座標情報、ID情報、及び記憶装置152に記憶される過去分の人体の座標情報や映像情報を用いて、映像内の人体が行ったジェスチャを検出する。そして処理はS107へ進む。
S107において、CPU151は、ジェスチャが検出されたか否かを判定する。CPU151がジェスチャが検出されたと判定した場合、処理はS108へ進む。CPU151がジェスチャが検出されていないと判定した場合、処理はS101へ戻る。
S108において、CPU151は、記憶装置152に記憶される画角変更ジェスチャの動き情報と、検出されたジェスチャの動き情報のマッチングを行う。そして処理はS109へ進む。
S106において、CPU151は、S102で得られた人体の座標情報、ID情報、及び記憶装置152に記憶される過去分の人体の座標情報や映像情報を用いて、映像内の人体が行ったジェスチャを検出する。そして処理はS107へ進む。
S107において、CPU151は、ジェスチャが検出されたか否かを判定する。CPU151がジェスチャが検出されたと判定した場合、処理はS108へ進む。CPU151がジェスチャが検出されていないと判定した場合、処理はS101へ戻る。
S108において、CPU151は、記憶装置152に記憶される画角変更ジェスチャの動き情報と、検出されたジェスチャの動き情報のマッチングを行う。そして処理はS109へ進む。
S109において、CPU151は、検出されたジェスチャの動き情報が画角変更ジェスチャの動き情報とマッチしたか否かを判定する。CPU151がマッチしたと判定した場合、マッチしたと判定された時点に対応付けて、マッチしたと判定されたジェスチャの動き情報を記憶装置152に記録し、処理はS110へ進む。CPU151がマッチしないと判定した場合、処理はS101へ戻る。
S110において、CPU151は、前回のS109でマッチしたと判定された時点から、現在までの経過時間を算出する。そして処理はS111へ進む。なお、今回初めてS109でマッチしたと判定された場合には、処理はS113へ進む。
S111において、CPU151は、算出された経過時間が予め規定した時間を超えたか否かを判定する。CPU151が予め規定した時間以内(所定時間内)であると判定した場合、処理はS112へ進む。CPU151が予め規定した時間を超えた(所定時間外)と判定した場合、処理はS113へ進む。
S110において、CPU151は、前回のS109でマッチしたと判定された時点から、現在までの経過時間を算出する。そして処理はS111へ進む。なお、今回初めてS109でマッチしたと判定された場合には、処理はS113へ進む。
S111において、CPU151は、算出された経過時間が予め規定した時間を超えたか否かを判定する。CPU151が予め規定した時間以内(所定時間内)であると判定した場合、処理はS112へ進む。CPU151が予め規定した時間を超えた(所定時間外)と判定した場合、処理はS113へ進む。
S112において、CPU151は、前回のS109でマッチしたと判定されたジェスチャの動き情報と、今回のS109でマッチしたと判定されたジェスチャの動き情報の両方を注目対象とする。そして処理はS114へ進む。
S113において、CPU151は、今回のS109でマッチしたと判定されたジェスチャの動き情報のみを注目対象とする。そして処理はS114へ進む。
S114において、CPU151は、注目対象としたジェスチャの動き情報を用いて、ジェスチャにより指示された注目領域の座標情報を検出する。前回のジェスチャの動き情報と、今回のジェスチャの動き情報の両方を注目対象とした場合には、それぞれのジェスチャ動き情報について、注目領域の座標情報を検出する。そして処理はS115へ進む。
S115において、CPU151は、S114で検出したすべての注目領域の座標情報、及びS102で得られた人体の座標情報に基づいて、画角を算出する。そして処理はS116へ進む。
S113において、CPU151は、今回のS109でマッチしたと判定されたジェスチャの動き情報のみを注目対象とする。そして処理はS114へ進む。
S114において、CPU151は、注目対象としたジェスチャの動き情報を用いて、ジェスチャにより指示された注目領域の座標情報を検出する。前回のジェスチャの動き情報と、今回のジェスチャの動き情報の両方を注目対象とした場合には、それぞれのジェスチャ動き情報について、注目領域の座標情報を検出する。そして処理はS115へ進む。
S115において、CPU151は、S114で検出したすべての注目領域の座標情報、及びS102で得られた人体の座標情報に基づいて、画角を算出する。そして処理はS116へ進む。
S116において、CPU151は、算出した画角になるようパン動作命令を生成し、生成した動作命令をパン駆動装置120へ出力する。そして処理はS117へ進む。
S117において、CPU151は、撮像システム100のジェスチャ検出機能ON/OFFスイッチ(不図示)がOFFされたか否かを判定する。CPU151がOFFされていないと判定した場合、処理はS101に戻る。CPU151がOFFされたと判定した場合、一連の画角制御処理が終了する。
S117において、CPU151は、撮像システム100のジェスチャ検出機能ON/OFFスイッチ(不図示)がOFFされたか否かを判定する。CPU151がOFFされていないと判定した場合、処理はS101に戻る。CPU151がOFFされたと判定した場合、一連の画角制御処理が終了する。
以上のように、第1の実施形態の撮像システム100では、撮像対象の人物が連続したジェスチャを行った際には、連続して行われたジェスチャを考慮した最適な画角になるようにして撮像を行うことが可能になる。例えば、講義の映像を配信する場合に、講師がスライドで投影した資料を、板書で詳細する場面で、スライドと板書を短い時間で交互に指差したとすると、スライドと板書の両方が画角内に収まるようになる。また、撮像対象の人物が単発のジェスチャを行った際には単発で行われたジェスチャのみを考慮した画角になるようにして撮像を行うことが可能になる。これにより、撮像対象の人物の意図する画角で撮像された好適な映像を撮像することができる。
なお、変形例として、本実施形態において、CPU151は、図2のS109でマッチしたと判定された時点に対応付けて、マッチしたと判定されたジェスチャ情報を記録するが、図2のS114で検出された、注目領域の座標情報を記録してもよい。この場合には、前回のジェスチャの動き情報が注目対象とされている場合、S114では、CPU151が、前回のS109でマッチしたと判定された時点に対応付けて記録される、注目領域の座標情報を読み出せばよい。
<第2の実施形態>
以下、本発明の第2の実施形態について説明する。
(撮像システムの全体構成)
次に、図4を参照して、第2の実施形態に係る撮像システム200の全体構成の一例について説明する。図4に示すように、第2の実施形態に係る撮像システム200は、映像入力装置110、パン・チルト・ズーム駆動装置220、撮像制御装置230、及び収録装置140を有する。第2の実施形態では、第1の実施形態のパン駆動装置120に代えて、パン・チルト・ズーム駆動装置220が用いられる。また、撮像システム200は、第2の実施形態に係る撮像制御装置230を含む。第1の実施形態と同一の構成については、同一の符号を付して詳細な説明を省略する。以下、第1実施形態との相違点を中心に説明する。
以下、本発明の第2の実施形態について説明する。
(撮像システムの全体構成)
次に、図4を参照して、第2の実施形態に係る撮像システム200の全体構成の一例について説明する。図4に示すように、第2の実施形態に係る撮像システム200は、映像入力装置110、パン・チルト・ズーム駆動装置220、撮像制御装置230、及び収録装置140を有する。第2の実施形態では、第1の実施形態のパン駆動装置120に代えて、パン・チルト・ズーム駆動装置220が用いられる。また、撮像システム200は、第2の実施形態に係る撮像制御装置230を含む。第1の実施形態と同一の構成については、同一の符号を付して詳細な説明を省略する。以下、第1実施形態との相違点を中心に説明する。
パン・チルト・ズーム駆動装置220は、映像入力装置110の撮像方向(パン・チルト方向)及びズーム率を変更する装置であり、モーター、ギア等により構成される。パン・チルト・ズーム駆動装置220は、撮像制御装置230からパン・チルト・ズーム動作の一連の動作命令を受け取ると、受け取った動作命令に従って、モーターを制御しパン・チルト・ズーム動作を行う。
撮像制御装置230は、第1の実施形態と同様に、映像入力装置110で撮像された映像情報を解析して、映像入力装置110の画角を変更するように制御する装置である。具体的には、撮像制御装置230は、映像情報から検出したジェスチャに基づいてパン・チルト・ズーム動作の動作命令を生成する。撮像制御装置230は、生成した動作命令をパン・チルト・ズーム駆動装置220へ出力する。
撮像制御装置230は、第1の実施形態と同様に、映像入力装置110で撮像された映像情報を解析して、映像入力装置110の画角を変更するように制御する装置である。具体的には、撮像制御装置230は、映像情報から検出したジェスチャに基づいてパン・チルト・ズーム動作の動作命令を生成する。撮像制御装置230は、生成した動作命令をパン・チルト・ズーム駆動装置220へ出力する。
(撮像制御装置のハードウェア構成)
撮像制御装置230は、図1bと同様に、ハードウェアとして、CPU151、記憶装置152、入出力インタフェース153、及びこれらを接続するバス154を有する。
CPU151は、撮像制御装置230の全体を制御する。CPU151が記憶装置152等に記憶されているプログラムに基づき処理を実行することによって、撮像制御装置230の各種の機能や、図5に示すフローチャートの処理が実現される。
記憶装置152は、RAM、ROM、HDD等であって、プログラムを記憶したり、CPU151がプログラムに基づき処理を実行する際に利用するデータ等を記憶したりする。
入出力インタフェース153は、撮像制御装置230と、映像入力装置110等の外部装置との入出力の制御を司る。入出力インタフェース153は、撮像制御装置230と、収録装置140とを接続するビデオインターフェースを含む。
撮像制御装置230は、図1bと同様に、ハードウェアとして、CPU151、記憶装置152、入出力インタフェース153、及びこれらを接続するバス154を有する。
CPU151は、撮像制御装置230の全体を制御する。CPU151が記憶装置152等に記憶されているプログラムに基づき処理を実行することによって、撮像制御装置230の各種の機能や、図5に示すフローチャートの処理が実現される。
記憶装置152は、RAM、ROM、HDD等であって、プログラムを記憶したり、CPU151がプログラムに基づき処理を実行する際に利用するデータ等を記憶したりする。
入出力インタフェース153は、撮像制御装置230と、映像入力装置110等の外部装置との入出力の制御を司る。入出力インタフェース153は、撮像制御装置230と、収録装置140とを接続するビデオインターフェースを含む。
(撮像制御装置の機能構成)
撮像制御装置230は、CPU151が、記憶装置152等に記憶されたプログラムを実行することにより、図4に示すように、映像入力部131、人体検出部132、ジェスチャ検出部133、ジェスチャ特徴判定部231、画角変更判定部134、連続操作判定部135、注目領域検出部136、画角設定部137、映像配信部138、及び通信部139として機能する。撮像制御装置230は、第1の実施形態の撮像制御装置130の各構成部に加えて、さらにジェスチャ特徴判定部231を有する。以下、ジェスチャ特徴判定部231、及び第1の実施形態とは機能の異なる構成部について詳細に説明する。
撮像制御装置230は、CPU151が、記憶装置152等に記憶されたプログラムを実行することにより、図4に示すように、映像入力部131、人体検出部132、ジェスチャ検出部133、ジェスチャ特徴判定部231、画角変更判定部134、連続操作判定部135、注目領域検出部136、画角設定部137、映像配信部138、及び通信部139として機能する。撮像制御装置230は、第1の実施形態の撮像制御装置130の各構成部に加えて、さらにジェスチャ特徴判定部231を有する。以下、ジェスチャ特徴判定部231、及び第1の実施形態とは機能の異なる構成部について詳細に説明する。
ジェスチャ特徴判定部231は、ジェスチャ検出部133で検出されたジェスチャの特徴情報を判定する。具体的には、記憶装置152にはジェスチャに関する特徴情報が登録されたデータベース(特徴情報データベースという)が予め記憶されており、ジェスチャ特徴判定部231は、ジェスチャ検出部133からの入力を受けると、特徴情報データベースを読み出す。そして、ジェスチャ特徴判定部231は、ジェスチャ検出部133で検出されたジェスチャの動き情報をキーにして、特徴情報データベースを検索し、検出されたジェスチャに対応する特徴情報を取得する。ジェスチャ特徴判定部231は、ジェスチャ検出部133から入力された人体の座標情報、ID情報、検出されたジェスチャの動き情報、ジェスチャの特徴情報、及び映像情報を、画角変更判定部134へ出力する。
図6は、特徴情報データベースの一例である。ジェスチャに関する特徴情報が、ジェスチャ動き情報601に対応付けて設定されている。ジェスチャ動き情報601としては、例えば、「領域を指さす」、「指で領域を囲うように円を描く」、「両手で×の字を作る」、「上にあげた両手を下に下ろす」がある。ジェスチャ特徴判定部231は、ジェスチャ動き情報601と、ジェスチャ検出部133で検出されたジェスチャの動き情報とのマッチングを行い、マッチしたジェスチャ動き情報601に対応付けて設定される特徴情報を取得する。取得した特徴情報は、画角変更判定部134及び連続操作判定部135で実行される処理に用いられる。特徴情報は、画角変更要否602、ジェスチャ連続受付可否603、ジェスチャ連続受付時間補正値604、ジェスチャ抑止処理フラグ605、及びジェスチャ抑止時間606から構成される。
画角変更要否602には、画角変更が必要であるか不要であるかが設定される。ジェスチャ連続受付可否603には、連続操作判定部135による判定が有効であるか無効であるかが設定される。ジェスチャ連続受付時間補正値604(補正時間に相当する)は、連続操作判定部135が連続受付時間を算出するために用いられる。ジェスチャ抑止処理フラグ605には、画角変更を抑止するか、抑止を解除するかが設定される。ジェスチャ抑止時間606は、ジェスチャ抑止処理フラグ605が「抑止する」の場合に、画角変更抑止解除時刻を算出するために用いられる。
第2の実施形態において、画角変更判定部134は、ジェスチャ特徴判定部231からジェスチャの特徴情報が入力されると、特徴情報のジェスチャ抑止処理フラグ605が「抑止する」である場合、内部状態を画角変更抑止状態に設定する。さらに、画角変更判定部134は、特徴情報のジェスチャ抑止時間606に設定された時間を用いて、画角変更抑止解除時刻を算出し、記憶装置152に記憶する。ジェスチャ抑止時間606は、画角変更抑止状態の継続時間である。例えば、ジェスチャ抑止時間606が「30秒」である場合、現在時刻から30秒後の時刻を、画角変更抑止解除時刻として記憶する。また、画角変更判定部134は、特徴情報のジェスチャ抑止処理フラグ605が「抑止解除する」である場合、又は現在時刻が記憶装置152に記憶された画角変更抑止解除時刻より後である場合、画角変更抑止状態の設定を解除する。
第2の実施形態において、画角変更判定部134は、内部状態が画角変更抑止状態に設定されていない、且つジェスチャ特徴判定部231から入力されたジェスチャの特徴情報の画角変更要否602が「必要」であるかを判定する。そして、これらの条件が揃っている場合には、画角変更判定部134は、画角変更が必要であると判定する。第2の実施形態において、画角変更判定部134は、画角変更が必要であると判定した場合に、その時刻を画角変更ジェスチャが行われた時点(第1の判定処理を実行した時点に相当する)として記憶装置152に記憶する。また、画角変更判定部134は、画角変更ジェスチャが行われた時点に対応付けて、ジェスチャ特徴判定部231から入力された情報を、記憶装置152に記録する。そして、画角変更判定部134は、ジェスチャ特徴判定部231から入力された人体の座標情報、ID情報、検出したジェスチャの動き情報、特徴情報、及び映像情報を、連続操作判定部135へ出力する。
第2の実施形態において、連続操作判定部135は、画角変更ジェスチャが連続して行われたかを判定するために使用する連続受付時間を算出する。まず、連続操作判定部135は、第1の実施形態と同様に、画角変更判定部134からの入力を受けると、前回の画角変更ジェスチャが行われた時点から、現在までの経過時間を算出する。次に、連続操作判定部135は、経過時間と連続受付時間を比較する。連続受付時間としてのYは、現在の連続受付ジェスチャ数をX、前回連続操作判定部135に入力された特徴情報のジェスチャ連続受付時間補正値604をZとして、以下の式(1)で算出される。なお、連続受付時間を算出する方法は、以下の式(1)を用いる方法に限られず、連続受付ジェスチャ数に応じて変化するのであれば、他の方法により算出されても構わない。連続受付ジェスチャ数は、連続操作判定部135が、連続したジェスチャであると連続して判定した回数に対応する。
Y=(1.0+(X−1)×0.5))×Z・・・(1)
Y=(1.0+(X−1)×0.5))×Z・・・(1)
連続操作判定部135は、前記比較の結果、経過時間が連続受付時間より小さい場合には、前回行われた画角変更ジェスチャ、及び今回行われた画角変更ジェスチャが、連続したジェスチャであると判定する。そして、連続操作判定部135は、記憶装置152に記憶される連続受付ジェスチャ数に1を加算する。このように、連続操作判定部135は、連続したジェスチャであると連続して判定した回数をカウントする。さらに、連続操作判定部135は、今回画角変更判定部134から入力された情報と、前回までに画角変更判定部134から入力されたすべての情報とを合わせて、注目領域検出部136へ出力する。例えば、連続操作判定部135は、画角変更ジェスチャが行われた時点に対応付けて記憶される情報のうち、新しい順から連続受付ジェスチャ数に対応する数の情報を記憶装置152から読み出して、注目領域検出部136へ出力する。
また、連続操作判定部135は、前記比較の結果、経過時間が連続受付時間以上の場合には、今回行われた画角変更ジェスチャが単発のジェスチャであるとする。連続操作判定部135は、記憶装置152に記憶される連続受付ジェスチャ数を1に設定した上で、今回画角変更判定部134から入力された情報のみを、注目領域検出部136へ出力する。
また、連続操作判定部135は、前記比較の結果、経過時間が連続受付時間以上の場合には、今回行われた画角変更ジェスチャが単発のジェスチャであるとする。連続操作判定部135は、記憶装置152に記憶される連続受付ジェスチャ数を1に設定した上で、今回画角変更判定部134から入力された情報のみを、注目領域検出部136へ出力する。
ただし、第2の実施形態において、連続操作判定部135は、画角変更判定部134から入力された特徴情報のジェスチャ連続受付可否603が「可能」でない場合、前記比較の結果に依らず、今回行われた画角変更ジェスチャが単発のジェスチャであるとする。この場合も、連続操作判定部135は、記憶装置152に記憶される連続受付ジェスチャ数を1に設定した上で、今回画角変更判定部134から入力された情報のみを、注目領域検出部136へ出力する。このように、特徴情報のジェスチャ連続受付可否603が「可能」である場合には、連続操作判定部135による判定処理が有効になり、特徴情報のジェスチャ連続受付可否603が「可能」でない場合には、連続操作判定部135による判定処理が無効になる。
第2の実施形態において、画角設定部137は、注目領域検出部136から入力された人体の座標情報と、すべての注目領域の座標情報に基づいて、人体とすべての注目領域とが含まれるように画角を算出する。画角を算出する方法の詳細については図7で後述する。そして、画角設定部137は、算出した画角になるように、パン動作命令、チルト動作命令及びズーム動作命令を生成する。
(画角の算出方法)
ここで、図7を参照して、第2の実施形態における、画角の算出方法の一例を説明する。以下、パン方向、チルト方向及びズーム率に分けて説明する。映像700は、撮像システム200で画角を制御して撮像された映像である。映像700は、領域701、領域702、領域703、領域704及び領域705を含む。領域701がジェスチャを行った人体の座標情報に対応する領域である。領域702、領域703、領域704、及び領域705がそれぞれ、注目領域の座標情報に対応する領域である。
ここで、図7を参照して、第2の実施形態における、画角の算出方法の一例を説明する。以下、パン方向、チルト方向及びズーム率に分けて説明する。映像700は、撮像システム200で画角を制御して撮像された映像である。映像700は、領域701、領域702、領域703、領域704及び領域705を含む。領域701がジェスチャを行った人体の座標情報に対応する領域である。領域702、領域703、領域704、及び領域705がそれぞれ、注目領域の座標情報に対応する領域である。
まず、パン方向の画角の算出方法について説明する。画角設定部137は、左端座標706のように、すべての人体、及びすべての注目領域の座標の中で、最も左端に位置するx座標を算出する。左端余白708は、映像700の画角の左端から左端座標706までのx座標における距離である。同様に、右端座標707はすべての人体、及び注目領域の右端のx座標であり、右端余白709は映像700の画角の右端から右端座標707までのx座標における距離である。画角設定部137は、左端余白708と右端余白709の距離が同一となるように、横方向(パン方向)の画角を算出する。
次に、チルト方向の画角の算出方法について説明する。画角設定部137は、上端座標710のように、すべての人体、及び注目領域の座標の中で、最も上端に位置する縦方向の座標(以下、y座標と記載)を算出する。上端余白712は、映像700の画角の上端から上端座標710までのy座標における距離である。同様に、下端座標711はすべての人体、及び注目領域の下端のy座標であり、下端余白713は映像700の画角の下端から下端座標711までのy座標における距離である。画角設定部137は、上端余白712と下端余白713の距離が同一となるように、縦方向(チルト方向)の画角を算出する。
最後に、ズーム率の算出方法について説明する。画角のズーム倍率は、次に示す2つの条件を満たすように算出される。1つ目の条件は、x座標におけるズームの条件であり、横幅715が映像700の画角の横の長さとすると、左端余白708及び右端余白709の距離が横幅715の長さの10%以上とすることである。2つ目の条件は、y座標におけるズームの条件であり、縦幅714が映像700の画角の縦の長さとすると、上端余白712及び下端余白713の距離が縦幅714の長さの10%以上とすることである。画角設定部137は、この2つの条件を満たしつつ、最大となるズーム率を算出する。
(画角制御処理)
次に、図5のフローチャートを参照しながら、第2の実施形態の撮像システム200によって実行される画角制御処理について説明する。画角制御処理は、撮像システム200がユーザの操作により起動された場合に開始される。
次に、図5のフローチャートを参照しながら、第2の実施形態の撮像システム200によって実行される画角制御処理について説明する。画角制御処理は、撮像システム200がユーザの操作により起動された場合に開始される。
まず、S201〜S205において、CPU151は、図2のS101〜S105と同様の処理を実行する。
S206において、CPU151は、映像内の人体が行ったジェスチャを検出する。第2の実施形態では、映像内の人体が行ったジェスチャのうち、記憶装置152に記憶される特徴情報データベースのジェスチャ動き情報601のいずれかにマッチするジェスチャを検出する。
S207において、CPU151は、ジェスチャを検出したか否かを判定する。CPU151がジェスチャを検出したと判定した場合、処理はS208へ進む。CPU151がジェスチャを検出していないと判定した場合、処理はS201へ戻る。
S208において、CPU151は、検出したジェスチャの特徴情報を特徴情報データベースから取得する。そして処理はS209へ進む。
S206において、CPU151は、映像内の人体が行ったジェスチャを検出する。第2の実施形態では、映像内の人体が行ったジェスチャのうち、記憶装置152に記憶される特徴情報データベースのジェスチャ動き情報601のいずれかにマッチするジェスチャを検出する。
S207において、CPU151は、ジェスチャを検出したか否かを判定する。CPU151がジェスチャを検出したと判定した場合、処理はS208へ進む。CPU151がジェスチャを検出していないと判定した場合、処理はS201へ戻る。
S208において、CPU151は、検出したジェスチャの特徴情報を特徴情報データベースから取得する。そして処理はS209へ進む。
S209において、CPU151は、S208で取得した特徴情報のジェスチャ抑止処理フラグ605が「抑止する」であるか否かを判定する。CPU151がジェスチャ抑止処理フラグ605が「抑止する」であると判定した場合、処理はS210へ進む。CPU151がジェスチャ抑止処理フラグ605が「抑止する」ではないと判定した場合、処理はS212へ進む。
S210において、CPU151は、内部状態を画角変更抑止状態に設定する。そして処理はS211へ進む。
S211において、CPU151は、S208で取得した特徴情報のジェスチャ抑止時間606に設定された時間から、画角変更抑止解除時刻を算出し記憶装置152に記憶する。そして処理はS212へ進む。
S210において、CPU151は、内部状態を画角変更抑止状態に設定する。そして処理はS211へ進む。
S211において、CPU151は、S208で取得した特徴情報のジェスチャ抑止時間606に設定された時間から、画角変更抑止解除時刻を算出し記憶装置152に記憶する。そして処理はS212へ進む。
S212において、CPU151は、S208で取得した特徴情報のジェスチャ抑止処理フラグ605が「抑止解除する」であるか否かを判定する。CPU151がジェスチャ抑止処理フラグ605が「抑止解除する」であると判定した場合、処理はS214へ進む。CPU151がジェスチャ抑止処理フラグ605が「抑止解除する」ではないと判定した場合、処理はS213へ進む。
S213において、CPU151は、現在時刻が記憶装置152に記憶された画角変更抑止解除時刻より後であるか否かを判定する。CPU151が現在時刻が画角変更抑止解除時刻より後であると判定した場合、処理はS214へ進む。CPU151が現在時刻が画角変更抑止解除時刻より後ではないと判定した場合、処理はS215へ進む。
S213において、CPU151は、現在時刻が記憶装置152に記憶された画角変更抑止解除時刻より後であるか否かを判定する。CPU151が現在時刻が画角変更抑止解除時刻より後であると判定した場合、処理はS214へ進む。CPU151が現在時刻が画角変更抑止解除時刻より後ではないと判定した場合、処理はS215へ進む。
S214において、CPU151は、内部状態の画角変更抑止状態を解除する。そして処理はS215へ進む。
S215において、CPU151は、内部状態が画角変更抑止状態であるか否かを判定する。CPU151が画角変更抑止状態であると判定した場合、処理はS201へ戻る。CPU151が画角変更抑止状態ではないと判定した場合、処理はS216へ進む。
S215において、CPU151は、内部状態が画角変更抑止状態であるか否かを判定する。CPU151が画角変更抑止状態であると判定した場合、処理はS201へ戻る。CPU151が画角変更抑止状態ではないと判定した場合、処理はS216へ進む。
S216において、CPU151は、S208で取得した特徴情報の画角変更要否602が「必要」であるか否かを判定する。CPU151が画角変更要否602が「必要」であると判定した場合、処理はS217へ進む。CPU151が画角変更要否602が「不要」であると判定した場合、処理はS201へ戻る。
S217において、CPU151は、前回のS216で画角変更要否602が「必要」であると判定された時点から、現在までの経過時間を算出する。そして処理はS217へ進む。なお、今回初めてS216で画角変更要否602が「必要」であると判定された場合には、処理はS225へ進む。
S217において、CPU151は、前回のS216で画角変更要否602が「必要」であると判定された時点から、現在までの経過時間を算出する。そして処理はS217へ進む。なお、今回初めてS216で画角変更要否602が「必要」であると判定された場合には、処理はS225へ進む。
S218において、CPU151は、記憶装置152に記憶される連続受付ジェスチャ数を取得する。そして処理はS219へ進む。
S219において、CPU151は、S208で取得した特徴情報のジェスチャ連続受付時間補正値604を取得する。なお、CPU151は前回のS208で取得した特徴情報を記憶装置152から読み出して、読み出した特徴情報のジェスチャ連続受付時間補正値604を取得してもよい。そして処理はS220へ進む。
S219において、CPU151は、S208で取得した特徴情報のジェスチャ連続受付時間補正値604を取得する。なお、CPU151は前回のS208で取得した特徴情報を記憶装置152から読み出して、読み出した特徴情報のジェスチャ連続受付時間補正値604を取得してもよい。そして処理はS220へ進む。
S220において、CPU151は、連続受付ジェスチャ数とジェスチャ連続受付時間補正値604を用いて連続受付時間を算出する。そして処理はS221へ進む。
S221において、CPU151は、S217で算出した経過時間がS220で算出した連続受付時間以上であるか否かを判別する。CPU151が経過時間が連続受付時間以上であると判定した場合、処理はS225へ進む。CPU151が経過時間が連続受付時間未満であると判定した場合、処理はS222へ進む。
S222において、CPU151は、S208で取得した特徴情報のジェスチャ連続受付可否603が「可能」であるか否かを判定する。CPU151がジェスチャ連続受付可否603が「可能」であると判定した場合、「可能」であると判定された時点に対応付けて、「可能」であると判定されたジェスチャの動き情報を記憶装置152に記録し、処理はS223へ進む。CPU151がジェスチャ連続受付可否603が「可能」ではないと判定した場合、処理はS225へ進む。
S223において、CPU151は、記憶装置152に記憶される連続受付ジェスチャ数に1を加算する。そして処理はS224へ進む。
S224において、CPU151は、連続して行われたすべてのジェスチャの動き情報を注目対象とする。そして処理はS227へ進む。
S221において、CPU151は、S217で算出した経過時間がS220で算出した連続受付時間以上であるか否かを判別する。CPU151が経過時間が連続受付時間以上であると判定した場合、処理はS225へ進む。CPU151が経過時間が連続受付時間未満であると判定した場合、処理はS222へ進む。
S222において、CPU151は、S208で取得した特徴情報のジェスチャ連続受付可否603が「可能」であるか否かを判定する。CPU151がジェスチャ連続受付可否603が「可能」であると判定した場合、「可能」であると判定された時点に対応付けて、「可能」であると判定されたジェスチャの動き情報を記憶装置152に記録し、処理はS223へ進む。CPU151がジェスチャ連続受付可否603が「可能」ではないと判定した場合、処理はS225へ進む。
S223において、CPU151は、記憶装置152に記憶される連続受付ジェスチャ数に1を加算する。そして処理はS224へ進む。
S224において、CPU151は、連続して行われたすべてのジェスチャの動き情報を注目対象とする。そして処理はS227へ進む。
S225において、CPU151は、記憶装置152に記憶される連続受付ジェスチャ数に1を設定する。そして処理はS226へ進む。
S226において、CPU151は、今回のS216で画角変更要否602が「必要」であると判定されたジェスチャの動き情報のみを注目対象とする。そして処理はS227へ進む。
S227において、CPU151は、注目対象としたすべてのジェスチャの動き情報を用いて、ジェスチャにより指示された注目領域の座標情報を検出する。そして処理はS228へ進む。
S226において、CPU151は、今回のS216で画角変更要否602が「必要」であると判定されたジェスチャの動き情報のみを注目対象とする。そして処理はS227へ進む。
S227において、CPU151は、注目対象としたすべてのジェスチャの動き情報を用いて、ジェスチャにより指示された注目領域の座標情報を検出する。そして処理はS228へ進む。
S228において、CPU151は、S227で検出したすべての注目領域の座標情報、及びS102で得られた人体の座標情報に基づいて、画角を算出する。そして処理はS229へ進む。
S229において、CPU151は、算出した画角になるようパン・チルト・ズーム動作命令を生成し、生成した動作命令をパン・チルト・ズーム駆動装置220へ出力する。そして処理は230へ進む。
S230において、CPU151は、撮像システム100のジェスチャ検出機能ON/OFFスイッチ(不図示)がOFFされたか否かを判定する。CPU151がOFFされていないと判定した場合、処理はS201に戻る。CPU151がOFFされたと判定した場合、一連の画角制御処理が終了する。
S229において、CPU151は、算出した画角になるようパン・チルト・ズーム動作命令を生成し、生成した動作命令をパン・チルト・ズーム駆動装置220へ出力する。そして処理は230へ進む。
S230において、CPU151は、撮像システム100のジェスチャ検出機能ON/OFFスイッチ(不図示)がOFFされたか否かを判定する。CPU151がOFFされていないと判定した場合、処理はS201に戻る。CPU151がOFFされたと判定した場合、一連の画角制御処理が終了する。
以上のように、第2の実施形態の撮像システム200では、撮像対象の人物が連続したジェスチャを行った際には、連続して行われたすべてのジェスチャを考慮した最適な画角になるようにして撮像を行うことが可能になる。例えば、3つ以上のジェスチャが短い時間で連続して行われた際には、連続して行われた3つ以上のジェスチャを考慮した最適な画角になるようにして撮像を行うことができる。また、行われたジェスチャによっては、連続してジェスチャが行われても最後のジェスチャのみを考慮する制御や、画角変更を抑止する制御を実現することができる。これにより、撮像対象の人物の意図する画角で撮像された好適な映像を撮像することができる。
以上、本発明を実施形態と共に説明したが、上記実施形態は本発明を実施するにあたっての具体化の例を示したものに過ぎず、これらによって本発明の技術的範囲が限定的に解釈されてはならないものである。すなわち、本発明はその技術思想、又はその主要な特徴から逸脱することなく、様々な形で実施することができる。
(その他の実施形態)
本発明は、上述の実施形態の1以上の機能を実現するプログラムを、ネットワーク又は記録媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける1つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、1以上の機能を実現する回路(例えば、ASIC)によっても実現可能である。
本発明は、上述の実施形態の1以上の機能を実現するプログラムを、ネットワーク又は記録媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける1つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、1以上の機能を実現する回路(例えば、ASIC)によっても実現可能である。
100,200:撮像システム、110:映像入力装置、120:パン駆動装置、130,230:撮像制御装置、140:収録装置、220:パン・チルト・ズーム駆動装置
Claims (17)
- 撮像対象の人物を撮像する撮像装置から映像情報を入力する映像入力手段と、
前記映像情報を解析して前記人物のジェスチャを検出するジェスチャ検出手段と、
前記ジェスチャ検出手段により検出されたジェスチャが、所定のジェスチャであるか判定する第1の判定処理を実行する第1の判定手段と、
前記第1の判定処理により前記所定のジェスチャであると判定された場合に、前記第1の判定処理を実行した時点を記憶するとともに、前回前記所定のジェスチャであると判定した前記第1の判定処理を実行した時点からの経過時間が所定時間内であるかを判定する第2の判定手段と、
前記第2の判定手段により前記所定時間内であると判定された場合に、前記第1の判定処理で判定対象としたジェスチャの動き情報、及び前回前記所定のジェスチャであると判定した前記第1の判定処理で判定対象としたジェスチャの動き情報のそれぞれに対応する、前記映像情報における注目領域を検出する領域検出手段と、
前記領域検出手段により検出されたすべての前記注目領域に基づいて、前記撮像装置の画角を変更するように制御する画角制御手段と、
を有することを特徴とする撮像制御装置。 - 前記領域検出手段は、前記第2の判定手段により前記所定時間外であると判定された場合に、前記第1の判定処理で判定対象としたジェスチャの動き情報に対応する前記注目領域を検出し、前回前記所定のジェスチャであると判定した前記第1の判定処理で判定対象としたジェスチャの動き情報については、前記注目領域を検出しないことを特徴とする請求項1に記載の撮像制御装置。
- 前記第1の判定手段は、前記第1の判定処理により前記所定のジェスチャであると判定された場合に、前記第1の判定処理を実行した時点に対応付けて、判定対象としたジェスチャの動き情報を記憶することを特徴とする請求項1又は2に記載の撮像制御装置。
- 前記映像情報を解析して前記人物の領域情報を検出する人物検出手段をさらに有し、
前記画角制御手段は、前記人物検出手段により検出された人物の領域情報に基づいて、前記撮像装置の画角を変更するように制御することを特徴とする請求項1乃至3何れか1項に記載の撮像制御装置。 - 前記第2の判定手段は、前記所定時間内であると連続して判定した回数をカウントし、
前記領域検出手段は、前記第2の判定手段によりカウントされた回数に基づいて、前回よりも前に前記所定のジェスチャであると判定した前記第1の判定処理で判定対象としたジェスチャの動き情報に対応する、前記注目領域を検出することを特徴とする請求項1乃至4何れか1項に記載の撮像制御装置。 - 前記第2の判定手段は、前記カウントされた回数に基づいて前記所定時間を変化させることを特徴とする請求項5に記載の撮像制御装置。
- 前記所定のジェスチャには、補正時間が設定されており、
前記第2の判定手段は、前記補正時間に基づいて前記所定時間を設定することを特徴とする請求項1乃至6何れか1項に記載の撮像制御装置。 - 前記所定のジェスチャには、第2の判定手段による判定処理の有効又は無効が設定されており、
前記領域検出手段は、前記所定のジェスチャの設定が有効である場合であって、前記第2の判定手段により前記所定時間内であると判定された場合に、前記第1の判定処理で判定対象としたジェスチャの動き情報、及び前回前記所定のジェスチャであると判定した前記第1の判定処理で判定対象としたジェスチャの動き情報のそれぞれに対応する、前記映像情報における注目領域を検出し、
前記所定のジェスチャの設定が無効である場合には、前記第2の判定手段により前記所定時間内であると判定された場合であっても、前記第1の判定処理で判定対象としたジェスチャの動き情報に対応する前記注目領域を検出し、前回前記所定のジェスチャであると判定した前記第1の判定処理で判定対象としたジェスチャの動き情報については、前記注目領域を検出しないことを特徴とする請求項1乃至7何れか1項に記載の撮像制御装置。 - 前記第1の判定手段は、前記ジェスチャ検出手段により検出されたジェスチャが、画角の変更を抑止するジェスチャであるかを判定するとともに、前記画角の変更を抑止するジェスチャであると判定された場合に、画角変更抑止状態を設定し、
前記画角制御手段は、前記画角変更抑止状態にある場合には、前記第1の判定手段により前記所定のジェスチャであると判定された場合であっても、画角を変更しないように制御することを特徴とする請求項1乃至8何れか1項に記載の撮像制御装置。 - 前記第1の判定手段は、前記ジェスチャ検出手段により検出されたジェスチャが、前記画角変更抑止状態を解除するジェスチャであるかを判定するとともに、前記画角変更抑止状態を解除するジェスチャであると判定された場合に、前記画角変更抑止状態を解除し、
前記画角制御手段は、前記画角変更抑止状態が解除された後で、前記第1の判定手段により前記所定のジェスチャであると判定された場合には、画角を変更するように制御することを特徴とする請求項9に記載の撮像制御装置。 - 前記画角の変更を抑止するジェスチャには、前記画角変更抑止状態の継続時間が設定されており、
前記第1の判定手段は、前記画角の変更を抑止するジェスチャであると判定された時点から前記継続時間が経過した場合に、前記画角変更抑止状態を解除し、
前記画角制御手段は、前記画角変更抑止状態が解除された後で、前記第1の判定手段により前記所定のジェスチャであると判定された場合には、画角を変更するように制御することを特徴とする請求項9又は10に記載の撮像制御装置。 - 前記画角制御手段は、前記領域検出手段により検出されたすべての前記注目領域が、前記撮像装置の画角に含まれるように制御することを特徴とする請求項1乃至11何れか1項に記載の撮像制御装置。
- 前記画角制御手段は、前記撮像装置のパン方向の動作を制御することを特徴とする請求項1乃至12何れか1項に記載の撮像制御装置。
- 前記画角制御手段は、前記撮像装置のチルト方向の動作を制御することを特徴とする請求項1乃至13何れか1項に記載の撮像制御装置。
- 前記画角制御手段は、前記撮像装置のズーム率を制御することを特徴とする請求項1乃至14何れか1項に記載の撮像制御装置。
- 撮像対象の人物を撮像する撮像装置から映像情報を入力する映像入力ステップと、
前記映像情報を解析して前記人物のジェスチャを検出するジェスチャ検出ステップと、
前記ジェスチャ検出ステップにより検出されたジェスチャが、所定のジェスチャであるか判定する第1の判定処理を実行する第1の判定ステップと、
前記第1の判定処理により前記所定のジェスチャであると判定された場合に、前記第1の判定処理を実行した時点を記憶するとともに、前回前記所定のジェスチャであると判定した前記第1の判定処理を実行した時点からの経過時間が所定時間内であるかを判定する第2の判定ステップと、
前記第2の判定ステップにより前記所定時間内であると判定された場合に、前記第1の判定処理で判定対象としたジェスチャの動き情報、及び前回前記所定のジェスチャであると判定した前記第1の判定処理で判定対象としたジェスチャの動き情報のそれぞれに対応する、前記映像情報における注目領域を検出する領域検出ステップと、
前記領域検出ステップにより検出されたすべての前記注目領域に基づいて、前記撮像装置の画角を変更するように制御する画角制御ステップと、
を含むことを特徴とする撮像制御方法。 - 請求項1乃至15何れか1項に記載の撮像制御装置の各手段としてコンピュータを機能させるためのプログラム。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2020087630A JP2021182702A (ja) | 2020-05-19 | 2020-05-19 | 撮像制御装置、撮像制御方法、及びプログラム |
US17/318,935 US11451705B2 (en) | 2020-05-19 | 2021-05-12 | Imaging control apparatus, imaging control method, and storage medium |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2020087630A JP2021182702A (ja) | 2020-05-19 | 2020-05-19 | 撮像制御装置、撮像制御方法、及びプログラム |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2021182702A true JP2021182702A (ja) | 2021-11-25 |
Family
ID=78606878
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2020087630A Pending JP2021182702A (ja) | 2020-05-19 | 2020-05-19 | 撮像制御装置、撮像制御方法、及びプログラム |
Country Status (2)
Country | Link |
---|---|
US (1) | US11451705B2 (ja) |
JP (1) | JP2021182702A (ja) |
Family Cites Families (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US8743269B2 (en) * | 2009-06-15 | 2014-06-03 | Olympus Imaging Corp. | Photographing device, photographing method, and playback method |
JP5914364B2 (ja) * | 2011-01-18 | 2016-05-11 | 富士フイルム株式会社 | オートフォーカスシステム |
US9417754B2 (en) * | 2011-08-05 | 2016-08-16 | P4tents1, LLC | User interface system, method, and computer program product |
JP6316540B2 (ja) | 2012-04-13 | 2018-04-25 | 三星電子株式会社Samsung Electronics Co.,Ltd. | カメラ装置及びその制御方法 |
KR102059598B1 (ko) * | 2013-01-29 | 2019-12-26 | 삼성전자주식회사 | 디지털 촬영 장치 및 그의 제어 방법 |
US20150201124A1 (en) * | 2014-01-15 | 2015-07-16 | Samsung Electronics Co., Ltd. | Camera system and method for remotely controlling compositions of self-portrait pictures using hand gestures |
CN115220475A (zh) * | 2015-12-09 | 2022-10-21 | 深圳市大疆创新科技有限公司 | 用于uav飞行控制的系统和方法 |
US20200401794A1 (en) * | 2018-02-16 | 2020-12-24 | Nippon Telegraph And Telephone Corporation | Nonverbal information generation apparatus, nonverbal information generation model learning apparatus, methods, and programs |
JP6859970B2 (ja) * | 2018-03-09 | 2021-04-14 | 京セラドキュメントソリューションズ株式会社 | ログイン支援システム |
US10999495B1 (en) * | 2019-11-05 | 2021-05-04 | Valuedata Co., Ltd. | Internet of things-based indoor selfie-supporting camera system |
-
2020
- 2020-05-19 JP JP2020087630A patent/JP2021182702A/ja active Pending
-
2021
- 2021-05-12 US US17/318,935 patent/US11451705B2/en active Active
Also Published As
Publication number | Publication date |
---|---|
US20210368092A1 (en) | 2021-11-25 |
US11451705B2 (en) | 2022-09-20 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN109710071B (zh) | 一种屏幕控制方法和装置 | |
US10659676B2 (en) | Method and apparatus for tracking a moving subject image based on reliability of the tracking state | |
JP4241742B2 (ja) | 自動追尾装置及び自動追尾方法 | |
JP6755713B2 (ja) | 追尾装置、追尾方法及びプログラム | |
US9964624B2 (en) | Computer vision-based object tracking system | |
KR102012254B1 (ko) | 이동 단말기를 이용한 사용자 응시점 추적 방법 및 그 장치 | |
JP6806188B2 (ja) | 情報処理システム、情報処理方法及びプログラム | |
JP5001930B2 (ja) | 動作認識装置及び方法 | |
JP6668942B2 (ja) | 撮影制御装置、プログラム及び方法 | |
JP6575845B2 (ja) | 画像処理システム、画像処理方法及びプログラム | |
JP2010205223A (ja) | 仮想対象に対するジェスチャーに従う制御を行うシステム及び装置 | |
WO2017101292A1 (zh) | 自动对焦的方法、装置和系统 | |
JP2018055264A (ja) | ジェスチャ検出装置 | |
JP2017034569A (ja) | 撮像装置及びその制御方法 | |
US11394873B2 (en) | Control apparatus, control method, and recording medium | |
JP2017204795A (ja) | 追尾装置 | |
JP2021182702A (ja) | 撮像制御装置、撮像制御方法、及びプログラム | |
JP2019185556A (ja) | 画像解析装置、方法およびプログラム | |
JP4559375B2 (ja) | 対象物位置追跡方法、装置、およびプログラム | |
JP2021132362A (ja) | 被写体追尾装置、被写体追尾方法、コンピュータプログラム及び記憶媒体 | |
KR101374316B1 (ko) | 시스루 디스플레이를 이용한 동작인식 장치 및 그 방법 | |
US9761009B2 (en) | Motion tracking device control systems and methods | |
JP2007334810A (ja) | 画像領域追跡装置及びその方法 | |
JP2022048077A (ja) | 画像処理装置およびその制御方法 | |
JP4972013B2 (ja) | 情報提示装置、情報提示方法、情報提示プログラムおよびそのプログラムを記録した記録媒体 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20230428 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20240305 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20240430 |