JP2023021527A - 情報処理装置、撮像装置の制御方法及びプログラム - Google Patents
情報処理装置、撮像装置の制御方法及びプログラム Download PDFInfo
- Publication number
- JP2023021527A JP2023021527A JP2021126441A JP2021126441A JP2023021527A JP 2023021527 A JP2023021527 A JP 2023021527A JP 2021126441 A JP2021126441 A JP 2021126441A JP 2021126441 A JP2021126441 A JP 2021126441A JP 2023021527 A JP2023021527 A JP 2023021527A
- Authority
- JP
- Japan
- Prior art keywords
- angle
- view
- target object
- zoom
- camera
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000003384 imaging method Methods 0.000 title claims description 25
- 238000000034 method Methods 0.000 title claims description 15
- 230000010365 information processing Effects 0.000 title claims description 14
- 238000012545 processing Methods 0.000 claims abstract description 37
- 230000006870 function Effects 0.000 claims description 19
- 238000004091 panning Methods 0.000 claims description 7
- 238000003860 storage Methods 0.000 description 46
- 238000004891 communication Methods 0.000 description 18
- 238000010586 diagram Methods 0.000 description 11
- 230000005540 biological transmission Effects 0.000 description 2
- 230000004044 response Effects 0.000 description 2
- 230000001133 acceleration Effects 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
Images
Landscapes
- Accessories Of Cameras (AREA)
- Studio Devices (AREA)
- Exposure Control For Cameras (AREA)
- Indication In Cameras, And Counting Of Exposures (AREA)
Abstract
【課題】ズームの際の操作性を向上させる。【解決手段】カメラ102を制御するクライアント装置103において、取得部901は、カメラ102による撮像画像を取得する。演算部902は、画角の中心でズーム処理が進んだときの将来の画角内での対象物体の位置を算出し、この算出した対象物体の位置を所定の位置にするためのパン及びチルトの処理量を算出する。例えば対象物体が人物であり、ズームが進んだときの画角内での人物の顔領域の中心位置を、ズーム前の画角内での人物の顔領域の中心位置にキープするのに必要なパン・チルト速度を算出する。調整部903は、ズーム処理に合わせて、演算部902で算出したパン及びチルトの処理量でパン及びチルト処理を実行して、画角を調整する。【選択図】図9
Description
本発明は、情報処理装置、撮像装置の制御方法及びプログラムに関する。
映像制作において、より良い映像を撮影するために、カメラマンは画角内の構図を意識し、被写体をどの位置に配置するかを考えながら撮影を行う。例えば画角内の右側に立っている人物を、画角内の右側にキープした状態でズームする、というようなカメラワークとすることで、自然な形でその人物に寄るという演出が考えられる。
画角を調整する技術として、特許文献1は、顔認識手段が認識した所定の顔領域の撮像画面に対する比率が所定比率となるように前記撮像画角を自動設定するようにした撮像装置が開示されている。
画角を調整する技術として、特許文献1は、顔認識手段が認識した所定の顔領域の撮像画面に対する比率が所定比率となるように前記撮像画角を自動設定するようにした撮像装置が開示されている。
上述したように画角内での被写体の位置をキープした状態でズームするカメラワークを実現するためには、ズームしながら、被写体の位置をキープするようにパン、チルトする、といった操作を行う必要があり、映像をスムーズに変化させることが難しい。特にネットワークに接続されたリモートカメラを遠隔地から制御するネットワークシステムにおいて、遠隔地からジョイスティック等を使ってカメラを操作して、このカメラワークを実現するときには、映像をスムーズに変化させることが難しくなる。
特許文献1では、顔領域の撮像画面に対する比率を所定比率とすることはできるが、画角内での被写体の位置をキープした状態でズームするカメラワークについては考慮されてはいない。
特許文献1では、顔領域の撮像画面に対する比率を所定比率とすることはできるが、画角内での被写体の位置をキープした状態でズームするカメラワークについては考慮されてはいない。
本発明は、上記のような点に鑑みてなされたものであり、ズームの際の操作性を向上させることを目的とする。
本発明の情報処理装置は、ズーム機能を有する撮像装置を制御するための情報処理装置であって、前記撮像装置による撮像画像を取得する取得手段と、ズーム処理が進んだときの将来の画角内での対象物体の位置を算出する第1の演算手段と、前記将来の画角で、前記第1の演算手段で算出した前記対象物体の位置を所定の位置にするための画角調整量を算出する第2の演算手段と、ズーム処理に合わせて、前記第2の演算手段で算出した前記画角調整量で画角を調整する調整手段とを備えることを特徴とする。
本発明によれば、ズームの際の操作性を向上させることができる。
以下、添付図面を参照して、本発明の好適な実施形態について説明する。
[第1の実施形態]
図1は、第1の実施形態に係るネットワークシステムの構成を示す図である。ネットワークシステムは、ネットワーク101と、ネットワーク101に接続する撮像装置であるリモートカメラ(以下、単にカメラと呼ぶ)102と、ネットワーク101に接続するクライアント装置103とを備える。
[第1の実施形態]
図1は、第1の実施形態に係るネットワークシステムの構成を示す図である。ネットワークシステムは、ネットワーク101と、ネットワーク101に接続する撮像装置であるリモートカメラ(以下、単にカメラと呼ぶ)102と、ネットワーク101に接続するクライアント装置103とを備える。
ネットワーク101は、カメラ102とクライアント装置103とを接続するネットワークであり、ETHERNET(登録商標)等の通信規格に準拠する複数のルータ、スイッチ、ケーブル等により実現される。なお、ネットワーク101は、インターネットや有線LAN(Local Area Network)、無線LAN(Wireless Lan)、WAN(Wide Area Network)等により実現されてもよい。
カメラ102は、レンズを介して撮像を行い、静止画や動画の画像データを生成する。また、カメラ102は、ネットワーク101を通じてクライアント装置103からのリクエストに応じて撮像した画像データやカメラ102の状態を送信する。なお、予め定められたクライアント装置103に対して能動的にカメラ102から画像データを送信するようにしてもよい。
クライアント装置103は、カメラ102の映像を表示し、また、各カメラ102の設定変更やPTZ(パン・チルト・ズーム)制御等を行う。ユーザは、クライアント装置103に接続するジョイスティック等のデバイスを使ってカメラ102を操作することができる。クライアント装置103は、パーソナルコンピュータ(PC)やタブレット、スマートフォン等により実現される。
図2は、カメラ102の構成例を示す図である。
カメラ102は、その内部に内部バス201が構成される。カメラ102は、内部バス201に接続された、CPU202、1次記憶装置203、2次記憶装置204、画像入力インタフェース(I/F)205、撮像部206、PTZ駆動部207、及びネットワークI/F208を備える。
カメラ102は、その内部に内部バス201が構成される。カメラ102は、内部バス201に接続された、CPU202、1次記憶装置203、2次記憶装置204、画像入力インタフェース(I/F)205、撮像部206、PTZ駆動部207、及びネットワークI/F208を備える。
CPU202は、カメラ102における動作を統括的に制御する。
1次記憶装置203は、例えばRAMに代表される書き込み可能な高速の記憶装置である。1次記憶装置203は、OS(オペレーティングシステム)や各種のプログラム及び各種のデータ等がロードされ、また、CPU202がOSや各種のプログラム等を実行する際の作業領域としても使用される。
2次記憶装置204は、例えばHDD、フラッシュメモリ、SDカード等に代表される不揮発性の記憶装置である。2次記憶装置204は、OSや各種のプログラム及び各種のデータ等の永続的な記憶領域として使用される他に、短期的な各種のデータ等の記憶領域としても使用される。
1次記憶装置203は、例えばRAMに代表される書き込み可能な高速の記憶装置である。1次記憶装置203は、OS(オペレーティングシステム)や各種のプログラム及び各種のデータ等がロードされ、また、CPU202がOSや各種のプログラム等を実行する際の作業領域としても使用される。
2次記憶装置204は、例えばHDD、フラッシュメモリ、SDカード等に代表される不揮発性の記憶装置である。2次記憶装置204は、OSや各種のプログラム及び各種のデータ等の永続的な記憶領域として使用される他に、短期的な各種のデータ等の記憶領域としても使用される。
画像入力I/F205は、撮像部206から画像データを入力するためのインタフェースである。
撮像部206は、レンズを介して撮像を行い、静止画や動画の画像データを生成する。
PTZ駆動部207は、モータ等を制御して、カメラ102のPTZ制御を実行する。なお、PTZ制御だけではなく、フォーカスやホワイトバランス等、カメラ102の設定や制御を司るカメラ制御部としてもよい。
ネットワークI/F208は、ネットワーク101と接続するためのインタフェースである。クライアント装置103からのネットワーク通信は、ネットワークI/F208を通じてCPU202等に伝達される。
撮像部206は、レンズを介して撮像を行い、静止画や動画の画像データを生成する。
PTZ駆動部207は、モータ等を制御して、カメラ102のPTZ制御を実行する。なお、PTZ制御だけではなく、フォーカスやホワイトバランス等、カメラ102の設定や制御を司るカメラ制御部としてもよい。
ネットワークI/F208は、ネットワーク101と接続するためのインタフェースである。クライアント装置103からのネットワーク通信は、ネットワークI/F208を通じてCPU202等に伝達される。
図3は、クライアント装置103の構成例を示す図である。
クライアント装置103は、その内部に内部バス301が構成される。クライアント装置103は、内部バス301に接続された、CPU302、1次記憶装置303、2次記憶装置304、ユーザ入出力I/F305、及びネットワークI/F306を備える。
クライアント装置103は、その内部に内部バス301が構成される。クライアント装置103は、内部バス301に接続された、CPU302、1次記憶装置303、2次記憶装置304、ユーザ入出力I/F305、及びネットワークI/F306を備える。
CPU302は、クライアント装置103における動作を統括的に制御する。
1次記憶装置303は、例えばRAMに代表される書き込み可能な高速の記憶装置である。1次記憶装置303は、OSや各種のプログラム及び各種のデータ等がロードされ、また、CPU302がOSや各種のプログラム等を実行する際の作業領域としても使用される。
2次記憶装置304は、例えばHDD、フラッシュメモリ、SDカード等に代表される不揮発性の記憶装置である。2次記憶装置304は、OSや各種のプログラム及び各種のデータ等の永続的な記憶領域として使用される他に、短期的な各種のデータ等の記憶領域としても使用される。
1次記憶装置303は、例えばRAMに代表される書き込み可能な高速の記憶装置である。1次記憶装置303は、OSや各種のプログラム及び各種のデータ等がロードされ、また、CPU302がOSや各種のプログラム等を実行する際の作業領域としても使用される。
2次記憶装置304は、例えばHDD、フラッシュメモリ、SDカード等に代表される不揮発性の記憶装置である。2次記憶装置304は、OSや各種のプログラム及び各種のデータ等の永続的な記憶領域として使用される他に、短期的な各種のデータ等の記憶領域としても使用される。
ユーザ入出力I/F305は、ユーザからの操作の入力、ユーザ情報の入力、ユーザに対して映像等を出力するためのインタフェースである。ユーザ入出力I/F305の一例として、表示装置、タッチパネル、キーボード、マウス、マイク等が挙げられる。表示装置とタッチチパネルは、タッチ位置がわかるタッチパネル搭載型ディスプレイ等の一体型としての構成でもよい。これらのインタフェースが、タッチ・マウス操作や音声入力、撮像画像を用いた処理等に利用される。
ネットワークI/F306は、ネットワーク101と接続するためのインタフェースである。カメラ102からのネットワーク通信は、ネットワークI/F306を通じてCPU302等に伝達される。
ネットワークI/F306は、ネットワーク101と接続するためのインタフェースである。カメラ102からのネットワーク通信は、ネットワークI/F306を通じてCPU302等に伝達される。
図4は、カメラ102の1次記憶装置203及び2次記憶装置204に記憶されるプログラムやデータの例を示す図である。
1次記憶装置203には、OS401、画像撮像プログラム402、通信制御プログラム403、物体管理プログラム404、及びPTZ制御プログラム405がロードされる。
2次記憶装置204には、カメラ種別情報406、及び物体情報407が保存される。また、2次記憶装置204には、1次記憶装置203にロードされるプログラム401~405が保存される。なお、本実施形態では、データ406、407を2次記憶装置204に保存するが、1次記憶装置203に保存するようにしてもよい。
1次記憶装置203には、OS401、画像撮像プログラム402、通信制御プログラム403、物体管理プログラム404、及びPTZ制御プログラム405がロードされる。
2次記憶装置204には、カメラ種別情報406、及び物体情報407が保存される。また、2次記憶装置204には、1次記憶装置203にロードされるプログラム401~405が保存される。なお、本実施形態では、データ406、407を2次記憶装置204に保存するが、1次記憶装置203に保存するようにしてもよい。
OS401は、カメラ102の全体を制御するための基本プログラムである。OS401は、プログラム402~405、及びデータ406、407の1次記憶装置203、2次記憶装置204における位置(番地)やサイズを管理する。
画像撮像プログラム402は、画像撮像に関する制御を実行するためのプログラムである。画像撮像プログラム402は、クライアント装置103からの画像取得リクエストや他のプログラムからの指示により、画像入力I/F205を通じて撮像部206で撮像、生成した画像データを取得する。また、画像撮像プログラム402は、取得した画像データを、JPEG等の画像データやH.264等の動画データに変換する。
画像撮像プログラム402は、画像撮像に関する制御を実行するためのプログラムである。画像撮像プログラム402は、クライアント装置103からの画像取得リクエストや他のプログラムからの指示により、画像入力I/F205を通じて撮像部206で撮像、生成した画像データを取得する。また、画像撮像プログラム402は、取得した画像データを、JPEG等の画像データやH.264等の動画データに変換する。
通信制御プログラム403は、通信を制御するためのプログラムである。通信制御プログラム403は、ネットワークI/F208からネットワーク101を通じてクライアント装置103と行う通信を制御する。通信の内容の一例としては、撮像部206で撮像、生成した画像に対する取得リクエストの受信や、PTZ駆動部207に対するPTZの制御リクエストの受信を行うことが挙げられる。なお、クライアント装置103から受信するリクエストは、http(ハイパーテキスト・トランスファー・プロトコル)等、一般的な通信プロトコルを使用してもよい。
物体管理プログラム404は、画像撮像プログラム402で取得した画像に映る物体を管理するためのプログラムである。物体管理プログラム404は、物体情報407に、物体情報を保存する。物体情報407には、対象物体の情報が含まれる。対象物体は、物体管理プログラム404が画像撮像プログラム402で取得した画像を解析することによって検知したものとしてもよい。また、対象物体は、画像撮像プログラム402で取得した画像において、ユーザが任意に指定したものとしてもよい。なお、撮像画像中に複数の被写体があるような場合に、対象物体とする被写体の選択及び解除を可能にしてもよい。この場合に、被写体の大きさ等から自動的に対象物体を選択するようにしてもよいし、ユーザが対象物体を選択できるようにしてもよい。なお、対象物体の検知やユーザによる指定、及び物体情報の保持は、カメラ102側で行うことには限定されない。例えばクライアント装置103側で行うようにしてもよいし、カメラ102及びクライアント装置103とは別の外部機器側で行うようにしてもよい。
PTZ制御プログラム405は、PTZ制御を実行するためのプログラムである。PTZ制御プログラム405は、クライアント装置103から受信したPTZ制御、プリセット位置への移動、トレース機能の再生等のコマンドを受信した際に、受信したコマンドに基づいて、PTZ駆動部207を制御する。
カメラ種別情報406は、カメラ102の種別情報である。カメラ種別情報406には、カメラ102がPTZ機能を有するか否かを表す制御可否情報が保存される。例えばPTZ機能(ズーム機能、パン及びチルト機能)を有するカメラであればPTZ機、ズーム機能だけを有するカメラであればズーム機、PTZ機能を有していないカメラは固定機といった情報である。なお、PTZ機能は、物理的にPTZが動作するものだけでなく、画像を切り出し、その切り出し位置を変更することで疑似的にPTZが動作するものとしてもよい。
物体情報407は、画像撮像プログラム402で取得した画像に映る物体の情報である。物体情報407には、対象物体の情報が含まれる。
物体情報407は、画像撮像プログラム402で取得した画像に映る物体の情報である。物体情報407には、対象物体の情報が含まれる。
図5は、クライアント装置103の1次記憶装置303及び2次記憶装置304に記憶されるプログラムやデータの例を示す図である。
1次記憶装置303には、OS501、通信制御プログラム502、表示プログラム503、カメラ制御プログラム504がロードされる。
2次記憶装置304には、カメラ撮像画像505、カメラ種別情報506、物体情報507、及びカメラ制御対象情報508が保存される。また、2次記憶装置304には、1次記憶装置303にロードされるプログラム501~504が保存される。なお、本実施形態では、データ505~508を2次記憶装置304に保存するが、1次記憶装置303に保存するようにしてもよい。
1次記憶装置303には、OS501、通信制御プログラム502、表示プログラム503、カメラ制御プログラム504がロードされる。
2次記憶装置304には、カメラ撮像画像505、カメラ種別情報506、物体情報507、及びカメラ制御対象情報508が保存される。また、2次記憶装置304には、1次記憶装置303にロードされるプログラム501~504が保存される。なお、本実施形態では、データ505~508を2次記憶装置304に保存するが、1次記憶装置303に保存するようにしてもよい。
OS501は、クライアント装置103の全体を制御するための基本プログラムである。OS501は、プログラム502~504、及びデータ505~508の1次記憶装置303、2次記憶装置304における位置(番地)やサイズを管理する。
通信制御プログラム502は、通信を制御するためのプログラムである。通信制御プログラム502は、ネットワークI/F306からネットワーク101を通じてカメラ102と行う通信を制御する。通信の内容の一例としては、カメラ102の撮像部206で撮像、生成した画像に対する取得リクエストの送信や、カメラ102のPTZ駆動部207に対するPTZの制御リクエストの送信を行うことが挙げられる。なお、カメラ102に送信するリクエストは、http等、一般的な通信プロトコルを使用してもよい。
通信制御プログラム502は、通信を制御するためのプログラムである。通信制御プログラム502は、ネットワークI/F306からネットワーク101を通じてカメラ102と行う通信を制御する。通信の内容の一例としては、カメラ102の撮像部206で撮像、生成した画像に対する取得リクエストの送信や、カメラ102のPTZ駆動部207に対するPTZの制御リクエストの送信を行うことが挙げられる。なお、カメラ102に送信するリクエストは、http等、一般的な通信プロトコルを使用してもよい。
表示プログラム503は、クライアント装置103が持つユーザ入出力I/F305の一つである表示装置の表示を制御するためのプログラムである。表示プログラム503は、クライアント装置103の表示装置に、カメラ102から取得した画像データや、カメラ102を制御するためのボタン等を表示する。また、マウスやキーボード等の外部デバイスを用いた入力や、表示装置がタッチパネル搭載型ディスプレイ等であれば、タッチ操作等をユーザからの入力として受け取ることができる。
カメラ制御プログラム504は、カメラ102を制御するためのプログラムである。カメラ制御プログラム504は、ユーザ入出力I/F305で入力したユーザからの操作に基づいて、通信制御プログラム502を通じて、カメラ102を制御する。
カメラ制御プログラム504は、カメラ102を制御するためのプログラムである。カメラ制御プログラム504は、ユーザ入出力I/F305で入力したユーザからの操作に基づいて、通信制御プログラム502を通じて、カメラ102を制御する。
カメラ撮像画像505は、カメラ102から取得した画像データである。なお、カメラ撮像画像505は、クライアント装置103の1次記憶装置303に保存してもよく、クライアント装置103において処理が完了した後に自動的に削除するようにしてもよい。
カメラ種別情報506は、カメラ102から取得した各カメラのカメラ種別情報406を保存する情報である。
物体情報507は、カメラ102から取得した各カメラの物体情報407を保存する情報である。
カメラ制御対象情報508は、制御対象とするカメラの情報である。カメラ制御対象情報508は、各カメラ102に対してカメラ制御プログラム504が制御コマンドを送信するか否かの情報を保持する。ユーザからの入力に基づいてカメラ制御プログラム504がカメラ102に制御コマンドを送信する際に、カメラ制御対象情報508を確認し、制御対象のカメラに対しては制御コマンドを送信し、制御対象ではないカメラに対しては制御コマンドを送信しない。ユーザ入出力I/F305を通じてユーザからの制御対象のカメラを変更する操作が入力されると、その入力に応じてカメラ制御対象情報508が変更される。
カメラ種別情報506は、カメラ102から取得した各カメラのカメラ種別情報406を保存する情報である。
物体情報507は、カメラ102から取得した各カメラの物体情報407を保存する情報である。
カメラ制御対象情報508は、制御対象とするカメラの情報である。カメラ制御対象情報508は、各カメラ102に対してカメラ制御プログラム504が制御コマンドを送信するか否かの情報を保持する。ユーザからの入力に基づいてカメラ制御プログラム504がカメラ102に制御コマンドを送信する際に、カメラ制御対象情報508を確認し、制御対象のカメラに対しては制御コマンドを送信し、制御対象ではないカメラに対しては制御コマンドを送信しない。ユーザ入出力I/F305を通じてユーザからの制御対象のカメラを変更する操作が入力されると、その入力に応じてカメラ制御対象情報508が変更される。
図9に、クライアント装置103の機能構成例を示す。
クライアント装置103は、取得部901と、演算部902と、調整部903とを備える。取得部901は、カメラ102による撮像画像を取得する。演算部902は、画角の中心でズーム処理が進んだときの将来の画角内での対象物体の位置を算出し、この算出した対象物体の位置を所定の位置にするための画角調整量であるパン及びチルトの処理量を算出する。本実施形態では、詳細は後述するが、対象物体は人物であり、ズームが進んだときの画角内での人物の顔領域の中心位置を、ズーム前の画角内での人物の顔領域の中心位置にキープするのに必要なパン・チルト速度を算出する。調整部903は、ズーム処理に合わせて、演算部902で算出したパン及びチルトの処理量でパン及びチルト処理を実行して、画角を調整する。このようにした各部901~903の機能は、CPU302がプログラム501~504を実行することにより実現される。
クライアント装置103は、取得部901と、演算部902と、調整部903とを備える。取得部901は、カメラ102による撮像画像を取得する。演算部902は、画角の中心でズーム処理が進んだときの将来の画角内での対象物体の位置を算出し、この算出した対象物体の位置を所定の位置にするための画角調整量であるパン及びチルトの処理量を算出する。本実施形態では、詳細は後述するが、対象物体は人物であり、ズームが進んだときの画角内での人物の顔領域の中心位置を、ズーム前の画角内での人物の顔領域の中心位置にキープするのに必要なパン・チルト速度を算出する。調整部903は、ズーム処理に合わせて、演算部902で算出したパン及びチルトの処理量でパン及びチルト処理を実行して、画角を調整する。このようにした各部901~903の機能は、CPU302がプログラム501~504を実行することにより実現される。
図6は、クライアント装置103が実行する処理を示すフローチャートである。
ステップS601で、CPU302は、ユーザのズーム操作によるズーム指示の有無を判定する。ズーム指示があるまで判定を継続し、ズーム指示があった場合、ステップS602に進む。
ステップS602で、CPU302は、物体情報507を参照して、対象物体の情報が含まれるか否かを判定する。対象物体の情報がある場合、ステップS603に進み、対象物体の情報がない場合、ステップS608に進む。
ステップS601で、CPU302は、ユーザのズーム操作によるズーム指示の有無を判定する。ズーム指示があるまで判定を継続し、ズーム指示があった場合、ステップS602に進む。
ステップS602で、CPU302は、物体情報507を参照して、対象物体の情報が含まれるか否かを判定する。対象物体の情報がある場合、ステップS603に進み、対象物体の情報がない場合、ステップS608に進む。
ステップS603で、CPU302は、図7を用いて後述するように、ズーム後に画角内で対象物体の位置が変わらないようにするために必要なパン・チルト速度を算出する。
ステップS604では、CPU302は、ユーザが指定したズーム速度及びステップS603で決定したパン・チルト速度に従って、パン・チルト・ズーム処理を実行する。
ステップS608では、CPU302は、ユーザが指定したズーム速度に従って、画角の中心でズーム処理を実行する。
ステップS604では、CPU302は、ユーザが指定したズーム速度及びステップS603で決定したパン・チルト速度に従って、パン・チルト・ズーム処理を実行する。
ステップS608では、CPU302は、ユーザが指定したズーム速度に従って、画角の中心でズーム処理を実行する。
ステップS605で、CPU302は、ユーザのズーム操作によるズーム速度の変更指示の有無を判定する。ズーム速度の変更指示は、ズーム速度の加速や減速、ズーム速度を0にするズーム停止等を含む。ズーム速度の変更指示があるまで判定を継続し、ズーム速度の変更指示があった場合、ステップS606に進む。
ステップS606で、CPU302は、ズーム速度を0とするズーム速度の変更指示であるか否かを判定する。ズーム速度を0とするズーム速度の変更指示である場合、ステップS607に進む。ズーム速度を0とするズーム速度の変更指示でない場合、ステップS602に戻って、ステップS602からの処理を実行する。
ステップS607で、CPU302は、パン・チルト・ズーム処理を停止し、本フローチャートの処理を終了する。
ステップS606で、CPU302は、ズーム速度を0とするズーム速度の変更指示であるか否かを判定する。ズーム速度を0とするズーム速度の変更指示である場合、ステップS607に進む。ズーム速度を0とするズーム速度の変更指示でない場合、ステップS602に戻って、ステップS602からの処理を実行する。
ステップS607で、CPU302は、パン・チルト・ズーム処理を停止し、本フローチャートの処理を終了する。
ここで、図7を参照して、ステップS603でパン・チルト速度を算出する処理を説明する。
図7は、撮像画像の例を示す図であり、対象物体である人物が映っている。図7(a)はズーム前の画角、(b)は画角の中心で1秒間ズームした場合の画角、(c)は画角内で人物の顔領域の中心位置が変わらないように1秒間パン・チルト・ズームした後の画角である。
701はズーム前の画角内での人物の顔領域の中心位置を表す。702は画角の中心位置を表す。703は画角の中心で1秒間ズームした場合の人物の顔領域の中心位置を表す。704は画角の中心で1秒間ズームした場合の画角を表し、これが図7(b)で示す画角になる。
図7は、撮像画像の例を示す図であり、対象物体である人物が映っている。図7(a)はズーム前の画角、(b)は画角の中心で1秒間ズームした場合の画角、(c)は画角内で人物の顔領域の中心位置が変わらないように1秒間パン・チルト・ズームした後の画角である。
701はズーム前の画角内での人物の顔領域の中心位置を表す。702は画角の中心位置を表す。703は画角の中心で1秒間ズームした場合の人物の顔領域の中心位置を表す。704は画角の中心で1秒間ズームした場合の画角を表し、これが図7(b)で示す画角になる。
まず、画角の中心でズームが進んだときの将来の画角内での人物の顔領域の中心位置を算出する。現在のパン、チルトの位置、及び現在のズームの画角、人物の顔領域の中心位置701、ユーザ操作によって指定されたズーム速度に基づいて、図7(b)に示すように画角の中心で1秒間ズームした場合の人物の顔領域の中心位置703を算出する。
次に、当該将来の画角内で、人物の顔領域の中心位置703を、ズーム前の位置701にするために必要なパン・チルト速度を算出する。位置701の座標と位置703の座標の関係から、1秒間ズームした後に、人物の顔領域の中心位置703がズーム前の位置701になるようにパン及びチルト速度を算出する。
次に、当該将来の画角内で、人物の顔領域の中心位置703を、ズーム前の位置701にするために必要なパン・チルト速度を算出する。位置701の座標と位置703の座標の関係から、1秒間ズームした後に、人物の顔領域の中心位置703がズーム前の位置701になるようにパン及びチルト速度を算出する。
以上の演算を受けて、パン・チルト・ズーム処理を実行することにより、図7(c)に示すように、ズーム後に画角内で対象物体の位置が変わらないようにすることができる。すなわち、ズームが進んだときの画角内での人物の顔領域の中心位置を、ズーム前の画角内での人物の顔領域の中心位置にキープすることができる。
なお、本例では、対象物体である人物の顔領域の中心位置を所定の位置(ズーム前の画角内での人物の顔領域の中心位置)にするように画角を調整する例を述べたが、これに限定されるものではない。例えば人物の顔領域の左右いずれかの目や鼻の位置を所定の位置にするように画角を調整したり、人物の全身の中心位置を所定の位置にするように画角を調整したりしてもよい。
以上述べたように、画角内での被写体(対象物体)の位置をキープした状態でズームするカメラワークを簡単に行うことができ、ズームの際の操作性を向上させることができる。
なお、ステップS603でパン・チルト速度を算出するときに、ズーム処理が進んだときに、対象物体が画角内に収まらない、すなわち画角からはみ出る場合にユーザに通知を行うようにしてもよい。例えばズームがX秒進むと、対象物体が画角からはみ出るといったことをユーザに通知すればよい。或いは、ステップS604でパン・チルト・ズーム処理を実行するときに、対象物体が画角からはみ出る場合にユーザに通知を行うようにしてもよい。
また、ステップS604でパン・チルト・ズーム処理を実行するときに、対象物体が画角からはみ出る場合にパン・チルト・ズーム処理を停止するようにしてもよい。
また、ステップS604でパン・チルト・ズーム処理を実行するときに、対象物体が画角からはみ出る場合にパン・チルト・ズーム処理を停止するようにしてもよい。
[第2の実施形態]
次に、第2の実施形態を説明する。なお、ネットワークシステム、カメラ102及びクライアント装置103の構成、及び基本的な処理動作は第1の実施形態と同様であり、以下では、第1の実施形態と共通する説明は省略し、第1の実施形態との相違点を中心に説明する。
次に、第2の実施形態を説明する。なお、ネットワークシステム、カメラ102及びクライアント装置103の構成、及び基本的な処理動作は第1の実施形態と同様であり、以下では、第1の実施形態と共通する説明は省略し、第1の実施形態との相違点を中心に説明する。
既述したように、クライアント装置103の演算部902は、画角の中心でズーム処理が進んだときの将来の画角内での対象物体の位置を算出し、この算出した対象物体の位置を所定の位置にするためのパン及びチルトの処理量を算出する。
ここで、第1の実施形態では、ズームが進んだときの画角内での人物の顔領域の中心位置を、ズーム前の画角内での人物の顔領域の中心位置にキープするようにしている。
それに対して、第2の実施形態では、ズームが進んだときの画角内での人物の顔領域の中心位置を、この画角内での人物の顔領域が画角内に収まるようにする位置にする。この場合に、例えばチルト方向では、顔領域の画面内での高さを決定するようにし、パン方向では、ズーム前の位置をキープするようにしてもよい。一例として、人物の顔領域の上方の間隔(顔領域の上端(頭頂部)と画角の上端との間隔)と、人物の顔領域の下方の間隔(顔領域の下端(顎部)と画角の下端との間隔)とが等しくなるように顔領域の画面内での高さを決定する等すればよい。
ここで、第1の実施形態では、ズームが進んだときの画角内での人物の顔領域の中心位置を、ズーム前の画角内での人物の顔領域の中心位置にキープするようにしている。
それに対して、第2の実施形態では、ズームが進んだときの画角内での人物の顔領域の中心位置を、この画角内での人物の顔領域が画角内に収まるようにする位置にする。この場合に、例えばチルト方向では、顔領域の画面内での高さを決定するようにし、パン方向では、ズーム前の位置をキープするようにしてもよい。一例として、人物の顔領域の上方の間隔(顔領域の上端(頭頂部)と画角の上端との間隔)と、人物の顔領域の下方の間隔(顔領域の下端(顎部)と画角の下端との間隔)とが等しくなるように顔領域の画面内での高さを決定する等すればよい。
なお、本例では、対象物体である人物の顔領域の中心位置を所定の位置(人物の顔領域が画角内に収まるようにする位置)にするように画角を調整する例を述べたが、これに限定されるものではない。例えば人物の顔領域の左右いずれかの目や鼻の位置を所定の位置にするように画角を調整したり、人物の全身の中心位置を所定の位置にするように画角を調整したりしてもよい。
[第3の実施形態]
第3の実施形態を説明する。なお、ネットワークシステム、カメラ102及びクライアント装置103の構成、及び基本的な処理動作は第1の実施形態と同様であり、以下では、第1の実施形態と共通する説明は省略し、第1の実施形態との相違点を中心に説明する。
第3の実施形態は、ズーム後の対象物体の画角内での配置を考慮するようにした例である。
第3の実施形態では、第1の実施形態のように、ズーム処理に合わせて、パン及びチルト処理を実行して、画角を調整することに加えて、さらに対象物体の位置を移動させるように画角を調整する。対象物体が人物である場合、例えばズーム前の人物の顔領域が画角の下の方に位置するときには、ズーム後に人物の顔領域が画角の上方に位置するように考慮して、パン・チルトの処理量を算出する。
第3の実施形態を説明する。なお、ネットワークシステム、カメラ102及びクライアント装置103の構成、及び基本的な処理動作は第1の実施形態と同様であり、以下では、第1の実施形態と共通する説明は省略し、第1の実施形態との相違点を中心に説明する。
第3の実施形態は、ズーム後の対象物体の画角内での配置を考慮するようにした例である。
第3の実施形態では、第1の実施形態のように、ズーム処理に合わせて、パン及びチルト処理を実行して、画角を調整することに加えて、さらに対象物体の位置を移動させるように画角を調整する。対象物体が人物である場合、例えばズーム前の人物の顔領域が画角の下の方に位置するときには、ズーム後に人物の顔領域が画角の上方に位置するように考慮して、パン・チルトの処理量を算出する。
図8を参照して、ステップS603でパン・チルト速度を算出する処理を説明する。
図8は、撮像画像の例を示す図であり、対象物体である人物が映っている。図8(a)はズーム前の画角、(b)は画角内で人物の顔領域の中心位置が変わらないように1秒間パン・チルト・ズームした後の画角、(c)は人物の顔領域が画角の上方に位置するように調整した後の画角である。図8(b)は、図7(c)と同じ状態を表す。
801はズーム前の画角内での人物の顔領域の中心位置を表す。802は画角の中心位置を表す。803は人物の顔領域を画角の上方に移動させた後の顔領域の中心位置を表す。
図8は、撮像画像の例を示す図であり、対象物体である人物が映っている。図8(a)はズーム前の画角、(b)は画角内で人物の顔領域の中心位置が変わらないように1秒間パン・チルト・ズームした後の画角、(c)は人物の顔領域が画角の上方に位置するように調整した後の画角である。図8(b)は、図7(c)と同じ状態を表す。
801はズーム前の画角内での人物の顔領域の中心位置を表す。802は画角の中心位置を表す。803は人物の顔領域を画角の上方に移動させた後の顔領域の中心位置を表す。
図8(b)に示すように、ズーム後に画角内で対象物体の位置が変わらないようにパン・チルト・ズームを実行した結果、顔領域の上方に移動の余地がある場合、図8(c)に示すように、顔領域を上方に移動させるようにチルトで画角を調整する。また、逆に顔領域の下方に移動の余地がある場合、顔領域を下方に移動させるようにチルトで画角を調整する。
以上のように、ズーム後の対象物体の画角内での配置を考慮して、パン・チルト・ズーム処理を実行することが可能となる。
以上のように、ズーム後の対象物体の画角内での配置を考慮して、パン・チルト・ズーム処理を実行することが可能となる。
以上、本発明を実施形態と共に説明したが、上記実施形態は本発明を実施するにあたっての具体化の例を示したものに過ぎず、これらによって本発明の技術的範囲が限定的に解釈されてはならないものである。すなわち、本発明はその技術思想、又はその主要な特徴から逸脱することなく、様々な形で実施することができる。
上述した実施形態では、クライアント装置103が本発明でいう情報処理装置として機能する例を述べたが、これに限定されるものではない。例えばカメラ102が本発明でいう情報処理装置として機能するようにしてもよい。
また、上述した実施形態では、リモートカメラを制御するネットワークシステムを例としたが、単体の撮像装置に対して本発明を適用することも可能である。
(その他の実施形態)
本発明は、上述の実施形態の1以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける1つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、1以上の機能を実現する回路(例えば、ASIC)によっても実現可能である。
上述した実施形態では、クライアント装置103が本発明でいう情報処理装置として機能する例を述べたが、これに限定されるものではない。例えばカメラ102が本発明でいう情報処理装置として機能するようにしてもよい。
また、上述した実施形態では、リモートカメラを制御するネットワークシステムを例としたが、単体の撮像装置に対して本発明を適用することも可能である。
(その他の実施形態)
本発明は、上述の実施形態の1以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける1つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、1以上の機能を実現する回路(例えば、ASIC)によっても実現可能である。
102:カメラ、103:クライアント装置、301:内部バス、302:CPU、303:1次記憶装置、304:2次記憶装置、305:ユーザ入出力I/F、306:ネットワークI/F、901:取得部、902:演算部、903:調整部
Claims (10)
- ズーム機能を有する撮像装置を制御するための情報処理装置であって、
前記撮像装置による撮像画像を取得する取得手段と、
ズーム処理が進んだときの将来の画角内での対象物体の位置を算出する第1の演算手段と、
前記将来の画角で、前記第1の演算手段で算出した前記対象物体の位置を所定の位置にするための画角調整量を算出する第2の演算手段と、
ズーム処理に合わせて、前記第2の演算手段で算出した前記画角調整量で画角を調整する調整手段とを備えることを特徴とする情報処理装置。 - 前記撮像装置は、パン及びチルト機能を有し、
前記第2の演算手段は、前記画角調整量として、パン及びチルトの処理量を算出することを特徴とする請求項1に記載の情報処理装置。 - 前記所定の位置は、ズーム前の画角内での前記対象物体の位置であることを特徴とする請求項1又は2に記載の情報処理装置。
- 前記所定の位置は、前記対象物体の所定の領域が画角内に収まるようにする位置であることを特徴とする請求項1又は2に記載の情報処理装置。
- 前記調整手段は、ズーム処理に合わせて、前記第2の演算手段で算出した前記画角調整量で画角を調整し、さらに前記対象物体の位置を移動させるように画角を調整することを特徴とする請求項1乃至4のいずれか1項に記載の情報処理装置。
- 前記対象物体とする被写体の選択及び解除を可能にすることを特徴とする請求項1乃至5のいずれか1項に記載の情報処理装置。
- ズーム処理が進んだときに、前記対象物体が画角からはみ出る場合に通知を行う通知手段を備えたことを特徴とする請求項1乃至6のいずれか1項に記載の情報処理装置。
- 前記調整手段は、前記対象物体が画角からはみ出る場合に、画角の調整を停止することを特徴とする請求項1乃至7のいずれか1項に記載の情報処理装置。
- ズーム機能を有する撮像装置を制御する撮像装置の制御方法であって、
前記撮像装置による撮像画像を取得する取得ステップと、
ズーム処理が進んだときの将来の画角内での対象物体の位置を算出する第1の演算ステップと、
前記将来の画角で、前記第1の演算ステップで算出した前記対象物体の位置を所定の位置にするための画角調整量を算出する第2の演算ステップと、
ズーム処理に合わせて、前記第2の演算ステップで算出した前記画角調整量で画角を調整する調整ステップとを有することを特徴とする撮像装置の制御方法。 - ズーム機能を有する撮像装置を制御するためのプログラムであって、
前記撮像装置による撮像画像を取得する取得手段と、
ズーム処理が進んだときの将来の画角内での対象物体の位置を算出する第1の演算手段と、
前記将来の画角で、前記第1の演算手段で算出した前記対象物体の位置を所定の位置にするための画角調整量を算出する第2の演算手段と、
ズーム処理に合わせて、前記第2の演算手段で算出した前記画角調整量で画角を調整する調整手段としてコンピュータを機能させるためのプログラム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2021126441A JP2023021527A (ja) | 2021-08-02 | 2021-08-02 | 情報処理装置、撮像装置の制御方法及びプログラム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2021126441A JP2023021527A (ja) | 2021-08-02 | 2021-08-02 | 情報処理装置、撮像装置の制御方法及びプログラム |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2023021527A true JP2023021527A (ja) | 2023-02-14 |
Family
ID=85201396
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2021126441A Pending JP2023021527A (ja) | 2021-08-02 | 2021-08-02 | 情報処理装置、撮像装置の制御方法及びプログラム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2023021527A (ja) |
-
2021
- 2021-08-02 JP JP2021126441A patent/JP2023021527A/ja active Pending
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5591006B2 (ja) | 自動追尾カメラシステムの制御装置及びそれを有する自動追尾カメラシステム | |
JP6071866B2 (ja) | 表示制御装置、表示装置、撮像システム、表示制御方法、及びプログラム | |
JP7146444B2 (ja) | 制御装置、制御方法及びプログラム | |
JP2016096481A (ja) | 制御装置、撮像システム、制御方法、及び、プログラム | |
JP4243883B2 (ja) | リモコン雲台システム | |
JP5683144B2 (ja) | 送信装置、送信方法、プログラム | |
JP6608196B2 (ja) | 情報処理装置、情報処理方法 | |
WO2022061541A1 (zh) | 控制方法、手持云台、系统及计算机可读存储介质 | |
JP2023021527A (ja) | 情報処理装置、撮像装置の制御方法及びプログラム | |
JP2013143592A (ja) | 情報処理装置、情報処理装置の情報処理方法およびプログラム | |
JP2014192745A (ja) | 撮像装置、情報処理装置及びそれらの制御方法、プログラム | |
JP4674627B2 (ja) | 情報処理装置、遠隔指示システム及びプログラム | |
JP2014039166A (ja) | 自動追尾カメラの制御装置及びそれを備える自動追尾カメラ | |
WO2022041013A1 (zh) | 控制方法、手持云台、系统及计算机可读存储介质 | |
JP7455663B2 (ja) | 情報処理装置、情報処理方法およびプログラム | |
KR101709529B1 (ko) | 휴대 단말을 이용한 영상 화면 제어 방법 및 장치 | |
JP6873186B2 (ja) | 情報処理装置、スイッチングシステム、プログラム及び方法 | |
JP2022162409A (ja) | 電子機器及びその制御方法 | |
JP5939902B2 (ja) | 制御装置及び制御装置の制御方法 | |
JP2001136431A (ja) | カメラ制御装置及びカメラ制御方法及び記憶媒体 | |
JP4544262B2 (ja) | 仮想現実空間共有システムおよび方法、並びに、情報処理装置および方法 | |
WO2023065125A1 (zh) | 拍摄方法、拍摄设备、终端设备及存储介质 | |
JPH11112844A (ja) | 画像処理装置、画像処理方法及びコンピュータ読み取り可能な記憶媒体 | |
JP2000083245A (ja) | 撮像装置の遠隔制御装置、撮像システム、および撮像装置の遠隔制御方法 | |
JP2018182417A (ja) | 制御装置、制御方法、およびプログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20240724 |