JP2022096313A - 情報処理装置、情報処理方法、およびプログラム - Google Patents

情報処理装置、情報処理方法、およびプログラム Download PDF

Info

Publication number
JP2022096313A
JP2022096313A JP2020209353A JP2020209353A JP2022096313A JP 2022096313 A JP2022096313 A JP 2022096313A JP 2020209353 A JP2020209353 A JP 2020209353A JP 2020209353 A JP2020209353 A JP 2020209353A JP 2022096313 A JP2022096313 A JP 2022096313A
Authority
JP
Japan
Prior art keywords
display
imaging range
image pickup
subject
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2020209353A
Other languages
English (en)
Inventor
隆治 大澤
Takaharu Osawa
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Priority to JP2020209353A priority Critical patent/JP2022096313A/ja
Priority to US17/549,036 priority patent/US20220201220A1/en
Publication of JP2022096313A publication Critical patent/JP2022096313A/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/66Remote control of cameras or camera parts, e.g. by remote control devices
    • H04N23/661Transmitting camera control signals through networks, e.g. control via the Internet
    • H04N23/662Transmitting camera control signals through networks, e.g. control via the Internet by using master/slave camera arrangements for affecting the control of camera image capture, e.g. placing the camera in a desirable condition to capture a desired image
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/63Control of cameras or camera modules by using electronic viewfinders
    • H04N23/631Graphical user interfaces [GUI] specially adapted for controlling image capture or setting capture parameters
    • H04N23/632Graphical user interfaces [GUI] specially adapted for controlling image capture or setting capture parameters for displaying or modifying preview images prior to image capturing, e.g. variety of image resolutions or capturing parameters
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04817Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance using icons
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/61Control of cameras or camera modules based on recognised objects
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/63Control of cameras or camera modules by using electronic viewfinders
    • H04N23/633Control of cameras or camera modules by using electronic viewfinders for displaying additional information relating to control or operation of the camera
    • H04N23/635Region indicators; Field of view indicators
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/69Control of means for changing angle of the field of view, e.g. optical zoom objectives or electronic zooming
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/695Control of camera direction for changing a field of view, e.g. pan, tilt or based on tracking of objects
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/048Indexing scheme relating to G06F3/048
    • G06F2203/04806Zoom, i.e. interaction techniques or interactors for controlling the zooming operation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/0485Scrolling or panning

Abstract

【課題】 撮像範囲において被写体がユーザの所望する場所に位置するような撮像範囲の制御を簡易にすることを目的としている。【解決手段】 撮像手段により撮像された画像を取得する取得手段と、前記取得手段により取得された画像を表示手段に表示させる表示制御手段と、前記撮像手段の撮像範囲を制御する制御手段とを有し、前記表示制御手段は、前記撮像範囲における被写体が第1位置に配置される第1配置候補の情報と、前記撮像範囲における前記被写体が前記第1位置と異なる第2位置に配置される第2配置候補の情報とを前記表示手段に表示させ、前記制御手段は、前記第1配置候補および前記第2配置候補のうちユーザに選択された配置候補の情報に基づき、前記撮像範囲を制御する。【選択図】 図6

Description

本発明は、情報処理方法に関する。
現在、映像制作市場において、ネットワークに接続された撮像装置を遠隔地から制御するようなシステムが増加している。このようなシステムでは、撮像装置により撮像された映像を表示させつつ、当該撮像装置のPTZ(パン・チルト・ズーム)を制御することで当該撮像装置が撮像する範囲(以下、撮像範囲)の変更が可能なアプリケーションがある。アプリケーションを利用する利用者は、ジョイスティックなどのデバイスを用いて撮像範囲を変更することが可能である。
また、撮像装置の撮像範囲を制御する方法として、被写体の位置やサイズに基づきPTZを制御する方法がある。特許文献1では、被写体を所望の撮影範囲で撮影するために、被写体の全体領域と、被写体の部分的な領域(頭部など)から、その2つの領域の比を算出し、ズーム操作に応じて、算出された比率が一定になるようにズーム倍率を制御することを開示している。
特開2011-209620号公報
映像制作の現場において、カメラマンは画角内の構図を意識し、撮像範囲において被写体が所望の場所に位置するよう、撮像範囲を制御したいというケースがある。ここで、ユーザがジョイスティックを利用してPTZを制御しつつ、撮像範囲において被写体が所望の場所に位置するよう撮像範囲を制御する操作は煩雑であった。
そこで、本発明は、撮像範囲において被写体がユーザの所望する場所に位置するような撮像範囲の制御を簡易にすることを目的としている。
上記課題を解決するために、例えば、本発明の情報処理装置は以下の構成を備える。すなわち、撮像手段により撮像された画像を取得する取得手段と、前記取得手段により取得された画像を表示手段に表示させる表示制御手段と、前記撮像手段の撮像範囲を制御する制御手段とを有し、前記表示制御手段は、前記撮像範囲における被写体が第1位置に配置される第1配置候補の情報と、前記撮像範囲における前記被写体が前記第1位置と異なる第2位置に配置される第2配置候補の情報とを前記表示手段に表示させ、前記制御手段は、前記第1配置候補および前記第2配置候補のうちユーザに選択された配置候補の情報に基づき、前記撮像範囲を制御する。
本発明によれば、撮像範囲において被写体がユーザの所望する場所に位置するような撮像範囲の制御を簡易にすることができる。
システムの一例を示す図である。 撮像装置の外観の一例を示す図である。 撮像装置の機能ブロックを示す図である。 情報処理装置の機能ブロックを示す図である。 配置候補を表示させる処理の流れを示すフローチャートである。 ディスプレイに表示される画像および配置候補の一例を示す図である。 表示される配置候補を説明するための図である。 撮像範囲を制御する処理の流れを示すフローチャートである。 ディスプレイに表示される画像および配置候補の一例を示す図である。 各装置のハードウェア構成を示す図である。
以下、添付図面を参照しながら、本発明に係る実施形態について説明する。なお、以下の実施形態において示す構成は一例に過ぎず、図示された構成に限定されるものではない。
(実施形態1)
図1は、本実施形態におけるシステム構成を示す図である。本実施形態におけるシステムは、撮像装置100、情報処理装置200、ディスプレイ400、およびネットワーク300を有している。
撮像装置100および情報処理装置200は、ネットワーク300を介して相互に接続されている。ネッワーク300は、例えばETHERNET(登録商標)等の通信規格に準拠する複数のルータ、スイッチ、ケーブル等から実現される。
なお、ネットワーク300は、インターネットや有線LAN(Local Area Network)、無線LAN(Wireless Lan)、WAN(Wide Area Network)等により実現されてもよい。
撮像装置100は、画像を撮像する装置であり、撮像範囲を制御可能な撮像手段として機能する。撮像装置100は、撮像した画像の画像データと、画像を撮像した撮像日時の情報と、撮像装置100を識別する識別情報と、撮像装置110の撮像範囲の情報とを、ネットワーク300を介し、情報処理装置200等の外部装置へ送信する。情報処理装置200は、例えば、後述する処理の機能を実現するためのプログラムがインストールされたパーソナルコンピュータ等のクライアント装置である。なお、本実施形態に係るシステムにおいて、撮像装置100は1つとするが、複数であってもよい。すなわち、複数の撮像装置100が、ネットワーク300を介して、情報処理装置200と接続されてもよい。この場合、情報処理装置200は、例えば、送信された画像と関連付けられた識別情報を用いて、送信された当該画像は、複数の撮像装置100のうちどの撮像装置100により撮像されたかを判断する。
ディスプレイ400は、LCD(Liquid Crystal Display)等により構成されており、撮像装置100が撮像した画像などを表示する。ディスプレイ400は、HDMI(登録商標)(High Definition Multimedia Interface)等の通信規格に準拠したディスプレイケーブルを介して情報処理装置200と接続されている。なお、ディスプレイ400および情報処理装置200は、単一の筐体に設けられてもよい。
次に、図2および図3を参照して、本実施形態に係る撮像装置100について説明する。図2は、本実施形態に係る撮像装置100の外観図の一例である。また図3は、本実施形態に係る撮像装置100および情報処理装置200の機能ブロックの一例である。なお、図3に示す撮像装置100の機能ブロックのうち、画像処理部112、システム制御部113、パンチルトズーム制御部114、記憶部115、通信部116等の各機能は、次のようにして実現されるものとする。すなわち、図10を参照して後述する撮像装置100のROM(Read Only Memory)1020に格納されたコンピュータプログラムを撮像装置100のCPU(Central Processing Unit)1000が実行することで実現される。
レンズ101の光軸の向く方向が撮像装置100の撮像方向であり、レンズ101を通過した光束は、撮像装置100の撮像部111の撮像素子に結像する。また、レンズ駆動部102は、レンズ101を駆動させる駆動系により構成され、レンズ101の焦点距離を変更する。レンズ駆動部102は、パンチルトズーム制御部114により制御される。
パン駆動部103は、パン動作を行うメカ駆動系及び駆動源のモータにより構成され、撮像装置100の撮像方向をパン方向105に回転駆動させるための回転駆動を行う制御をするように駆動する。また、パン駆動部103は、パンチルトズーム制御部114により制御される。
チルト駆動部104は、チルト動作を行うメカ駆動及び駆動源のモータにより構成され、撮像装置100の撮像方向をチルト方向106に回転駆動させるための回転駆動を行う制御するように駆動する。チルト駆動部104は、パンチルトズーム制御部114により制御される。
撮像部111は、CCD(charge coupled device)センサやCMOS(complementary metal oxide semiconductor)センサ等の撮像素子(不図示)により構成される。そして、撮像部111は、レンズ101を通って結像された被写体像を光電変換して電気信号を生成する。画像処理部112は、撮像部111において光電変換された電気信号をデジタル信号へ変換する処理や、圧縮符号化処理などの画像処理を行い、画像データを生成する。
パンチルトズーム制御部114は、システム制御部113から伝達された指示に基づいて、パン駆動部103、チルト駆動部104及びレンズ駆動部102の制御を行うことで、撮像装置100のパン、チルト、およびズームを制御する。
記憶部115は、例えば、撮像範囲を示す情報を記憶(保持)する。通信部116は、図10を参照して後述するI/F1040を介して、情報処理装置200との通信を行う。例えば、通信部116は、撮像装置100が撮像した画像の画像データを、ネットワーク300を介して情報処理装置200に送信する。また、通信部116は、撮像装置100の撮像範囲を示す情報を送信する。また、通信部116は、情報処理装置200から送信された撮像装置100を制御するためのコマンドである制御コマンドを受信し、システム制御部113へ伝達する。
システム制御部113は、図10を参照して後述するCPU1000が実行する処理に従って、撮像装置100の全体を制御し、例えば、次のような処理を行う。すなわち、システム制御部113は、情報処理装置200から送信された撮像装置100を制御する制御コマンドを解析し、当該制御コマンドに応じた処理を行う。また、システム制御部113は、パンチルトズーム制御部114に対してパンチルトズーム動作の指示を行う。また、システム制御部113は、画像処理部112で生成された画像データを情報処理装置200に送信する際に、当該画像データを撮像した撮像時刻の情報も画像データに付与する。
なお、本実施形態における撮像範囲は、撮像装置100のパン値、チルト値およびズーム値により定まる。なお、パン値は、パン駆動部103の駆動端の一方を0°としたときの、撮像装置100のパン方向105における撮像方向(光軸)の角度である。また、チルト値は、チルト駆動部104の駆動端の一方を0°としたときの、撮像装置100のチルト方向106における撮像方向(光軸)の角度である。なお、撮像装置100により画像が撮像されるときの撮像装置100のズーム値は、レンズ101の焦点距離から算出する。
ここで、図4に示す情報処理装置200の機能ブロックを参照して、本実施形態に係る情報処理装置200の情報処理について説明する。なお、情報処理装置200の各機能は、図10を参照して後述するROM1020とCPU1000とを用いて、次のようにして実現されるものとする。すなわち、図4に示す各機能は、情報処理装置200のROM1020に格納されたコンピュータプログラムを情報処理装置200のCPU1000が実行することにより実現される。
通信部201は、図10を参照して後述するI/F1040を介して、撮像装置100から送信される画像データを取得する。記録部201は、図10を参照して後述するRAM(Random Access Memory)1010やHDD(Hard Disk Drive)1030等によって実現でき、情報処理装置200による情報処理に関わる情報やデータを記録する。例えば、記録部201は、画像から検出された被写体の位置に関する情報を記録する。また、記録部201は、パン値、チルト値、およびズーム値のうち撮像装置100がいずれを制御可能かを示す情報である制御可否情報を記録する。
検出部203は、通信部201が取得した画像における被写体を検出する検出処理を実行する。本実施形態における検出部202は、照合パターン(辞書)を使用して、パターンマッチング等の処理を行うことで、画像に含まれる被写体として人物の検出を行う。なお、画像から人物を検出するにあたって、人物が正面向きである場合の照合パターンと横向きである場合の照合パターンなど複数の照合パターンを用いて画像から人物を検出するようにしてもよい。このように、複数の照合パターンを用いた検出処理を実行することで、検出精度の向上が期待できる。
なお、照合パターンとして、斜め方向からや上方向からなど他の角度から人物を見た場合の照合パターンを用意しておいてもよい。また、画像から人物を検出する場合、必ずしも全身の特徴を示す照合パターン(辞書)を用意しておく必要はなく、上半身、下半身、頭部、顔、足などの人物の一部について照合パターンを用意してもよい。
なお、本実施形態では、画像から検出される被写体として人物を検出するが、人物に限らず、例えば、車など他の物体であってもよい。また、本実施形態における検出部203は、画像から特定の物体を検出する方法として、パターンマッチング処理を用いるが、他の従来技術を用いて画像から特定の物体を検出してもよい。
特定部204は、画像に含まれる被写体を、撮像装置100の撮像範囲の制御の基準として特定する。特定部204により特定された画像における被写体(人物)を基準として、撮像装置100の撮像範囲を制御することになる。なお特定部204により、撮像範囲の制御の基準として画像に含まれる被写体を特定する処理の詳細な説明については後述する。
操作受付部205は、キーボードやマウス等の入力装置(不図示)を介して、ユーザが行った操作を受け付ける。表示制御部206は、通信部201により取得された画像をディスプレイ400に表示させる。また本実施形態における表示制御部206は、撮像範囲における被写体が配置される候補を示す複数の配置候補をディスプレイ400に表示させる。表示制御部206により表示される配置候補についての詳細な説明については後述する。
範囲制御部207は、撮像装置100の撮像範囲を制御する処理を実行する。具体的には、範囲制御部207は、撮像装置100のパン値、チルト値およびズーム値の少なくともいずれかを変更するための制御コマンドを生成し、通信部201を介して撮像装置100に送信する。撮像装置100は送信された制御コマンドに従って、撮像範囲を制御する。例えば、操作受付部205は、撮像装置100のパン値をパン方向105に所定値だけ変更するユーザ指示を受け付けた場合、範囲制御部207は、次のような処理を実行する。すなわち、範囲制御部207は、パン値をパン方向105に所定値だけ変更させる制御コマンドを生成し、通信部201を介して撮像装置100に送信する。撮像装置100は、取得した制御コマンドに従って、パン駆動部103を制御することでパン角度をパン方向105に所定角度変更させる。
続いて、図5~図8を参照して、複数の配置候補を生成してディスプレイ400に表示させる処理について説明する。図5は、複数の配置候補を生成してディスプレイ400に表示させる処理の流れを示すフローチャートである。
ステップS501にて、表示制御部206は、特定部204により撮像範囲を制御する基準として特定された被写体が存在するかを判定する。ここで特定部204により特定された人物がいると判定された場合(S501にてYes)、S502に遷移し、特定された人物がいないと判定された場合(S501にてNo)、S501の処理を繰り返す。なおここで特定部204により撮像範囲を制御する基準として被写体(以下、基準被写体)を特定する処理について説明する。例えば、検出部203は、画像に対して被写体を検出する検出処理を実行し、表示制御部206は、検出された被写体の位置を示す枠を画像に重畳してディスプレイ400に表示させる。そして、画像に重畳して表示された枠のうち少なくともいずれか1つを選択するユーザ操作を操作受付部205が受け付けた場合、特定部204は、ユーザ操作に従って選択された枠に対応する被写体を基準被写体として特定する。例えば、撮像された画像から被写体として4人の人物が検出部203により検出された場合、表示制御部206は、検出された4人の人物各々に対し外接矩形の枠を当該画像に重畳してディスプレイ400に表示させる。そして、当該4人の人物の各々に重畳された枠のうち、或る人物に対応する枠を選択するユーザ操作を受け付けた場合、特定部204は選択された枠に対応する当該或る人物を基準被写体として特定する。
次に、S502にて、表示制御部206は、S501にて特定された基準被写体の数が1かどうかを判定する。特定された基準被写体の数が1であると判定された場合(S502にてYes)、S503へ遷移し、特定された基準被写体の数が1でないと判定された場合(S502にてNo)、S504へ遷移する。S503にて、表示制御部206は、1人用の配置候補の情報をディスプレイ400に表示させる。配置候補の情報については図6を参照して後述する。S504にて、特定された基準被写体の数が2人であるかを判定する。特定された基準被写体が2人であると判定された場合(S504にてYes)、S505へ遷移し、特定された基準被写体が2人でないと判定された場合(S504にてNo)、S506に遷移する。S505にて、表示制御部206は、2人用の配置候補の情報をディスプレイ400に表示させる。S506にて、表示制御部206にて、全員が画角に収まる配置候補をディスプレイ400に表示させる。
ここで、図6(a)~(b)を参照して、ディスプレイ400に表示制御部206により表示される配置候補の情報について説明する。本実施形態における表示制御部206は、撮像装置100により撮像されたが表示される領域である画像表示領域602と、複数の配置候補が表示される領域である候補表示領域605とを含む表示ウィンドウ601をディスプレイ400に表示させる。なお、表示制御部206は、画像表示領域602と、候補表示領域605とをそれぞれ異なるウィンドウで別々にディスプレイ400に表示させるようにしてもよい。また、図6(a)に示すように、基準被写体として特定部204により特定された人物604を含む画像が画像表示領域206において表示される。このとき、表示制御部206は、人物604の位置に対応して枠603を画像に重畳して表示させている。また撮像装置100の撮像範囲において被写体が第1位置に配置される第1配置候補606の情報と、撮像範囲における被写体が第1位置と異なる第2位置に配置される第2配置候補608の情報とを少なくとも含む候補表示領域605が表示される。図6(a)に示すように、第1配置候補606は、撮像範囲を示す矩形領域において被写体を示すアイコン607が左側に配置された図形として候補表示領域605に表示される。また、第2配置候補608は、撮像範囲を示す矩形領域において被写体を示すアイコン609が中央に配置された図形として候補表示領域605に表示される。また、第3配置候補610は、撮像範囲を示す矩形領域において被写体を示すアイコン611が右側に配置された図形として候補表示領域605に表示される。なお図6(a)に示す例において、3つの異なる配置候補が表示されるが、これに限らず、他の数の配置候補を表示させてもよい。
ここで、図6(a)の複数の配置候補のうち第1配置候補606が選択された場合について説明する。第1配置候補606がユーザ操作により選択された場合、範囲制御部207は、次のような処理を実行する。すなわち、範囲制御部207は、第1配置候補606が示す撮像範囲に対する被写体の位置関係と、現在の撮像装置100の撮像範囲に対する基準被写体である人物604の位置関係とが同一となるよう、撮像装置100の撮像範囲を制御する処理を実行する。具体的には、範囲制御部207は、第1配置候補606にて撮像範囲を示す矩形領域に対する被写体を示すアイコン607の重心点を特定する。更に、範囲制御部207は、現在の撮像装置100の撮像範囲に対する基準被写体である人物604の重心点を特定する。そして、範囲制御部207は、第1配置候補606の矩形領域に対するアイコン607の重心点の相対的な位置関係と、現在の撮像範囲に対する人物604の重心点の相対的な位置関係とが、同一となるよう撮像範囲を制御するための制御コマンドを生成する。このとき生成された制御コマンドは通信部201を介して撮像装置100に送信され、撮像装置100は送信された制御コマンドに基づき、パン値、チルト値、およびズーム値の少なくともいずれかを制御することで撮像範囲を制御する。このようにして撮像装置100の撮像範囲が制御されたのちに撮像された画像は撮像装置100から情報処理装置200に送信される。図6(b)は、配置候補の選択に応じて撮像装置100の撮像範囲が制御されたのち撮像および送信された画像が表示制御部206により画像表示領域602に表示される例について示している。このとき、図6(b)に示すように、第1配置候補606に示す撮像範囲に対する被写体の位置関係と、実際の撮像範囲に対する被写体(人物604)の位置関係とが同様となるような画像が得られる。また、図6(b)に示すように、表示制御部206は、第1配置候補606の選択に応じて、第2配置候補608や第3配置候補610の表示態様と、第1配置候補606の表示態様を異ならせる。このようにすることで第1配置候補606が選択されていることをユーザに提示することができる。
また図6に示す例において、1人用の配置候補の場合について説明したが、ここで他の人数用の配置候補の場合について図7を参照して説明する。図7(a)は1人用の複数の配置候補の例について示しており、配置候補701~703はそれぞれ図6に示す配置候補606、608、610と同様であるため説明を省略する。図7(b)は2人用の複数の配置候補の例について示している。図7(b)に示す配置候補704~706は、S505の処理にて候補表示領域に表示される情報である。配置候補704では、画像において特定された第1人物に対応するアイコン707が撮像範囲の左側に配置され、当該画像において特定された第2人物に対応するアイコン708が撮像範囲の右側に配置される配置候補である。また、配置候補705では、第1人物に対応するアイコン707が左側にズームアップされるよう配置された配置候補である。また、配置候補706では、第2人物に対応するアイコン708が右側にズームアップされるように配置された配置候補である。また、図7(c)に示す配置候補709は、図5のS504にて基準被写体が2人ではないと判定された場合にS506にて表示制御部206により候補表示領域に表示される配置候補である。このとき特定部207により特定されたN人(Nは整数)が画角内におさまる配置候補である。本実施形態において配置候補709が選択された場合、範囲制御部207は、特定されたN人が画角内に収まるように撮像装置100の撮像範囲を制御するための制御コマンドを生成して撮像装置100に送信するものとする。なお、表示させる配置候補は、図7(a)~(c)に限定されず、他の配置候補を追加してもよい。
ここで、図8に示すフローを参照して、配置候補のユーザ選択に伴う撮像範囲を制御する処理について説明する。なお、図8に示すフローの処理は、例えば、ユーザによる指示に従って、開始又は終了するものとする。なお、図10に示すフローチャートの処理は、例えば情報処理装置200のROM1020に格納されたコンピュータプログラムを情報処理装置200のCPU1000が実行して実現される図4に示す情報処理装置200の機能ブロックにより実行される。
まず、S801にて、範囲制御部207は、候補表示領域605に表示された配置候補のうちいずれかの配置候補が選択されたかを判定する。配置候補が選択されたと判定された場合(S801にてYes)、S802へ遷移し、配置候補が選択されてないと判定された場合(S801にてNo)、S801の処理に戻る。S802にて、範囲制御部207は、選択された配置候補が示す撮像範囲に対する被写体の位置の情報に基づき、撮像範囲を制御するにあたってのパン値およびチルト値を制御する量を決定する。ここで図6(a)に示す例において第1配置候補606が選択された場合について説明する。このとき、S802にて、範囲制御部207は、次のような処理を実行する。すなわち、第1配置候補606の矩形領域に対するアイコン607の重心点の相対的な位置関係と、実際の撮像範囲に対する人物604の重心点の相対的な位置関係とが、同一となるよう撮像範囲を制御するためのパン値およびチルト値を決定する。次にS803にて、範囲制御部207は、選択された配置候補が示す撮像範囲に対する被写体のサイズの情報に基づき、撮像範囲を制御するにあたってのズーム値を決定する。ここで、第1配置候補606が選択せれた場合を想定する。このとき、範囲制御部207は、第1配置候補606の矩形領域に対するアイコン606の相対的なサイズと、実際の撮像範囲に対する人物604の相対的なサイズとが同一となるような、撮像装置100のズーム値を決定する。S804にて、範囲制御部207は、S802~S803にて決定されたパン値、チルト値およびズーム値となるよう撮像装置100を制御する制御コマンドを生成する。S805にて、通信部201は、S804にて生成された制御コマンドを撮像装置100に送信する。このとき、撮像装置100は、送信された制御コマンドを解析し、解析した結果に基づいて、パン駆動部103、チルト駆動部104およびレンズ駆動部102の少なくともいずれかを制御することで、撮像装置100の範囲を制御する。
以上、説明したように、本実施形態における情報処理装置200は、表示された複数の異なる配置候補のうち選択された配置候補に従って、当該配置候補と同様の被写体の構図が撮像されるよう撮像装置100の撮像範囲を制御する。このようにすることで、撮像範囲において被写体がユーザの所望する場所に位置するような撮像範囲の制御を簡易にすることができる。
(実施形態2)
本発明の第2の実施形態について説明する。実施形態2では、候補表示領域における配置候補において表示されるアイコンの表示態様と、画像表示領域における当該アイコンに対応する基準被写体を示す枠の表示態様とを対応付ける場合について説明する。なお、実施形態1と異なる部分を主に説明し、実施形態1と同一または同等の構成要素、および処理には同一の符号を付すとともに、重複する説明は省略する。
図9(a)~(b)を参照して、本実施形態における表示制御部206がディスプレイ400にさせる情報について説明する。表示制御部206は、撮像装置100により撮像されたが表示される領域である画像表示領域902と、複数の配置候補が表示される領域である候補表示領域907とを含む表示ウィンドウ901をディスプレイ400に表示させる。なお、表示制御部206は、画像表示領域902と、候補表示領域905とをそれぞれ異なるウィンドウで別々にディスプレイ400に表示させるようにしてもよい。また、図9(a)に示すように、基準被写体として特定部204により特定された人物904および人物906を含む画像が画像表示領域206において表示される。このとき、表示制御部206は、人物904の位置に対応して枠903を、人物906の位置に対応して枠905を画像に重畳して表示させている。また表示制御部206は、二人用の配置候補として、配置候補908、配置候補911、および配置候補913を含む候補表示領域907を表示させる。図9(a)に示す例において、配置候補908では、画像において特定された人物904に対応するアイコン909aが撮像範囲の左側に配置され、当該画像において特定された人物906に対応するアイコン910が撮像範囲の右側に配置される配置候補である。また、配置候補911では、人物904に対応するアイコン909aが左側にズームアップされるよう配置された配置候補である。また、配置候補913では、人物906に対応するアイコン914aが右側にズームアップされるように配置された配置候補である。なお本実施形態における表示制御部206は、図9(a)に示すように、基準被写体として特定された人物を示す枠と、配置候補において当該人物に対応するアイコンとの関連付けがユーザに明示されるような表示態様を用いて当該枠と当該アイコンを表示させる。具体的には、図9(a)に示す例において、人物904を示す枠903と、人物904に対応するアイコン909aおよび912aの外縁とをそれぞれ実線で示す。また、図9(a)に示す例において、人物906を示す枠905と、人物906に対応するアイコン910aおよび914aの外縁とをそれぞれ点線で示す。なお、人物を示す枠と、当該人物に対応するアイコンとの関連付けを明示させる方法として、実線か点線かで提示する方法に限らない。例えば、表示制御部206は、次のような表示を行ってもよい。すなわち、表示制御部206は、人物904を示す枠903と、人物904に対応するアイコン909aおよび912aとをそれぞれ第1の色で表示させる。更に、表示制御部206は、人物906を示す枠905と、人物906に対応するアイコン910aおよび914aとを第1の色と異なる第2の色で表示させる。また、当該人物に対応するアイコンとの関連付けを明示させる方法として、表示制御部206は、人物の切り出し画像を用いてもよい。具体的には、図9(b)に示すように、表示制御部206は、アイコン909aおよびアイコン912aの代わりとして、人物904を切り出した画像である切り出し画像909bおよび切り出し画像912bを用いるようにしてもよい。またこのとき表示制御部206は、アイコン910aおよびアイコン914aの代わりとして、人物906の切り出し画像である切り出し画像910bおよび切り出し画像914bを用いてもよい。
以上説明したように本実施形態における情報処理装置200は、画像から特定された人物に対応して当該画像に重畳される図形と、配置候補において当該人物に対応して表示される図形との関連付けが明示されるような表示を行う。このようにすることで、撮像範囲において被写体がユーザの所望する場所に位置するような撮像範囲の制御を簡易にすることができる。
(その他の実施形態)
次に図10を参照して、各実施形態の各機能を実現するための情報処理装置200のハードウェア構成を説明する。なお、以降の説明において情報処理装置200のハードウェア構成について説明するが、撮像装置100も同様のハードウェア構成によって実現されるものとする。
本実施形態における情報処理装置200は、CPU1000、RAM1010、ROM1020、HDD1030、および、I/F1040を有している。
CPU1500は情報処理装置200を統括制御する中央処理装置である。RAM1010は、CPU1000が実行するコンピュータプログラムを一時的に記憶する。また、RAM1010は、CPU1000が処理を実行する際に用いるワークエリアを提供する。また、RAM1010は、例えば、フレームメモリとして機能したり、バッファメモリとして機能したりする。
ROM1020は、CPU1500が情報処理装置200を制御するためのプログラムなどを記憶する。HDD1030は、画像データ等を記録する記憶装置である。
I/F1010は、ネットワーク140を介して、TCP/IPやHTTPなどに従って、外部装置との通信を行う。
なお、上述した各実施形態の説明では、CPU1000が処理を実行する例について説明するが、CPU1000の処理のうち少なくとも一部を専用のハードウェアによって行うようにしてもよい。例えば、ディスプレイ400にGUI(GRAPHICAL USER INTERFACE)や画像データを表示する処理は、GPU(GRAPHICS PROCESSING UNIT)で実行してもよい。また、ROM1020からプログラムコードを読み出してRAM1010に展開する処理は、転送装置として機能するDMA(DIRECT MEMORY ACCESS)によって実行してもよい。
なお、本発明は、上述の実施形態の1以上の機能を実現するプログラムを1つ以上のプロセッサが読出して実行する処理でも実現可能である。プログラムは、ネットワーク又は記憶媒体を介して、プロセッサを有するシステム又は装置に供給するようにしてもよい。また、本発明は、上述の実施形態の1以上の機能を実現する回路(例えば、ASIC)によっても実現可能である。また、情報処理装置200の各部は、図10に示すハードウェアにより実現してもよいし、ソフトウェアにより実現することもできる。
なお、上述した各実施形態に係る情報処理装置200の1以上の機能を他の装置が有していてもよい。例えば、各実施形態に係る情報処理装置200の1以上の機能を情報処理装置200が有していてもよい。なお、上述した各実施形態を組み合わせて、例えば、上述した実施形態を任意に組み合わせて実施してもよい。
以上、本発明を実施形態と共に説明したが、上記実施形態は本発明を実施するにあたっての具体化の例を示したものに過ぎず、これらによって本発明の技術的範囲は限定的に解釈されるものではない。すなわち、本発明はその技術思想、又はその主要な特徴から逸脱しない範囲において、様々な形で実施することができる。例えば、各実施形態を組み合わせたものも本明細書の開示内容に含まれる。
100 撮像装置
200 情報処理装置
201 通信部
202 記憶部
203 検出部
204 特定部
205 操作受付部
206 表示制御部
207 範囲制御部

Claims (7)

  1. 撮像手段により撮像された画像を取得する取得手段と、
    前記取得手段により取得された画像を表示手段に表示させる表示制御手段と、
    前記撮像手段の撮像範囲を制御する制御手段とを有し、
    前記表示制御手段は、前記撮像範囲における被写体が第1位置に配置される第1配置候補の情報と、前記撮像範囲における前記被写体が前記第1位置と異なる第2位置に配置される第2配置候補の情報とを前記表示手段に表示させ、
    前記制御手段は、前記第1配置候補および前記第2配置候補のうちユーザに選択された配置候補の情報に基づき、前記撮像範囲を制御することを特徴とする情報処理装置。
  2. 前記撮像手段により撮像された画像に含まれる被写体を、前記制御手段による前記撮像範囲の制御の基準として特定する特定手段を更に有し、
    前記制御手段は、前記第1配置候補がユーザに選択された場合、前記特定手段により特定された被写体が前記撮像範囲において前記第1位置に配置されるよう、前記撮像範囲を制御し、前記第2配置候補がユーザに選択された場合、前記特定手段により特定された被写体が前記撮像範囲において前記第2位置に配置されるよう、前記撮像範囲を制御することを特徴とする請求項1に記載の情報処理装置。
  3. 前記撮像手段により撮像された画像に含まれる被写体を検出する検出手段を更に有し、
    前記特定手段は、前記検出手段により検出された被写体のうちユーザ操作に基づき選択された被写体を、前記撮像範囲の制御の基準として特定することを特徴とする請求項2に記載の情報処理装置。
  4. 前記表示制御手段は、前記取得手段により取得された画像を含む画像表示領域と、前記第1配置候補および前記第2配置候補を含む候補表示領域とを前記表示手段に表示させることを特徴とする請求項1乃至3の何れか1項に記載の情報処理装置。
  5. 前記表示手段に表示される前記第1配置候補の情報は、前記撮像範囲を示す領域において前記第1位置に対応して被写体を示すアイコンが配置された図形であり、
    前記表示手段に表示される前記第2配置候補の情報は、前記撮像範囲を示す領域において前記第2位置に対応して被写体を示すアイコンが配置された図形であることを特徴とする請求項1乃至4のいずれか1項に記載の情報処理装置。
  6. 撮像手段により撮像された画像を取得する取得手段と、
    前記取得手段により取得された画像を表示手段に表示させる表示制御手段と、
    前記撮像手段の撮像範囲を制御する制御手段とを有し、
    前記表示制御手段は、前記撮像範囲における被写体が第1位置に配置される第1配置候補の情報と、前記撮像範囲における前記被写体が前記第1位置と異なる第2位置に配置される第2配置候補の情報とを前記表示手段に表示させ、
    前記制御手段は、前記第1配置候補および前記第2配置候補のうちユーザに選択された配置候補の情報に基づき、前記撮像範囲を制御することを特徴とする情報処理装置。
  7. コンピュータを、請求項1乃至5のいずれか1項に記載の情報処理装置の各手段として機能させるためのプログラム。
JP2020209353A 2020-12-17 2020-12-17 情報処理装置、情報処理方法、およびプログラム Pending JP2022096313A (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2020209353A JP2022096313A (ja) 2020-12-17 2020-12-17 情報処理装置、情報処理方法、およびプログラム
US17/549,036 US20220201220A1 (en) 2020-12-17 2021-12-13 Information processing apparatus, information processing method, and storage medium

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2020209353A JP2022096313A (ja) 2020-12-17 2020-12-17 情報処理装置、情報処理方法、およびプログラム

Publications (1)

Publication Number Publication Date
JP2022096313A true JP2022096313A (ja) 2022-06-29

Family

ID=82022579

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2020209353A Pending JP2022096313A (ja) 2020-12-17 2020-12-17 情報処理装置、情報処理方法、およびプログラム

Country Status (2)

Country Link
US (1) US20220201220A1 (ja)
JP (1) JP2022096313A (ja)

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8027582B2 (en) * 2009-12-21 2011-09-27 Sony Corporation Autofocus with confidence measure
US20120019709A1 (en) * 2010-07-21 2012-01-26 Altek Corporation Assisting focusing method using multiple face blocks
US8411195B2 (en) * 2011-04-01 2013-04-02 Sony Corporation Focus direction detection confidence system and method
US8619182B2 (en) * 2012-03-06 2013-12-31 Csr Technology Inc. Fast auto focus techniques for digital cameras
US20150116552A1 (en) * 2013-10-30 2015-04-30 Jan kåhre Digital camera system and a method for controlling the digital camera system
WO2015159323A1 (en) * 2014-04-17 2015-10-22 Sony Corporation Depth assisted scene recognition for a camera
US9479703B2 (en) * 2014-09-28 2016-10-25 Hai Yu Automatic object viewing methods and apparatus
US9554030B2 (en) * 2014-09-29 2017-01-24 Yahoo! Inc. Mobile device image acquisition using objects of interest recognition

Also Published As

Publication number Publication date
US20220201220A1 (en) 2022-06-23

Similar Documents

Publication Publication Date Title
JP6525611B2 (ja) 画像処理装置およびその制御方法
KR101739318B1 (ko) 표시 제어장치, 촬상 시스템, 표시 제어방법, 및 기록 매체
KR20120012397A (ko) 카메라 장치, 카메라 시스템, 제어 장치 및 프로그램
US9961268B2 (en) Control device, imaging system, control method, and program for controlling imaging unit according to image capturing direction and zoom magnification
US20170280090A1 (en) Binocular display and method for displaying images
US20200045242A1 (en) Display control device, display control method, and program
JP6676347B2 (ja) 制御装置、制御方法、及びプログラム
EP3438943A1 (en) Information processing apparatus, information processing method, and computer program
US20190045136A1 (en) Display control device, display control method, and program
JP2022096313A (ja) 情報処理装置、情報処理方法、およびプログラム
JP2018005091A (ja) 表示制御プログラム、表示制御方法および表示制御装置
JP2009060251A (ja) 情報処理装置及び遠隔診断システム
JP4811249B2 (ja) 遠隔指示システム
US11516390B2 (en) Imaging apparatus and non-transitory storage medium
US20230101516A1 (en) Information processing apparatus, information processing method, and storage medium
JP2020036196A (ja) 画像処理装置、撮像装置、画像処理方法、およびプログラム
EP2413602A1 (en) Image display device, image capture device, image display system, image display method, and image combining device
JP2023079040A (ja) 制御装置、制御方法、およびプログラム
US11943528B2 (en) Information processing apparatus, information processing method, and program
KR101980086B1 (ko) 360도 영상 촬영 장치 및 360도 영상 편집 방법
JP2019041188A (ja) 画像処理装置、撮像装置、画像処理装置の制御方法およびプログラム
JP2023059153A (ja) 情報処理装置、情報処理方法、およびプログラム
US10885348B2 (en) Information processing device, information processing method, and storage medium
JP7130375B2 (ja) 画像処理装置、撮影装置、画像処理方法、およびプログラム
JP6580213B1 (ja) 画像処理装置、撮影装置、画像処理方法、およびプログラム

Legal Events

Date Code Title Description
RD01 Notification of change of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7421

Effective date: 20210108

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210927

RD01 Notification of change of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7421

Effective date: 20231213

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20231215