JP2018201065A - 表示制御装置、表示制御方法及びプログラム - Google Patents

表示制御装置、表示制御方法及びプログラム Download PDF

Info

Publication number
JP2018201065A
JP2018201065A JP2017103649A JP2017103649A JP2018201065A JP 2018201065 A JP2018201065 A JP 2018201065A JP 2017103649 A JP2017103649 A JP 2017103649A JP 2017103649 A JP2017103649 A JP 2017103649A JP 2018201065 A JP2018201065 A JP 2018201065A
Authority
JP
Japan
Prior art keywords
display
captured image
display control
image
unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2017103649A
Other languages
English (en)
Other versions
JP6976719B2 (ja
Inventor
貴義 水野
Takayoshi Mizuno
貴義 水野
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Priority to JP2017103649A priority Critical patent/JP6976719B2/ja
Priority to US15/984,166 priority patent/US11190747B2/en
Priority to EP18174087.9A priority patent/EP3407599A1/en
Priority to KR1020180058727A priority patent/KR102280000B1/ko
Priority to CN201810516805.XA priority patent/CN108965656B/zh
Publication of JP2018201065A publication Critical patent/JP2018201065A/ja
Application granted granted Critical
Publication of JP6976719B2 publication Critical patent/JP6976719B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00Geometric image transformations in the plane of the image
    • G06T3/04Context-preserving transformations, e.g. by using an importance map
    • G06T3/047Fisheye or wide-angle transformations
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106Processing image signals
    • H04N13/111Transformation of image signals corresponding to virtual viewpoints, e.g. spatial image interpolation
    • H04N13/117Transformation of image signals corresponding to virtual viewpoints, e.g. spatial image interpolation the virtual viewpoint locations being selected by the viewers or determined by viewer tracking
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/222Studio circuitry; Studio devices; Studio equipment
    • H04N5/262Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/2628Alteration of picture size, shape, position or orientation, e.g. zooming, rotation, rolling, perspective, translation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/63Control of cameras or camera modules by using electronic viewfinders
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00Geometric image transformations in the plane of the image
    • G06T3/12Panospheric to cylindrical image transformations
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00Geometric image transformations in the plane of the image
    • G06T3/60Rotation of whole images or parts thereof
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50Constructional details
    • H04N23/55Optical parts specially adapted for electronic image sensors; Mounting thereof
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/62Control of parameters via user interfaces
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/18Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/183Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a single remote source

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Studio Devices (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Indication In Cameras, And Counting Of Exposures (AREA)
  • Controls And Circuits For Display Device (AREA)
  • Camera Bodies And Camera Details Or Accessories (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

【課題】画像を表示する際に、注目対象を認識し易い状態で表示することを目的とする。【解決手段】撮影画像の一部の領域を表示手段に表示するよう制御する表示制御手段と、領域の位置に応じて、撮影画像の予め設定された中心位置を軸として、撮影画像を回転する回転手段とを有し、表示制御手段は、回転された撮影画像を表示手段に表示するよう制御することを特徴とする。【選択図】図2

Description

本発明は、表示制御装置、表示制御方法及びプログラムに関する。
従来、ネットワークを介して、遠隔操作によりカメラを制御し、映像を監視するネットワークカメラシステムが知られている。また、カメラのフォーカス、ズーム、露出、解像度、ホワイトバランス、撮影時のフレームレートなどを制御することが可能なネットワークカメラシステムが知られている。このようなネットワークカメラシステムでは、撮影した映像をユーザがクライアント装置で確認する際に、監視したい対象に応じて映像の表示方法を切り換えることがある。映像の表示方法としては、例えばカメラが撮影している全体画像を表示する方法や、指定した領域を切り出して表示する方法、または全体画像をパノラマ映像に変換して表示する方法がある。さらに、このとき、監視している領域に合わせて表示する映像を補正することもある。特許文献1には、パノラマ映像を表示する際に、全体画像内の指定した領域が中心になるようにパノラマ映像を生成する技術が開示されている。
特開2012-119804号公報
しかしながら、全体画像以外から全体画像に切り替えた際に切り替え前の表示領域の角度と全体画像の角度が一致せず、ユーザが監視していた対象を見失ってしまう等、監視対象を認識するのに不便な場合がある。
本発明はこのような問題点に鑑みてなされたもので、画像を表示する際に、注目対象を認識し易い状態で表示することを目的とする。
そこで、本発明は、表示制御装置であって、撮影画像の一部の領域を表示手段に表示するよう制御する表示制御手段と、前記領域の位置に応じて、前記撮影画像の予め設定された中心位置を軸として、前記撮影画像を回転する回転手段とを有し、前記表示制御手段は、回転された撮影画像を前記表示手段に表示するよう制御することを特徴とする。
本発明によれば、画像を表示する際に、注目対象を認識し易い状態で表示することができる。
表示システムのハードウェア構成図である。 表示システムの機能構成図である。 表示制御処理を示すシーケンス図である。 表示制御処理の説明図である。 変形例の説明図である。 変形例の説明図である。 変形例の説明図である。 変形例の説明図である。 変形例の説明図である。 第2の実施形態に係る表示システムの機能構成図である。 第2の実施形態に係る表示制御処理を示すフローチャートである。 第3の実施形態に係る表示制御処理を示すフローチャートである。 表示制御処理の説明図である。
以下、本発明の実施形態について図面に基づいて説明する。
(第1の実施形態)
図1は、第1の実施形態に係る表示システムのハードウェア構成図である。表示システムは、カメラ100と、クライアント装置110と、を有している。カメラ100とクライアント装置110は、ネットワーク120を介して相互に通信可能な状態に接続されている。本実施形態においては、カメラ100は、撮影装置の一例である。カメラ100は、ネットワークカメラとするが、ネットワーク機能を有していないカメラであってもよい。また、本実施形態においては、カメラ100は、魚眼レンズを用いて撮影を行うカメラのように、全方位を撮影可能なカメラとする。なお、カメラ100は、全方位を撮影可能でなくともよく、一般的なレンズよりも広角に撮影できるカメラであればよい。また、クライアント装置110は、パーソナルコンピュータ等の汎用コンピュータである。ここで、カメラ100及びクライアント装置110は、クライアント装置110への撮影画像の表示を制御する表示制御装置の一例である。また、クライアント装置110は、撮影画像を表示する表示装置の一例でもある。
カメラ100は、撮像部101と、画像処理部102と、システム制御部103と、レンズ駆動部106と、レンズ制御部107と、記憶部104と、通信部105と、を有している。撮像部101は、レンズと撮像素子を有し、被写体の撮像及び電気信号への変換を行う。画像処理部102は、撮像部101において撮像、光電変換された信号の所定の画像処理、圧縮符号化処理を行うことにより撮影画像を得る。なお、撮影画像は全方位画像とする。
システム制御部103は、CPUを有し、カメラ100の全体を制御する。システム制御部103は例えば、伝達されたカメラ制御コマンドを解析し、コマンドに応じた処理を行う。システム制御部103は、例えば、レンズ制御部107に対してズームやフォーカス制御の指示を行う。記憶部104は、ROMやRAMを有し、各種情報やプログラムを記憶している。なお、後述するカメラ100の機能や処理は、システム制御部103が記憶部104に格納されているプログラムを読み出し、このプログラムを実行することにより実現されるものである。
通信部105は、ネットワーク120を介して外部装置と通信する。通信部105は、例えば、撮影画像や、回転角度を示す角度情報を、ネットワーク120を介してクライアント装置110に配信する。また通信部105は、クライアント装置110から送信されるカメラ制御コマンドを受信し、システム制御部103へ伝達する。レンズ駆動部106は、前玉レンズ、フォーカスレンズ及びズームレンズ等のレンズ群の駆動系及びその駆動源のモータにより構成され、その動作はレンズ制御部107により制御される。なお、本実施形態において、レンズ駆動部106によって駆動されるレンズ群は魚眼レンズを含むものとする。ただし、魚眼レンズに替えて広角レンズでもよい。また、ズームレンズは省略することもできる。レンズ制御部107は、伝達された指示に基づいて、レンズ駆動部106の制御を行う。
クライアント装置110は、表示部111と、入力部112と、システム制御部113と、記憶部114と、通信部115と、を有している。表示部111は、液晶表示装置などで、カメラ100から取得した画像の表示や、カメラ制御を行うためのグラフィックユーザーインターフェース(以下、GUIと称する)を表示する。入力部112は、キーボード、マウスなどのポインティング・デバイスなどである。クライアント装置110のユーザは、入力部112を介してGUIを操作する。通信部115は、ネットワーク120を介して外部装置と通信する。通信部115は、例えば、撮影画像や角度情報を、ネットワーク120を介してカメラ100から受信する。
システム制御部113は、CPUを有し、クライアント装置110の全体を制御する。システム制御部113は例えば、ユーザ操作に応じたカメラ制御コマンドの生成を行う。システム制御部113によって生成されたカメラ制御コマンドは通信部115を介してカメラ100へ送信される。記憶部114は、ROMやRAMを有し、各種情報やプログラムを記憶している。なお、後述するクライアント装置110の機能や処理は、システム制御部113が記憶部114に格納されているプログラムを読み出し、このプログラムを実行することにより実現されるものである。このようにクライアント装置110は、ネットワーク120を介して、カメラ100の撮影画像の取得や各種のカメラ制御を行うことができる。
図2は、表示システムの機能構成図である。カメラ100は、通信処理部201と、角度特定部202と、を有している。通信処理部201は、クライアント装置110とのデータの送受信を制御する。通信処理部201は、例えば、クライアント装置110に撮像部101により得られた撮影画像を送信する。通信処理部201はまた、クライアント装置110から領域情報を受信する。ここで、領域情報は、クライアント装置110においてユーザ操作に応じて選択された、撮影画像の一部の領域を指定する情報である。以下、ユーザ操作に応じて選択された領域を選択領域と称する。角度特定部202は、領域指定情報に従い、選択領域の座標を特定する。そして、角度特定部202は、選択領域の位置に基づいて、回転角度を決定する。ここで、回転角度とは、選択領域を含む撮影画像の全体を表示する際に、撮影画像の全体を回転させる際の角度である。本処理については後に詳述する。回転角度を示す角度情報は、通信処理部201を介してクライアント装置110に送信される。
クライアント装置110は、通信処理部211と、表示処理部212と、受付部213と、を有している。通信処理部211は、カメラ100とのデータの送受信を制御する。通信処理部211は、例えば、撮影画像や回転角度情報を受信する。表示処理部212は、表示部111に各種データを表示するよう制御する。表示処理部212は、例えば、通信処理部211が受信した回転角度に従い、撮影画像を回転させ、回転後の状態の撮影画像を表示部111に表示するよう制御する。つまり、表示処理部212は、受信した回転角度に従って回転された撮像画像を生成し、それを表示させる。
図3は、表示システムによる表示制御処理を示すシーケンス図である。図4は、表示制御処理の説明図である。ここでは、撮影画像が4(a)に示すような全方位画像である場合を例に説明する。なお、図4(a)に示す撮影画像400は、天井に設置されたカメラ100により撮影された、人物を被写体とする画像である。魚眼レンズを用いて撮影されるため、撮影画像は、撮影範囲が円形となるような画像となる。魚眼レンズを用いて撮影された撮影画像を通常の見え方の画像とすべく、クライアント装置110の表示処理部212は、撮影画像の一部の領域が選択されると、選択された領域(選択領域)に対し、デワープ(歪み補正)を行い、デワープ後の画像を表示する。図4(b)は、図4(a)に示す選択領域401に対応した領域画像411を表示したGUI410の一例を示す図である。領域画像411は、デワープが行われた選択領域401(図4(a))の画像である。
図3のS301において、クライアント装置110の通信処理部211は、所定のユーザ操作が行われた場合に、領域情報をカメラ100に送信する。ここで、所定のユーザ操作とは、表示部111の表示対象を領域画像から撮影画像の全体に切り替える操作が行われた場合等、選択領域と撮影画像の全体とを連動させるような操作である。カメラ100の通信処理部201が領域情報を受信すると、S302において、カメラ100の角度特定部202は、領域情報に基づいて、記憶部104に記憶されている撮影画像における選択領域の座標を取得する。次に、S303において、角度特定部202は、選択領域の座標と、撮影画像の中心位置とに基づいて、選択領域の中心線を特定する。図4(a)の撮影画像400においては、撮影画像400の中心位置Oと、選択領域401の中心位置Pとを結ぶ線Aが選択領域401の中心線として特定される。なお、中心位置Oの位置は、撮影画像の形状に応じて予め設定されているものとする。
次に、S304において、角度特定部202は、表示位置の座標を取得する。ここで、表示位置は予め設定された位置で、記憶部104に記憶されているものとする。本実施形態においては、図4(a)に示す線分Q上の位置が表示位置として設定されているものとする。カメラ100が天井に設置されている場合には、カメラ100の下方に存在する人物が被写体となるため、撮影範囲の外周が上、中心が下になるように、被写体となる人物が撮影されることが多い。これに対応し、本実施形態においては、図4(a)に示すように、撮影画像のうち中心位置Oを通り、撮影画像の上下方向に平行な線のうち中心位置Oより上側の線分Q上の位置を表示位置とする。表示位置においては、撮影画像の上下方向と、選択領域に写る被写体の上下方向が対応し、表示位置を含む範囲に表示される人物が正立して見えるためである。なお、記憶部104には、線分Qを示す位置情報が表示位置として記憶されている。
S302〜S306の処理は、選択領域401の中心が表示位置(線分Q上)に位置するように撮影画像の全体を回転させるための回転角度を求める処理である。なお、図4(a)の例では、移動後の選択領域401は、領域402となる。S304の処理の後、S305において、角度特定部202は、表示位置の中心線を特定する。図4(a)の撮影画像400においては、撮影画像の中心位置Oと、表示位置とを結ぶ線Bが表示位置の中心線として特定される。次に、S306において、角度特定部202は、選択領域の中心線と表示位置の中心線の間の角度を回転角度として求める。本処理は、選択領域の位置から表示位置まで回転させるための回転角度を特定する処理であり、角度特定処理の一例である。
次に、S307において、通信処理部201は、S306において求めた回転角度を示す角度情報と、撮影画像と、をクライアント装置110に送信する。クライアント装置110の通信処理部211が撮影画像と角度情報を受信すると、S308において、クライアント装置110の表示処理部212は、撮影画像を角度情報に示される回転角度だけ回転させる。本処理は、回転角度に応じて撮影画像を回転する回転処理の一例である。回転処理は回転された撮像画像を生成し、それを表示させる処理である。回転された撮像画像を生成する方法は、種々の画像処理技術を用いることができる。次に、S309において、表示処理部212は、回転後の撮影画像を表示部111に表示するよう制御する。以上で、処理が終了する。
図4(c)は、回転後の撮影画像全体を表示したGUI420の一例である。GUI420には、表示領域421が設けられ、表示領域421には、回転後の撮影画像422が表示されている。撮影画像422は、図4(a)に示す状態から、選択領域401が表示位置にくるよう回転されているため、選択領域401に写る人物が正立した状態になっている。このため、ユーザは、表示部111の表示が図4(b)に示す領域画像411から撮影画像の全体に切り替わった場合においても、注目していた対象がどこに位置するかを容易に把握することができる。
なお、本実施形態においては、選択領域が表示位置に位置するように撮影画像を回転させることとしたが、厳密に表示位置に位置しなくともよい。領域画像の被写体が正立しているとユーザが把握できる角度で表示できればよく、この観点からは、撮影画像を実際に回転させる角度は、表示位置までの回転角度を基準とした所定の角度範囲であればよい。
このように、本実施形態の表示システムでは、選択領域を表示位置まで回転させることで、選択領域に写る被写体が正立する状態で撮影画像を表示することができる。すなわち、表示システムは、画像を表示する際に、注目対象を認識し易い状態で表示することができる。
第1の実施形態の第1の変形例としては、撮影画像は、実施形態に限定されるものではない。撮影画像は、例えば、図5に示すように、全方位を撮影可能なカメラにより撮影されたパノラマ画像であってもよい。図5(a)の撮影画像500は、パノラマ画像である。なお、この場合も、カメラ100は、天井に設置されているものとする。図5(b)は、撮影画像500の選択領域501に対応した領域画像511を表示したGUI510の一例を示す図である。本例の撮影画像は、天井に設置されたカメラ100により撮影されたパノラマ画像であることから、実施形態において説明したように、撮影範囲の外周が上、中心が下となるように、被写体となる人物が撮影されることが多い。これに対応し、本例においても、実施形態において説明したのと同様に、図5(a)に示すように、撮影画像のうち中心位置Oを通り、撮影画像の上下方向に平行な線のうち中心位置Oより上側の線分Q上の位置を表示位置とする。なお、図5(a)の例では、移動後の選択領域501は、領域502となる。
そして、角度特定部202は、撮影画像500の中心位置Oと、選択領域501の中心位置Pとを結ぶ線Aを選択領域501の中心線として特定する。さらに、中心位置Oと表示位置を結ぶ線Bを表示位置の中心線として特定する。図5(c)は、回転後の撮影画像の全体を表示したGUI520の一例を示す図である。GUI520には表示領域521が設けられ、表示領域521には、回転後の撮影画像522が表示されている。
また、第2の変形例としては、表示位置は実施形態に限定されるものではない。本例について図6を参照しつつ説明する。図6(a)の撮影画像600は、机上に設置されたカメラ100により撮影された全方位画像である。図6(b)は、撮影画像600の選択領域601に対応した領域画像611を表示したGUI610の一例を示す図である。本例においては、カメラ100は机上に設置されているため、机を囲むようにカメラ100の周囲に存在する人物等が被写体となる。このため、撮影範囲の中心が上、外周が上になるように、被写体となる人物が撮影されることが多い。これに対応し、本例においては、図6(a)に示すように、撮影画像のうち中心位置Oを通り、撮影画像の上下方向に平行な線のうち中心位置Oより下側の線分Q上の位置を表示位置とする。移動後の選択領域601は、領域602表示位置を含む範囲に表示される人物が正立して見えるためである。なお、記憶部104には、線分Qを示す位置情報が表示位置として記憶されているものとする。
角度特定部202は、撮影画像600の中心位置Oと、選択領域601の中心位置Pとを結ぶ線Aを選択領域601の中心線として特定する。さらに、中心位置Oと表示位置を結ぶ線Bを表示位置の中心線として特定する。そして、角度特定部202は、回転角度を求める。そして、クライアント装置110の表示処理部212は、回転角度だけ撮影画像を回転させる。図6(a)の例では、選択領域601は、領域602まで移動することになる。図6(c)は、回転後の撮影画像の全体を表示したGUI620の一例を示す図である。GUI620には表示領域621が設けられ、表示領域621には、回転後の撮影画像622が表示されている。このように、撮影画像に応じて適切な位置が表示位置として予め設定されていればよい。
第3の変形例としては、選択領域は複数あってもよい。図7(a)は、撮影画像700を示す図である。撮影画像700は、図4を参照しつつ説明した撮影画像400と同じ画像である。本例においては、撮影画像700の複数の選択領域701〜704が切り出され、図7(b)に示すようにGUI710には4つの領域画像711〜714が表示される。領域画像711〜714は、それぞれ図7(a)の選択領域701〜704に対応した画像である。
本例においては、角度特定部202は、複数の選択領域のうち予め設定された一の選択領域を処理対象として選択する。予め設定された選択領域としては、例えば、1番目に選択された選択領域、GUI710の所定の位置に表示された選択領域等が挙げられる。そして、角度特定部202は、処理対象の選択領域が表示位置を含む領域705に移動するような回転角度を特定する。図7(c)は、回転後の撮影画像の全体を表示したGUI720の一例を示す図である。GUI720には表示領域721が設けられ、表示領域721には、回転後の撮影画像722が表示されている。このように、表示処理部212は、撮影画像の全体を表示する際には、処理対象の選択領域701が表示位置に位置する状態で撮影画像722を表示するよう制御する。また、他の例としては、角度特定部202は、予め設定された選択領域に替えて、ユーザにより指定された一の選択領域を処理対象として選択してもよい。
また、図8に示すように撮影画像がパノラマ画像であり、2つの選択領域に対応した2つの領域画像がGUIに表示される場合においても、角度特定部202は、一の選択領域を処理対象として選択することができる。図8(b)に示すように、GUI810には、図8(a)に示す撮影画像800の選択領域801,802に対応した領域画像611,612が表示される。ここで、図8(a)の撮影画像800は、図4を参照しつつ説明した撮影画像400と同様である。ここで、例えば、選択領域801が処理対象として選択されると、図8(c)に示すように、GUI820には、選択領域801が領域803に位置するように回転した撮影画像822が表示される。
また、第4の変形例としては、回転後の撮影画像の全体と共に、クライアント装置110の表示処理部212は、撮影画像を回転させたことに関する情報を示すガイドを表示してもよい。図9は、ガイドの表示例を示す図である。900はGUI、901は撮影画像を表示する表示領域、902は撮影画像、903、904は撮影画像が回転していることをユーザに示すガイドUIである。905は回転前の撮影画像の上方向を示すガイドUI、906は903,904,905と同様に撮影画像がどの程度回転しているかを示すガイドUIである。このように、回転前の撮影画像との関係を示すことにより、ユーザに回転前後の状態を把握させることができる。なお、撮影画像の全体と共に表示する情報は、回転に関する情報であればよく、回転前の位置を示す情報や、回転の程度を示す情報の他、回転したことを示す情報、回転角度を示す情報であってもよい。
また、第5の変形例としては、撮影画像を回転させる処理をカメラ100が行うこととしてもよい。すなわち、カメラ100は、回転角度を求めた後、撮影画像を回転角度だけ回転させ、回転後の撮影画像をクライアント装置110に送信する。この場合には、クライアント装置110は、受信した撮影画像を表示するだけで、表示部111に回転後の撮影画像を表示することができる。
(第2の実施形態)
第2の実施形態に係る表示システムにおいては、クライアント装置110が回転角度を特定する。以下、第2の実施形態に係る表示システムについて、第1の実施形態に係る表示システムと異なる点を説明する。図10は、第2の実施形態に係る表示システムの機能構成図である。第2の実施形態においては、クライアント装置110が角度特定部1001を有している。図11は、第2の実施形態に係るクライアント装置110による表示制御処理を示すフローチャートである。表示制御処理は、表示部111の表示対象を領域画像から撮影画像の全体に切り替える操作が行われた場合等、選択領域と撮影画像の全体とを連動させるような操作が行われた場合に開始される。
S1101において、通信処理部211は、ネットワーク120を介してカメラ100の記憶部104に記憶されている、選択領域の座標を、カメラ100から受信する。次に、S1102において、角度特定部1001は、選択領域の座標と、撮影画像の中心位置とに基づいて、選択領域の中心線を特定する。本処理は、図3のS303の処理と同様である。次に、S1103において、通信処理部211は、カメラ100から、記憶部104に記憶されている、表示位置の座標を受信する。次に、S1104において、角度特定部1001は、表示位置の中心線を特定する。本処理は、図3のS305の処理と同様である。次に、S1105において、角度特定部1001は、回転角度を求める。本処理は、図3のS306の処理と同様である。続くS1106及びS1107の処理は、図3のS308及びS309の処理と同様である。なお、第2の実施形態に係る表示システムのこれ以外の構成及び処理は、第1の実施形態に係る表示システムの構成及び処理と同様である。
以上のように、第2の実施形態の表示システムにおいても、選択領域を表示位置まで回転させることで、選択領域に写る被写体が正立する状態で撮影画像を表示することができる。
(第3の実施形態)
第3の実施形態に係る表示システムは、第2の実施形態に係る表示システムと同様に、クライアント装置110が回転角度を特定する。以下、第3の実施形態に係る表示システムについて、第2の実施形態に係る表示システムと異なる点を説明する。図12は、第3の実施形態に係るクライアント装置110による表示制御処理を示すフローチャートである。図13は、表示制御処理の説明図である。図13(a)に示す撮影画像1300は、図4(a)に示す撮影画像400と同じ画像である。
図12のS1201において、表示処理部212は、選択領域を示す領域画像と、選択領域が表示位置に位置するように回転させた後の撮影画像の全体と、を同時に表示部111に表示するよう制御する。なお、クライアント装置110は、撮影画像の全体を表示するに当たり、S1101〜S1106の処理により撮影画像を回転させる。図13(b)は、S1201の処理により表示された領域画像1313と撮影画像1311とを表示するGUI1310の一例を示す図である。撮影画像1311の領域1312は、図13(a)に示す選択領域1301に対応する領域である。また、撮影画像1311は、図13(a)に示す選択領域1301を、表示位置を含む領域1303まで回転させた画像である。このように、表示部111には、領域画像1313と共に、領域画像1313に対応した撮影画像1311が表示される。さらに、撮影画像1311は、選択領域601の人物が正立する状態に回転された状態で表示されたものである。
次に、S1202において、受付部213は、選択領域の変更指示を受け付けたか否かを確認する。受付部213は、変更指示を受け付けた場合には(S1202でYes)、処理をS1203へ進める。受付部213は、変更指示を受け付けなかった場合には(S1202でNo)、処理を終了する。S1203において、通信処理部211は、変更指示に係る選択領域の座標をカメラ100から受信する。次に、S1204において、通信処理部211は、変更後の選択領域の中心線を特定する。本処理は、図11のS1101(図3のS303)の処理と同様である。
続くS1205及びS1206の処理は、図11のS1103及びS1104の処理と同様である。S1206の処理の後、S1207において、角度特定部1001は、変更後の選択領域の中心線と、表示位置の中心線の間の角度を回転角度として求める。次に、S1208において、表示処理部212は、回転前の撮影画像を回転角度だけ回転させる。次に、S1209において、表示処理部212は、回転後の撮影画像を表示部111に表示するよう制御する。
例えば、図13(b)のGUI1310が表示された状態において、選択領域を図13(a)に示す領域1301から領域1302に右に変更する変更指示を受け付けたとする。この場合、角度特定部1001は、選択領域1302に対応する中心線Aを特定し、中心線Aと表示位置の中心線Bの間の回転角度を求め、回転角度だけ回転した撮影画像と、選択領域1302の領域画像とを表示する。これにより、図13(c)に示すように、GUI1320においては、選択領域の変更に伴い、領域画像と撮影画像は共に更新される。領域画像1322は、選択領域1302に対応し、撮影画像1321は、選択領域1302が表示位置に位置するように回転した画像に更新されている。なお、第3の実施形態に係る表示システムのこれ以外の構成及び処理は、第2の実施形態に係る表示システムの構成及び処理と同様である。
第3の実施形態の表示システムにおいては、撮影画像の全体と領域画像とを同時に表示させる場合においても、選択領域に係る被写体が正立する状態で撮影画像を表示することができる。また、表示システムは、選択領域が変更された場合には、変更後の選択領域に係る被写体が正立する状態で撮影画像を表示することができる。
以上、本発明の好ましい実施形態について詳述したが、本発明は係る特定の実施形態に限定されるものではなく、特許請求の範囲に記載された本発明の要旨の範囲内において、種々の変形・変更が可能である。
(その他の実施例)
本発明は、上述の実施形態の1以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける1つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、1以上の機能を実現する回路(例えば、ASIC)によっても実現可能である。
100 カメラ
110 クライアント装置
202 角度特定部
212 表示処理部

Claims (17)

  1. 撮影画像の一部の領域を表示手段に表示するよう制御する表示制御手段と、
    前記領域の位置に応じて、前記撮影画像の予め設定された中心位置を軸として、前記撮影画像を回転する回転手段と
    を有し、
    前記表示制御手段は、回転された撮影画像を前記表示手段に表示するよう制御することを特徴とする表示制御装置。
  2. 前記表示制御手段は、前記領域を表示した後、前記領域の位置に応じて回転された前記撮影画像を表示するよう制御することを特徴とする請求項1に記載の表示制御装置。
  3. 前記表示制御手段は、前記領域と前記領域の位置に応じて回転された前記撮影画像とを同時に表示手段に表示するよう制御することを特徴とする請求項1に記載の表示制御装置。
  4. 外部装置から前記撮影画像の回転角度を受信する受信手段をさらに有し、
    前記回転手段は、前記受信手段が受信した回転角度に応じて前記撮影画像を回転することを特徴とする請求項1乃至3の何れか1項に記載の表示制御装置。
  5. 前記領域の位置と、前記領域の画像を表示する位置として予め設定された表示位置と、に基づいて、前記撮影画像の回転角度を特定する角度特定手段をさらに有し、
    前記回転手段は、前記角度特定手段により特定された回転角度に応じて前記撮影画像を回転することを特徴とする請求項1乃至3の何れか1項に記載の表示制御装置。
  6. 前記撮影画像は、魚眼レンズにより撮影された画像であることを特徴とする請求項1乃至5の何れか1項に記載の表示制御装置。
  7. 前記撮影画像は、天井に設置された魚眼レンズにより撮影された画像であることを特徴とする請求項6に記載の表示制御装置。
  8. 前記撮影画像は、机上に設置された魚眼レンズにより撮影された画像であることを特徴とする請求項6に記載の表示制御装置。
  9. 前記撮影画像は、魚眼レンズにより撮影された画像であり、
    前記表示位置は、前記表示手段に表示された前記撮影画像の上下方向と、前記領域に写る被写体の上下方向が対応する位置であることを特徴とする請求項5乃至8の何れか1項に記載の表示制御装置。
  10. 前記回転手段は、複数の領域が選択された場合に、複数の領域のうち一の領域の位置に応じて、前記撮影画像を回転し、
    前記表示制御手段は、前記一の領域の位置に応じて回転された撮影画像を表示するよう制御することを特徴とする請求項1乃至9の何れか1項に記載の表示制御装置。
  11. 前記回転手段は、複数の領域が選択された場合に、複数の領域のうちユーザにより選択された一の領域の位置に応じて、前記撮影画像を回転することを特徴とする請求項10に記載の表示制御装置。
  12. 前記回転手段は、前記表示制御手段が回転された撮影画像を表示した後、前記領域の変更指示を受け付けた場合に、前記変更指示に係る領域の位置に応じて、前記撮影画像を回転し、
    前記表示制御手段は、前記変更指示に係る領域の位置に応じて回転された撮影画像を表示することを特徴とする請求項1乃至9の何れか1項に記載の表示制御装置。
  13. 前記表示制御手段は、回転された撮影画像と共に、回転に関する情報を表示するよう制御することを特徴とする請求項1乃至12の何れか1項に記載の表示制御装置。
  14. 撮影画像の一部の領域の位置と、前記領域の画像を表示する位置として予め設定された表示位置と、に基づいて、前記撮影画像を表示する際に撮影画像を回転させる回転角度を特定する角度特定手段と、
    前記回転角度を前記撮影画像の表示装置に送信する送信手段と
    を有する表示制御装置。
  15. 表示制御装置が実行する表示制御方法であって、
    撮影画像の一部の領域を表示手段に表示するよう制御する第1の表示制御ステップと、
    前記領域の位置に応じて、前記撮影画像の予め設定された中心位置を軸として、前記撮影画像を回転する回転ステップと、
    回転された撮影画像を前記表示手段に表示するよう制御する第2の表示制御ステップと
    を含むことを特徴とする表示制御方法。
  16. 表示制御装置が実行する表示制御方法であって、
    撮影画像の一部の領域の位置と、前記領域の画像を表示する位置として予め設定された表示位置と、に基づいて、前記撮影画像を表示する際に撮影画像を回転させる回転角度を特定する角度特定ステップと、
    前記回転角度を前記撮影画像の表示装置に送信する送信ステップと
    を含むことを特徴とする表示制御方法。
  17. コンピュータを、請求項1乃至14の何れか1項に記載の表示制御装置の各手段として機能させるためのプログラム。
JP2017103649A 2017-05-25 2017-05-25 表示制御装置、表示制御方法及びプログラム Active JP6976719B2 (ja)

Priority Applications (5)

Application Number Priority Date Filing Date Title
JP2017103649A JP6976719B2 (ja) 2017-05-25 2017-05-25 表示制御装置、表示制御方法及びプログラム
US15/984,166 US11190747B2 (en) 2017-05-25 2018-05-18 Display control apparatus, display control method, and storage medium
EP18174087.9A EP3407599A1 (en) 2017-05-25 2018-05-24 Display control apparatus, display control method, and program
KR1020180058727A KR102280000B1 (ko) 2017-05-25 2018-05-24 표시 제어 장치, 표시 제어 방법 및 저장 매체
CN201810516805.XA CN108965656B (zh) 2017-05-25 2018-05-25 显示控制设备、显示控制方法和存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2017103649A JP6976719B2 (ja) 2017-05-25 2017-05-25 表示制御装置、表示制御方法及びプログラム

Publications (2)

Publication Number Publication Date
JP2018201065A true JP2018201065A (ja) 2018-12-20
JP6976719B2 JP6976719B2 (ja) 2021-12-08

Family

ID=62597308

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2017103649A Active JP6976719B2 (ja) 2017-05-25 2017-05-25 表示制御装置、表示制御方法及びプログラム

Country Status (5)

Country Link
US (1) US11190747B2 (ja)
EP (1) EP3407599A1 (ja)
JP (1) JP6976719B2 (ja)
KR (1) KR102280000B1 (ja)
CN (1) CN108965656B (ja)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100761445B1 (ko) 2006-04-26 2007-10-04 한국에너지기술연구원 모듈화된 하이브리드 집진장치
TWI547177B (zh) * 2015-08-11 2016-08-21 晶睿通訊股份有限公司 視角切換方法及其攝影機
US11295541B2 (en) * 2019-02-13 2022-04-05 Tencent America LLC Method and apparatus of 360 degree camera video processing with targeted view
JP7005546B2 (ja) * 2019-03-15 2022-01-21 株式会社東芝 画像認識装置、画像認識方法および画像認識プログラム
KR102193984B1 (ko) 2019-05-31 2020-12-22 주식회사 아이디스 감시시스템, 그 시스템에서의 어안 카메라를 이용한 ptz 카메라 제어 방법
CN110611749A (zh) * 2019-09-30 2019-12-24 深圳市大拿科技有限公司 一种图像处理方法及装置
CN115826734A (zh) * 2021-09-16 2023-03-21 Oppo广东移动通信有限公司 信息显示方法、近眼显示设备以及电子设备

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2007055335A1 (ja) * 2005-11-11 2007-05-18 Sony Corporation 画像処理装置、画像処理方法、そのプログラム及びそのプログラムを記録した記録媒体
WO2008001441A1 (fr) * 2006-06-28 2008-01-03 Fujitsu Limited Dispositif vidéo portatif
WO2011114610A1 (ja) * 2010-03-18 2011-09-22 パナソニック株式会社 全方位画像処理装置および全方位画像処理方法
JP2014225108A (ja) * 2013-05-16 2014-12-04 ソニー株式会社 画像処理装置、画像処理方法およびプログラム
JP2016532954A (ja) * 2013-08-02 2016-10-20 フェイスブック,インク. 画像を変換するためのシステム及び方法

Family Cites Families (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6031540A (en) * 1995-11-02 2000-02-29 Imove Inc. Method and apparatus for simulating movement in multidimensional space with polygonal projections from subhemispherical imagery
JP4625404B2 (ja) * 2005-11-28 2011-02-02 パナソニック株式会社 映像切替装置および切替対象切替装置
JP4756589B2 (ja) * 2005-12-07 2011-08-24 ソニー株式会社 画像処理装置および方法、プログラム、並びに記録媒体
JP5228307B2 (ja) * 2006-10-16 2013-07-03 ソニー株式会社 表示装置、表示方法
JP2008124830A (ja) * 2006-11-13 2008-05-29 Funai Electric Co Ltd 撮像装置
JP5652097B2 (ja) * 2010-10-01 2015-01-14 ソニー株式会社 画像処理装置、プログラム及び画像処理方法
JP2012119804A (ja) 2010-11-30 2012-06-21 Canon Inc 画像記録装置
JP5724346B2 (ja) * 2010-12-09 2015-05-27 ソニー株式会社 映像表示装置、映像表示システム、映像表示方法およびプログラム
KR101758164B1 (ko) * 2011-04-08 2017-07-26 엘지전자 주식회사 이동 단말기 및 3d 멀티 앵글 뷰 제어방법
EP2723069B1 (en) * 2011-06-16 2017-10-18 Aisin Seiki Kabushiki Kaisha Vehicle periphery monitoring device
JP5846791B2 (ja) 2011-07-21 2016-01-20 株式会社東芝 画像処理システム、装置、方法及び医用画像診断装置
WO2013150775A1 (ja) 2012-04-02 2013-10-10 パナソニック株式会社 画像生成装置、カメラ装置、画像表示装置及び画像生成方法
JP2014042160A (ja) 2012-08-22 2014-03-06 Ntt Docomo Inc 表示端末、動体検知の対象領域の設定方法及びプログラム
US8794766B2 (en) * 2012-11-30 2014-08-05 Robert Listou Trust System and method for physically disabled persons to read e-publications
JP6229314B2 (ja) * 2013-05-30 2017-11-15 ソニー株式会社 情報処理装置、表示制御方法及びプログラム
JP2015095802A (ja) * 2013-11-13 2015-05-18 ソニー株式会社 表示制御装置、表示制御方法、およびプログラム
JP6573211B2 (ja) * 2015-03-04 2019-09-11 カシオ計算機株式会社 表示装置、画像表示方法及びプログラム
JP5920507B1 (ja) 2015-03-10 2016-05-18 株式会社リコー 画像処理システム、画像処理方法およびプログラム
JP6594039B2 (ja) * 2015-05-20 2019-10-23 株式会社東芝 画像処理装置、方法及びプログラム
EP3310043A4 (en) * 2015-06-10 2019-01-16 Sony Interactive Entertainment Inc. HEAD-MOUNTED DISPLAY, DISPLAY CONTROL METHOD AND PROGRAM
US10701344B2 (en) * 2015-12-02 2020-06-30 Seiko Epson Corporation Information processing device, information processing system, control method of an information processing device, and parameter setting method
KR102505951B1 (ko) * 2016-08-24 2023-03-03 한화테크윈 주식회사 이미지 제공 장치, 방법 및 컴퓨터 프로그램
CN109983532A (zh) * 2016-11-29 2019-07-05 夏普株式会社 显示控制装置、头戴式显示器、显示控制装置的控制方法以及控制程序

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2007055335A1 (ja) * 2005-11-11 2007-05-18 Sony Corporation 画像処理装置、画像処理方法、そのプログラム及びそのプログラムを記録した記録媒体
WO2008001441A1 (fr) * 2006-06-28 2008-01-03 Fujitsu Limited Dispositif vidéo portatif
WO2011114610A1 (ja) * 2010-03-18 2011-09-22 パナソニック株式会社 全方位画像処理装置および全方位画像処理方法
JP2014225108A (ja) * 2013-05-16 2014-12-04 ソニー株式会社 画像処理装置、画像処理方法およびプログラム
JP2016532954A (ja) * 2013-08-02 2016-10-20 フェイスブック,インク. 画像を変換するためのシステム及び方法

Also Published As

Publication number Publication date
US20180343435A1 (en) 2018-11-29
CN108965656B (zh) 2022-01-04
CN108965656A (zh) 2018-12-07
KR102280000B1 (ko) 2021-07-21
EP3407599A1 (en) 2018-11-28
US11190747B2 (en) 2021-11-30
JP6976719B2 (ja) 2021-12-08
KR20180129667A (ko) 2018-12-05

Similar Documents

Publication Publication Date Title
JP6976719B2 (ja) 表示制御装置、表示制御方法及びプログラム
EP3367662B1 (en) Control device, camera system, and program
JP6312046B2 (ja) 画像処理システム、画像処理方法、及びプログラム
JP2017034552A (ja) 情報処理装置およびその制御方法
WO2015142971A1 (en) Receiver-controlled panoramic view video share
CN110177246B (zh) 信息处理设备、摄像设备、信息处理方法和存储介质
JP2016096481A (ja) 制御装置、撮像システム、制御方法、及び、プログラム
JP2019054369A (ja) 撮像装置、撮像装置の制御方法及びプログラム
JP6478777B2 (ja) 制御装置及びその制御方法、プログラム
JP6584237B2 (ja) 制御装置、制御方法、およびプログラム
JP7150456B2 (ja) 撮像システム、情報処理装置、情報処理装置の制御方法、及び、プログラム
JP5677055B2 (ja) 監視映像表示装置
KR102009988B1 (ko) 초광각 카메라를 이용한 렌즈 왜곡 영상 보정 카메라 시스템의 영상 보정 방법 및 그가 적용된 tvi 장치
US10567639B2 (en) Control apparatus, control method, and storage medium
JP2014192745A (ja) 撮像装置、情報処理装置及びそれらの制御方法、プログラム
JP7307392B1 (ja) 情報処理システム及びその制御方法、プログラム
JP6362090B2 (ja) ネットワークカメラのプリセット位置の表示方法
US11516404B2 (en) Control apparatus and control method
KR100891793B1 (ko) 디지털 카메라의 이미지 처리 방법
JP6702675B2 (ja) 撮像装置、撮像装置の制御方法及びプログラム
JP2022182840A (ja) 情報処理装置、情報処理システム、情報処理方法及びプログラム
JP2023016580A (ja) 撮像システム、撮像方法、及びコンピュータプログラム
JP2015228549A (ja) カメラ制御を行うための情報処理装置およびその方法、プログラム、記憶媒体
JP2024082117A (ja) 情報処理装置、撮像装置、撮像システム、方法、及びプログラム
JP2020191514A (ja) 情報処理装置および情報処理方法

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20200519

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20210218

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20210309

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210430

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20211012

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20211110

R151 Written notification of patent or utility model registration

Ref document number: 6976719

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151