JP2019056978A - 制御装置、制御方法、及びプログラム - Google Patents

制御装置、制御方法、及びプログラム Download PDF

Info

Publication number
JP2019056978A
JP2019056978A JP2017179581A JP2017179581A JP2019056978A JP 2019056978 A JP2019056978 A JP 2019056978A JP 2017179581 A JP2017179581 A JP 2017179581A JP 2017179581 A JP2017179581 A JP 2017179581A JP 2019056978 A JP2019056978 A JP 2019056978A
Authority
JP
Japan
Prior art keywords
virtual viewpoint
coordinates
user operation
display surface
control device
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2017179581A
Other languages
English (en)
Other versions
JP6419278B1 (ja
Inventor
祐二 加藤
Yuji Kato
祐二 加藤
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority to JP2017179581A priority Critical patent/JP6419278B1/ja
Application filed by Canon Inc filed Critical Canon Inc
Priority to EP18857883.5A priority patent/EP3605295A4/en
Priority to AU2018336341A priority patent/AU2018336341B2/en
Priority to CN201880037599.2A priority patent/CN110720086A/zh
Priority to BR112019019526A priority patent/BR112019019526A2/pt
Priority to PCT/JP2018/033398 priority patent/WO2019059020A1/ja
Priority to CA3072999A priority patent/CA3072999C/en
Priority to KR1020197033018A priority patent/KR20200002025A/ko
Priority to RU2019130044A priority patent/RU2720356C1/ru
Priority to KR1020217000259A priority patent/KR20210006005A/ko
Application granted granted Critical
Publication of JP6419278B1 publication Critical patent/JP6419278B1/ja
Publication of JP2019056978A publication Critical patent/JP2019056978A/ja
Priority to US16/576,540 priority patent/US11003350B2/en
Priority to US17/230,344 priority patent/US11586349B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04815—Interaction with a metaphor-based environment or interaction object displayed as three-dimensional, e.g. changing the user viewpoint with respect to the environment or object
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04842—Selection of displayed objects or displayed text elements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04845—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range for image manipulation, e.g. dragging, rotation, expansion or change of colour
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/0485—Scrolling or panning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04883—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures for inputting data by handwriting, e.g. gesture or text
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/414—Specialised client platforms, e.g. receiver in car or embedded in a mobile appliance
    • H04N21/41407—Specialised client platforms, e.g. receiver in car or embedded in a mobile appliance embedded in a portable device, e.g. video client on a mobile phone, PDA, laptop
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/422—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
    • H04N21/42204—User interfaces specially adapted for controlling a client device through a remote control device; Remote control devices therefor
    • H04N21/42206—User interfaces specially adapted for controlling a client device through a remote control device; Remote control devices therefor characterized by hardware details
    • H04N21/42224—Touch pad or touch panel provided on the remote control
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/431—Generation of visual interfaces for content selection or interaction; Content or additional data rendering
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/81—Monomedia components thereof
    • H04N21/816—Monomedia components thereof involving special video data, e.g 3D video
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/048—Indexing scheme relating to G06F3/048
    • G06F2203/04808—Several contacts: gestures triggering a specific function, e.g. scrolling, zooming, right-click, when the user establishes several contacts with the surface simultaneously; e.g. using several fingers or a combination of fingers and pen

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Graphics (AREA)
  • Computer Hardware Design (AREA)
  • Software Systems (AREA)
  • User Interface Of Digital Computer (AREA)
  • Processing Or Creating Images (AREA)
  • Studio Devices (AREA)

Abstract

【課題】三次元空間上の仮想視点の設定をより簡易に行えるようにする制御装置、方法及びプログラムを提供する。【解決手段】仮想カメラの制御において、表示制御装置の視点制御部は、仮想視点映像を表示する表示面に対するユーザのタッチ操作を検出し（Ｓ８０１）、タッチされた指の本数に応じて、仮想視点映像の生成に係る仮想視点の位置及び向きのうち、少なくとも何れか一方を制御する（Ｓ８０３、Ｓ８０８、Ｓ８１２、Ｓ８１４）。【選択図】図８

Description

本発明は仮想視点の制御方法に関する。
視点の異なる複数のカメラで撮影して得られる複数の撮影映像から任意の視点の映像を生成する仮想視点映像生成技術が知られている。仮想視点映像の生成方法（レンダリング方法）として、予め定められた仮想視点の移動経路に基づいて仮想視点映像を生成しておく方法や、視聴者等により指定された仮想視点の位置及び姿勢等に従って仮想視点映像を生成する方法が知られている。
仮想視点映像の生成技術によれば、インタラクティブ性の高い映像の視聴を行うことが可能である。一方で、タッチパネルを主要なインタフェイスとするタブレットやスマートフォンなどの機器では、望み通りに視点を操作することが困難である。特許文献１には、複数の視点座標データと、複数の回転起点データのうちから、それぞれ１つずつをユーザに選択させ、その後、視点の回転角度と移動量を入力して視点を設定することが記載されている。
特開２０１５−１８７７９７号公報
特許文献１の方法は、仮想視点の設定のための操作手順が多い。本発明は、仮想視点の設定をより簡易に行えるようにすることを目的とする。
上記課題を解決するために、本発明に係る制御装置は、以下の構成を有する。すなわち、制御装置は、仮想視点映像を表示する表示面に対するユーザ操作を検出する検出手段と、前記検出手段により検出されたユーザ操作に応じて、仮想視点映像の生成に係る仮想視点の位置及び向きのうち少なくとも何れか一方を制御する制御手段とを有する。
本発明によれば、仮想視点の設定をより簡易に行うことができるようになる。
制御装置１００のハードウェア構成を示すブロック図。 制御装置１００の機能構成を示すブロック図。 実施形態１の１本指のスライド操作における仮想視点制御の例を示す図。 実施形態１の３本指のスライド操作における仮想視点制御の例を示す図。 実施形態１の２本指のスライド操作における仮想視点制御の例を示す図。 実施形態１の２本指のピンチアウト操作における仮想視点制御の例を示す図。 実施形態１の制御装置１００における処理の流れを示すフローチャート。 ユーザ操作に応じた仮想視点制御の流れを示すフローチャート。
以下、本発明の実施形態について、図面を参照して説明する。なお、以下の実施形態は本発明を限定するものではなく、また、本実施形態で説明されている特徴の組み合わせの全てが本発明の解決手段に必須のものとは限らない。なお、同一の構成については、同じ符号を付して説明する。
＜実施形態１＞
実施形態１は、ユーザが表示スクリーン（タッチパネル）を操作することにより、仮想視点の位置及び向き等を制御し、それに応じた仮想視点映像を生成する例について説明する。なお、本実施形態では、「仮想カメラの位置を変更する」と「仮想視点の位置を変更する」は同様の意味として用いる。また、「仮想カメラの姿勢を変更する」と「仮想視点の向きを変更する」は同様の意味として用いる。
また、本実施形態において仮想視点映像とは、フィールド（撮影対象領域）を異なる方向から撮影する複数のカメラにより得られた複数の撮影映像に基づいて生成される映像であり、仮想視点（仮想カメラ）の位置及び姿勢等に従って生成される映像である。また、本実施形態の仮想視点映像は、各画像フレームが所定の動画圧縮の方式により圧縮された映像データであっても良いし、各画像フレームが所定の静止画圧縮の方式により圧縮された映像データであっても良いし、非圧縮の映像データであっても良い。
本実施形態における制御装置１００のシステム構成例について、図１を用いて説明する。同図において、ＣＰＵ１０１は、ＲＡＭ１０２をワークメモリとして、ＲＯＭ１０３及び／又はハードディスクドライブ（ＨＤＤ）１０５に格納されたプログラムを実行し、システムバス１１２を介して後述する各構成を制御する。これにより、後述する様々な処理が実行される。ＨＤＤインタフェイス（Ｉ／Ｆ）１０４は、制御装置１００と、ＨＤＤ１０５や光ディスクドライブなどの二次記憶装置とを接続する、例えばシリアルＡＴＡ（ＳＡＴＡ）等のインタフェイスである。ＣＰＵ１０１は、ＨＤＤインタフェイス（Ｉ／Ｆ）１０４を介した、ＨＤＤ１０５からのデータ読み出し、およびＨＤＤ１０５へのデータ書き込みが可能である。さらにＣＰＵ１０１は、ＨＤＤ１０５に格納されたデータをＲＡＭ１０２に展開する。また、ＣＰＵ１０１は、プログラムの実行により得られたＲＡＭ１０２上の各種データをＨＤＤ１０５に保存することが可能である。入力インタフェイス（Ｉ／Ｆ）１０６は、１又は複数の座標を入力するためのタッチパネル、キーボード、マウス、デジタルカメラ、スキャナなどの入力デバイス１０７と制御装置１００とを接続する。入力インタフェイス（Ｉ／Ｆ）１０６は、例えばＵＳＢやＩＥＥＥ１３９４等のシリアルバスインタフェイスである。ＣＰＵ１０１は、入力Ｉ／Ｆ１０６を介して入力デバイス１０７からデータを読み込むことが可能である。出力インタフェイス（Ｉ／Ｆ）１０８は、ディスプレイなどの出力デバイス１０９と制御装置１００とを接続する、例えばＤＶＩやＨＤＭＩ（登録商標）等の映像出力インタフェイスである。ＣＰＵ１０１は、出力Ｉ／Ｆ１０８を介して出力デバイス１０９に仮想視点映像に係るデータを送ることで、仮想視点映像の表示を実行させることができる。ネットワークインタフェイス（Ｉ／Ｆ）１１０は、制御装置１００と外部サーバ１１１とを接続する、例えばＬＡＮカードなどのネットワークカードである。ＣＰＵ１０１は、ネットワークＩ／Ｆ１１０を介して外部サーバ１１１からデータを読み込むことが可能である。
なお、本実施形態では、入力デバイス１０７が制御装置１００のタッチパネルである場合の例を中心に説明する。つまり、制御装置１００はスマートフォンやタブレット端末などであっても良く、この場合は、入力デバイス１０７（タッチパネル）や出力デバイス１０９（表示スクリーン）は、制御装置１００と一体である。また、図１にて示した構成のすべてが必須の構成とは限らない。例えば、ＨＤＤ１０５に記憶された仮想視点映像を再生する場合、外部サーバ１１１は不要である。逆に、外部サーバ１１１から取得した仮想視点映像を生成する場合、ＨＤＤ１０５は不要である。また、制御装置１００が複数のＣＰＵ１０１を有してもよい。また、ＣＰＵ１０１とは異なる専用の１又は複数のハードウェアやＧＰＵ（Ｇｒａｐｈｉｃｓ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）を有し、ＣＰＵ１０１による処理の少なくとも一部をＧＰＵや専用のハードウェアが行うようにしてもよい。専用のハードウェアの例としては、ＡＳＩＣ（特定用途向け集積回路）、ＦＰＧＡ（フィールドプログラマブルゲートアレイ）、およびＤＳＰ（デジタルシグナルプロセッサ）などがある。
本実施形態では、タッチパネルに対するユーザ操作によってユーザの意図に沿った仮想カメラの制御を行う方法について述べる。本実施形態におけるユーザ操作には、タップ操作、指１本〜３本のスライド操作、ピンチイン・ピンチアウト操作が少なくとも含まれるものとする。
指１本のユーザ操作は初心者でも行いやすい反面、複雑な情報を入力することが難しく、指３本のユーザ操作は細かい操作が難しい。よって、指１本と指３本のユーザ操作（スライド操作）には単純な仮想カメラの制御処理を割り当てる。そして、指２本の操作に複雑な仮想カメラの制御処理を割り当てる。
図３から図６を用いて具体的なユーザ操作と仮想カメラの動作の関係について説明する。図３は、１本指のスライド操作によって、仮想カメラの位置及び姿勢が変化する様子を示している。ユーザ操作前の画像３０１に対して指１本で左方向にスライド操作を行うと、仮想カメラの位置及び姿勢が変更され、画像３０２が表示される。このとき、仮想カメラの位置及び姿勢は俯瞰画像３０３の中心に描画された３次元空間上の点３０４を中心として仮想視点３０５から右側に回り込んだ仮想視点３０６へ変化する。すなわち、ユーザ操作により同時に指定される表示スクリーン上（表示面上）の座標の数が第１の数（１つ）である場合、視点制御部２０４は、その座標の移動に応じて、仮想カメラを所定の注目座標を中心に旋回させる。別の言い方をすると、ユーザ操作により同時に指定される表示面上の座標の数が第１の数（１つ）である場合、視点制御部２０４は、その座標の移動に応じて、仮想カメラが所定の注目座標を注目したまま移動するように制御する。
図３に示すように、１本指のスライド操作が検出された場合は、仮想カメラの移動範囲を円３０７上に限定し、移動方向を水平方向に制限する。これにより、例えば、タッチ操作に不慣れなユーザや、タッチの軌道がぶれやすい利用シーンにおいても、ユーザの意図に近い仮想カメラの移動が行える。したがって、簡易にブレのないバレットタイムのような仮想視点映像を生成することができる。
図４は、３本指のスライド操作によって、仮想カメラの位置が変化する様子を示している。ユーザ操作前の画像４０１に対して指３本で右方向にスライド操作を行うと、仮想カメラの位置が変更され、画像４０２が表示される。このとき、仮想カメラの位置は俯瞰画像４０３において示される通り仮想視点４０４から仮想視点４０５へ移動する。すなわち、ユーザ操作により同時に指定される表示スクリーン上の座標の数が第３の数（３つ）である場合、視点制御部２０４は、その座標の変化に応じて、仮想カメラが３次元空間内において並行移動するように、仮想カメラの位置を制御する。
なお、「３つの座標が同時に指定される」とは、３本の指が同時に表示スクリーンにタッチした場合に限らない。例えば、２本の指が表示スクリーンにタッチしている状態を保持しつつ、３本目の指が表示スクリーンにタッチした場合、３本の指が同時に表示スクリーンにタッチしている状態として判定される。このように、指ごとに表示スクリーンにタッチ開始するタイミングが異なっていたとしても、複数の座標が同時に指定されることがありうる。
また、本実施形態の視点制御部２０４は、表示スクリーン上での指の移動量と、ユーザ操作に応じて特定される３次元点４０６の仮想視点映像における描画位置の移動量が等しくなるように仮想カメラを移動する。このように、指の移動量と３次元点４０６の移動量とを一致させることで、ユーザは、より直感的に仮想カメラの制御を行うことができる。ただし、指の移動量と、仮想視点映像における３次元点４０６の描画位置の移動量とが異なるように制御しても良い。また、３本指によるユーザ操作においては、指の移動量は、３本指のそれぞれの移動量の平均値を用いるようにしても良いし、中央値を用いるようにしても良いし、代表値を用いるようにしても良いし、その他の値を用いるようにしても良い。また、本実施形態においては、３本指のスライド操作が行われた場合は、仮想カメラの位置を変更するが、仮想カメラの姿勢は変更しない。つまり、ユーザ操作により同時に指定される表示スクリーン上の座標の数が第３の数（３つ）である場合、視点制御部２０４は、その座標の変化に応じて、仮想視点の位置を変更し、仮想視点の向きは変更しない。
図５は、２本指のスライド操作によって、仮想カメラの位置及び向きが変化する様子を示している。ユーザ操作前の画像５０１に対して指２本で左下方向にスライド操作を行うと、仮想カメラの位置及び姿勢が変更され、画像５０２が表示される。このとき、仮想カメラの位置及び姿勢は俯瞰画像５０３において示される通り、ユーザの指の位置に基づいて決定された３次元上の点５０４を中心として仮想視点５０５から仮想視点５０６へと変化する。仮想カメラの移動範囲は球面５０７に限定する。つまり、１本指のスライド操作を行った場合は、仮想カメラの高さ方向の位置を変更せず、水平方向の位置を変更したのに対し、２本指のスライド操作を行った場合は、仮想カメラの高さ方向と水平方向の両方の位置を変更する。すなわち、ユーザ操作により同時に指定される表示スクリーン上の座標の数が第２の数（２つ）である場合、視点制御部２０４は、その座標の移動に応じて、仮想カメラの位置を第１方向及び第２方向に変更する。このように、本実施形態の制御装置１００は、１本指でスライド操作が行われた場合よりも、２本指でスライド操作が行われた場合のほうが、より複雑な仮想カメラの制御を実行する。２本指のスライド操作を行うことにより、任意のオブジェクトを任意の方向から見た仮想視点映像を生成できる。
図６は、２本指のピンチアウト操作によって、仮想カメラの位置が変化する様子を示している。ユーザ操作前の画像６０１に対してピンチアウト操作を行うと、仮想カメラの位置が変更され、画像６０２が表示される。このとき、仮想カメラの位置は俯瞰画像６０３において示される通り、仮想視点６０４から仮想視点６０５へ移動する。なお、２本指のピンチイン操作が行われた場合は、仮想視点６０５から仮想視点６０４の方向へ移動する。すなわち、ユーザ操作により同時に指定される表示スクリーン上の座標の数が第２の数（２つ）である場合、視点制御部２０４は、その座標の変化に応じて、仮想カメラの視線方向に応じた方向に仮想カメラを移動させる。
ピンチイン操作及びピンチアウト操作により、仮想カメラの位置は点線６０６で示すように前後に移動する。指を広げた分だけ被写体（例えば選手等のオブジェクト）が大きく表示され、指を狭めた分だけ被写体が小さく表示でき、直感的な操作が可能となる。このように、２本指のユーザ操作に応じて仮想カメラの前後移動と回転が行われるようにすることで、自由度の高い仮想カメラの制御を実現できる。なお、ピンチイン操作とピンチアウト操作に応じて仮想カメラの位置を変更する代わりに、仮想カメラのズーム値に関するパラメータを変更するようにしても良い。
また、本実施形態では、第１の数が「１」、第２の数が「２」、第３の数が「３」である場合の例を中心に説明するが、これに限らない。例えば、第１の数が「３」、第２の数が「２」、第３の数が「１」であっても良いし、第１の数が「１」、第２の数が「２」、第３の数が「４」であっても良い。
本実施形態の制御装置１００が行う処理の流れについて、図２と図７とを参照して説明する。図２は、本実施形態における制御装置１００の機能構成を示すブロック図である。ＣＰＵ１０１は、ＲＯＭ１０３及び／又はＨＤＤ１０４に格納されたプログラムを読み出してＲＡＭ１０２をワークエリアとして実行することで、図２に示す制御装置１００内部の各機能ブロックの役割を果たす。なお、図２の操作部２０１及び表示部２０６は、図１の入力デバイス１０７及び出力デバイス１０９にそれぞれ対応する。また、ＣＰＵ１０１が制御装置１００内部の全ての機能ブロックの役割を果たす必要はなく、各機能ブロックに対応する専用の処理回路を設けるようにしてもよい。
図７は本実施形態の制御装置１００で行われる処理の流れを示すフローチャートである。図７を用いて説明する各処理は、制御装置１００が備えるＣＰＵ１０１が、ＲＯＭ１０３及び／又はＨＤＤ１０４に格納されたプログラムを読み出してＲＡＭ１０２をワークエリアとして実行することで実現される。
Ｓ７０１では、取得データ制御部２０２が、操作部２０１に対するタップ操作を検出するまで待機する。タップ操作は、短時間指で表示スクリーンをタッチする操作である。タップ操作の判定に利用される接触時間の閾値は任意の値を設定可能である。タップ操作が検出された場合、表示部２０６における現在の仮想視点映像の再生状態が一時停止状態であれば再生状態に変更する。一方、タップ操作が検出されたときに仮想視点映像の再生状態であれば、取得データ制御部２０２は、仮想視点映像の一時停止状態に変更する。このように、取得データ制御部２０２は、表示スクリーンに対するタップ操作に応じて、仮想視点映像の再生状態を変更するので、ユーザは直観的な操作で再生状態を切り替えることができる。ただし、Ｓ７０１は必須の処理ではない。
Ｓ７０２では、視点制御部２０４が、操作部２０１に対するユーザ操作の検出結果に基づいて、仮想カメラの位置及び姿勢に関するカメラパラメータを描画部２０５へ出力する。Ｓ７０２の詳細は図８を用いて後述する。
Ｓ７０３では、データ取得部２０３が、ＨＤＤ１０５又は外部サーバ１１１からレンダリングに必要なデータ（ポリゴンデータやテクスチャデータ）を取得し、描画部２０５に出力する。データ取得部２０３は、仮想視点映像を動画として再生している状態であれば、次の画像フレームのレンダリングに必要なデータを取得する。一方、仮想視点映像の再生が一時停止状態であれば、すでに現在再生中の画像フレームのレンダリングに必要なデータを取得する。なお、一時停止状態の場合は、改めてデータを取得しなくても良い。
Ｓ７０４では、描画部２０５が、データ取得部２０３から取得したデータと視点制御部２０４から取得したカメラパラメータとを基に仮想視点映像を生成し、当該生成された仮想視点映像を表示部２０６に出力する。表示部２０６は描画部２０５から取得した仮想視点映像を表示する。レンダリングに関しては既存の技術を使用できるためここでは詳しく説明を行わない。カメラパラメータとは、仮想カメラの外部パラメータと内部パラメータに分類できる。仮想カメラの外部パラメータとは、仮想カメラの位置及び姿勢を表すパラメータである。また、仮想カメラの内部パラメータとは、仮想カメラの光学的な特性を表すパラメータである。外部パラメータと内部パラメータについてより具体的に説明する。仮想カメラの位置を表すベクトルをｔ，回転を表す行列をＲとすると、仮想カメラの外部パラメータは以下のように表すことができる。
Figure 2019056978
ここで、座標系は左手座標系として記載し、仮想視点において右を＋ｘ方向、上を＋ｙ方向、前を＋ｚ方向とする。
また、仮想視点映像の主点位置を（ｃｘ，ｃｙ）、仮想カメラの焦点距離をｆとすると、仮想カメラの内部パラメータＫは以下のように表すことができる。
Figure 2019056978
なお、カメラパラメータの表現方法は行列以外の表現であってもかまわない。例えば、仮想カメラの位置を３次元座標で表し、仮想カメラの姿勢をｙａｗ、ｒｏｌｌ、及びｐｉｔｃｈの値の羅列によって表すようにしてもよい。また、外部パラメータと内部パラメータは上述のものに限るわけではない。例えば、仮想カメラのズーム値を表す情報が仮想カメラの内部パラメータとして取得されるようにしてもよい。このように、仮想視点映像の生成のために用いられる仮想カメラのパラメータには種々のバリエーションが存在する。以上が本実施形態の制御装置１００で行われる処理の流れである。
＜ユーザ操作に応じた仮想カメラの制御＞
図７のＳ７０２の処理の詳細を、図８を参照して説明する。Ｓ７０２においては、視点制御部２０４は、操作部２０１に対するユーザ操作の検出結果を取得し、仮想視点映像の描画に用いられる仮想カメラのカメラパラメータを描画部２０５に出力する。
Ｓ８０１では、視点制御部２０４は、操作部２０１に対するユーザ操作の検出結果を取得する。ユーザ操作の検出結果には、表示スクリーン上におけるタッチされた点の数ｎ、タッチされた点の２次元スクリーン座標ｘ--ｉ（ｉ＝１〜ｎ）、及びタッチされた点の代表点の２次元スクリーン座標ｘ’が含まれるものとする。また、ユーザ操作の検出結果には、前の画像フレームにおける代表点からの移動量を表す２次元ベクトルｄ＝（ｄｘ，ｄｙ）、及び、上記代表点に基づいて特定される３次元点の位置を表す３次元ベクトルＴが含まれるものとする。ただし、必ずしも上記すべての情報を検出結果として取得しなければならないわけではない。例えば、１本指の操作が行われた場合、２次元スクリーン座標ｘｉと代表点の２次元スクリーン座標ｘ’は同じであるため何れか一方は省略可能である。
２次元スクリーンの座標系は左上を原点とし、右を＋ｘ、下を＋ｙとする。代表点はタッチされた複数の点の２次元スクリーン座標ｘｉの重心に位置する座標とする。しかしながら、代表点は重心に限らず、２次元スクリーン座標ｘｉの平均に位置する座標であっても良いし、複数の２次元スクリーン座標ｘｉのうちの１点がランダムに選択されるようにしても良いし、最も長い時間タッチされた点が選択されるようにしても良い。
また、３次元点は、仮想カメラの位置に応じた３次元座標を始点として仮想カメラの撮影方向へ仮想的に光線を飛ばし（レイキャスト）、被写体と衝突した点とする。この３次元点は、仮想カメラの操作において回転基点や移動の基準点として利用される。また、この３次元点は、タッチの数が前の画像フレームから変化した場合のみ決定し、変化していない場合は前の画像フレームの処理において決定済みの３次元ベクトルＴをそのまま利用する。なお、本実施形態では３次元点は３次元ベクトルＴにより表される例を説明するが、必ずしもベクトルの形式で示さなくても良い。
Ｓ８０２では、視点制御部２０４は、操作部２０１に対するユーザ操作に応じて視点リセットを行うか否かを判定する。本実施形態では、表示スクリーン上の特定の領域（例えば視点リセットボタンが表示されている領域）がタップされた場合に、視点リセットを行うと判定される。
Ｓ８０３では、視点制御部２０４が、仮想カメラの位置及び姿勢等をリセットする。すなわち視点制御部２０４は、表示スクリーン上の所定位置に対してユーザ操作が検出されたことに応じて、仮想視点の位置及び向きを予め定められた位置及び向きに変更する。そして、視点制御部２０４は、リセット時の仮想カメラのカメラパラメータを描画部２０５に出力する。本実施形態においてリセット時の仮想カメラの位置は［０ ０ ０］であり、仮想カメラの姿勢は単位行列であるものとする。しかしながら、リセット時の視点情報は上述のものに限るわけではない。例えば、予めユーザが設定した値を利用してもよいし、画像データに埋め込まれた推奨の視点情報を読出して利用しても良い。
Ｓ８０４では、視点制御部２０４が、タッチされた点数ｎに基づいて、仮想カメラの制御方法を決定する。タッチされた指の本数に合わせて仮想カメラの制御方法を異ならせることで、より多彩な制御が実現できるようになる。タッチ点数が０点の場合、Ｓ８０５に進み、現在の仮想カメラの位置及び姿勢を描画部２０５へ出力する。
タッチ点数が１点の場合（つまり１本指の操作が検出された場合）、Ｓ８０６に進み、視点制御部２０４は、上述の３次元点を回転中心として仮想カメラを回転させる。３次元点は、仮想カメラの位置に応じた３次元座標（例えば仮想カメラの中心座標）を始点として仮想カメラの撮影方向へ仮想的に光線を飛ばし（レイキャスト）、被写体と衝突した点とする。別の言い方をすると、３次元点とは、タッチ時に表示される仮想視点映像の中心位置に対応する３次元空間上の座標である。ただし、３次元点はこの例に限るものではない。Ｓ８０６〜Ｓ８０８の詳細は後述する。
タッチ点数が２点の場合（つまり２本指の操作が検出された場合）、Ｓ８０９に進み、視点制御部２０４は、ユーザによるスライド操作に応じて、仮想カメラの高さ方向と水平方向の両方の位置を変更する制御を行う。また、Ｓ８１１においては、視点制御部２０４は、ピンチイン操作及び／又はピンチアウト操作に応じて仮想カメラの位置を前後方向に移動させる制御を行う。Ｓ８０９〜Ｓ８１２の詳細は後述する。
タッチ点数が３点の場合（つまり３本指の操作が検出された場合）、Ｓ８１３に進み、視点制御部２０４は、仮想カメラをスライド操作に応じて並行移動させる制御を行う。Ｓ８１３及びＳ８１４の詳細は後述する。
Ｓ８０６では、視点制御部２０４が仮想カメラを回転する際の回転中心となる３次元点の座標を決定する。視点制御部２０４は、１本指のタッチの検出に応じて、例えば、仮想カメラの中心を視点として仮想的に３次元空間へ光線を飛ばし、被写体と衝突した点を３次元点とする。３次元点は３次元ベクトルＡとして表され、回転中心として利用される。なお、１度３次元点を決定した後は、タッチ状態が継続している間は再決定しなくて良い。
Ｓ８０７では、視点制御部２０４が代表点の移動量ｄを取得し、仮想カメラの移動量を決定する。なお１本指のユーザ操作の場合は、仮想カメラの移動方向は、３次元点を中心とする回転方向のみである。また、１本指のユーザ操作の場合、仮想カメラは垂直方向には移動せず、水平方向のみ移動する。このようにすることで、スライド操作における手ぶれの影響を受けにくく、仮想カメラの移動をスムーズに行うことができる。なお、本実施形態の視点制御部２０４は、代表点の移動量ｄｘにスケール係数ｓを乗算することで仮想カメラの移動量（水平方向の回転量θ）を決定する。表示スクリーンの解像度を幅ｗ画素とし、表示スクリーンの端から端までスライド操作した時の回転量を３６０度とすると移動量ｄｘから回転量θ［ｄｅｇｒｅｅ］を決定するためのスケールｓは以下の式で表せる。
Figure 2019056978
このスケール係数を用いて仮想カメラの回転量は以下の式で表せる。
Figure 2019056978
なお本実施形態では指１本のユーザ操作に基づく仮想カメラの移動方向は水平方向のみとする例を中心に説明するが、垂直方向のみの移動として良い。また、ユーザ操作の内容に応じて、水平方向のみの移動にするか、垂直方向のみの移動にするかが決定されるようにしても良い。具体的には、タッチが検出されてから所定数の画像フレームのスライド操作の方向に応じて移動方向を決定してもよい。例えば、所定数の画像フレームにおけるスライド操作によるｘ方向とｙ方向の移動量を比較し、ｘ方向の移動量が大きければ水平方向のみの移動とし、ｙ方向の移動量が大きければ垂直方向のみの移動としても良い。また、スケール係数ｓの決定方法は上述のものに限らない。例えばユーザが任意の値を指定するようにしても良いし、複数の選択肢の中からユーザが任意に選択できるようにしても良い。
Ｓ８０８では、視点制御部２０４がユーザのスライド操作に応じた仮想カメラの位置及び姿勢の決定を行い、その結果を描画部２０５に出力する。仮想カメラの位置Ｒｎ−１及び姿勢ｔｎ−１を、座標Ａを中心に水平方向にθだけ回転した場合の仮想カメラの位置Ｒｎ及び姿勢ｔｎは以下の式で表すことができる。
Figure 2019056978
ただし、Ｒ（θ、φ）は水平方向にθ、垂直方向にφだけ回転する回転行列である。また、回転させた現在の仮想カメラの位置及び姿勢を求める式はこれに限らない。
Ｓ８０９では、視点制御部２０４が代表点の移動量ｄを取得し、仮想カメラの移動量を決定する。なお２本指のユーザ操作の場合は、自由度の高い制御を実現するため、Ｓ８０７とは異なり、３次元点を中心として、水平方向と垂直方向の両方向に仮想カメラの回転させることができる。水平方向の回転量θとスケールｓはＳ８０７と同様にして求める。垂直方向の回転量φは、以下の式で表すことができる。
φ＝ｓ×ｄｙ
Ｓ８１０では、視点制御部２０４がユーザのスライド操作に応じた仮想カメラの位置及び姿勢の決定を行い、その結果を描画部２０５に出力する。仮想カメラの位置Ｒｎ−１及び姿勢ｔｎ−１を、３次元点Ｔを中心に水平方向にθだけ回転し、垂直方向にφだけ回転した場合の仮想カメラの位置Ｒｎ、姿勢ｔ’ｎは以下の式で表すことができる。
Figure 2019056978
ただし、３次元点Ｔを中心に回転させた場合の仮想カメラの位置及び姿勢を求める式はこれに限らない。例えば、所定の係数等を用いることで、指の移動量に対する仮想カメラの移動量を大きくすることも可能であるし、逆に、指の移動量に対する仮想カメラの移動量を小さくすることも可能である。
Ｓ８１１では、視点制御部２０４がユーザのピンチイン操作、及びピンチアウト操作に応じた仮想カメラの前後方向の移動量の決定を行う。現在の画像フレームが表示されているときの２本指の距離をｄｎとし、直前の画像フレームが表示されているときの２本指の距離をｄｎ−１とすると、その変化量ΔｄはΔｄ＝ｄｎ−ｄｎ−１である。その変化量に比例して仮想カメラを前後に移動する。移動の敏感度をｍとすると、仮想カメラの移動量ΔｚはΔｚ＝ｍ×Δｄで表すことができる。つまり、ピンチイン操作、及びピンチアウト操作による単位時間当たりの指の移動量に応じて、仮想カメラの移動量が決定される。なお、移動量を決定する方法は上述の方法に限らない。例えば、仮想カメラから３次元点Ｔまでの距離に基づいて表示スクリーン上での指の移動量に合うように３次元空間上での移動量が決定されるようにしても良い。
Ｓ８１２では、視点制御部２０４がユーザのピンチイン操作、及びピンチアウト操作に応じた仮想カメラの位置の決定を行い、その結果を描画部２０５に出力する。前後方向にΔｚだけ移動した仮想カメラの位置は以下の式で表される。
Figure 2019056978
Ｓ８１３では、視点制御部２０４がユーザのスライド操作に応じた仮想カメラの上下左右方向の移動量の決定を行う。本実施形態では、表示スクリーン上における指の移動量と等しい距離だけ３次元点が表示スクリーン上で移動するように移動量が決定される。つまり、あるオブジェクト（例えばサッカー選手）の表示位置に３本指でタッチして、その３本指を表示スクリーン上でスライド移動させると、そのオブジェクトの表示位置と３本指の位置関係が変化しないように、仮想カメラの位置が変化する。移動量Δｘ，Δｙは、仮想カメラからタッチした３次元点までの距離をｒとすると以下の式で表すことができる。
Figure 2019056978
Ｓ８１４では、視点制御部２０４がユーザのスライド操作に応じた仮想カメラの位置及び姿勢の決定を行い、その結果を描画部２０５に出力する。左右方向にΔｘ、上下方向にΔｙだけ移動した場合の仮想カメラの位置及び姿勢は以下の式で表される。
Figure 2019056978
なお、指の本数と処理の内容の対応関係は、上述に示した例に限らない。例えば、指１本のスライド操作と指３本のスライド操作による仮想カメラの位置及び姿勢の制御は入れ替えることも可能である。つまり、指１本のスライド操作に基づいて仮想カメラを上下左右に平行移動させ、指３本のスライド操作に基づいて３次元点を中心とする仮想カメラの回転移動を実行するようにしても良い。また、指の本数と制御方法の関係を、ユーザが任意に設定できるようにしても良い。このようにすれば、ユーザのスキルや、仮想視点映像の表示環境等によりマッチした操作機能を提供できるようになる。また、本実施形態では、タッチ点数が０点の場合の処理（Ｓ８０５）、１点の場合の処理（Ｓ８０６〜Ｓ８０８）、２点の場合の処理（Ｓ８０９〜Ｓ８１２）、３点の場合の処理（Ｓ８１３、Ｓ８１４）をすべて行う倍の例を中心に説明した。しかしこの例に限らない。例えば、タッチ点数が２点の場合の処理（Ｓ８０９〜Ｓ８１２）と、３点の場合の処理（Ｓ８１３、Ｓ８１４）のみを実行するようにしても良いし、タッチ点数が１点の場合の処理（Ｓ８０６〜Ｓ８０８）のみを実行するようにしても良い。また、事前のユーザ設定に応じて、どの処理を有効にするかが切り替わるようにしても良い。
以上説明した通り、本実施形態の制御装置１００は、仮想視点映像を表示するための表示面（表示スクリーン）に対するユーザ操作に応じて、仮想視点の位置及び向きのうち少なくとも何れか一方を制御する。このような構成によれば、ユーザは、従来よりも簡易に仮想視点に関する制御を行うことができるようになる。また、本実施形態の制御装置１００は、表示面から検出された指の本数（ユーザ操作により同時に指定される座標の数）に応じて、ユーザ操作に応じた仮想視点の制御方法を切り替える。このような構成を採用することにより、ユーザは、その意図に応じた仮想視点の制御を、より直観的な操作で行うことができるようになる。言い換えれば、本実施形態の制御装置１００によれば、よりユーザの意図に沿った仮想視点映像を生成することができるようになるという効果がある。
＜その他の実施形態＞
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。
１００ 制御装置
２０１ 操作部
２０２ 取得データ制御部
２０３ データ取得部
２０４ 視点制御部
２０５ 描画部
２０６ 表示部
上記課題を解決するために、本発明に係る制御装置は、以下の構成を有する。すなわち、制御装置は、複数のカメラが所定の撮影対象領域を異なる方向から撮影することで得られる画像データを用いて生成される仮想視点映像に係る仮想視点の位置及び向きを制御する制御装置であって、前記仮想視点映像を表示するための表示面に対するタッチ操作を検出する検出手段と、前記検出手段が検出するタッチ操作により同時に指定される座標の数と、当該座標の変化量とに基づいて、前記仮想視点の位置及び向きのうち少なくともいずれかの変更量を決定する決定手段と、前記決定手段により決定された変更量に従って、前記仮想視点の位置及び向きのうち少なくとも何れか一方を制御する制御手段とを有する。
上記課題を解決するために、本発明に係る制御装置は、以下の構成を有する。すなわち、制御装置は、複数のカメラが所定の撮影対象領域を異なる方向から撮影することで得られる画像データを用いて生成される仮想視点映像に係る仮想視点の位置及び向きを制御する制御装置であって、前記仮想視点映像を表示するための表示面に対するタッチ操作を検出する検出手段と、前記タッチ操作により前記表示面における第１の数の座標が同時に指定されている場合、当該座標の変化に応じて前記仮想視点に基づく注目座標が変化することなく前記仮想視点の位置及び向きが変化し、且つ、前記タッチ操作により前記表示面における第２の数の座標が同時に指定されている場合、当該座標の変化に応じて前記仮想視点の向きが変化することなく前記仮想視点及び注目座標の位置が変化するように、前記検出手段が検出するタッチ操作により同時に指定されている座標の数と、当該座標の変化量とに基づいて、前記仮想視点の位置及び向きのうち少なくともいずれかの変更量を決定する決定手段と、前記決定手段により決定された変更量に従って、前記仮想視点の位置及び向きのうち少なくとも何れか一方を制御する制御手段とを有する。

Claims (14)

  1. 仮想視点映像を表示する表示面に対するユーザ操作を検出する検出手段と、
    前記検出手段により検出されたユーザ操作に応じて、仮想視点映像の生成に係る仮想視点の位置及び向きのうち少なくとも何れか一方を制御する制御手段とを有する制御装置。
  2. 前記制御手段は、前記ユーザ操作により同時に指定される前記表示面上の座標の数に応じて、前記ユーザ操作に応じた仮想視点の制御方法を決定する請求項１に記載の制御装置。
  3. 前記ユーザ操作により同時に指定される前記表示面上の座標の数が第１の数である場合、前記制御手段は、前記第１の数の座標の移動に応じて、前記仮想視点が所定の注目座標を中心に旋回するように前記仮想視点の位置及び向きを制御する請求項２に記載の制御装置。
  4. 前記所定の注目座標は、前記ユーザ操作により前記表示面上の座標が指定されたときに前記表示面上に表示される仮想視点映像の中心位置に基づいて決定される座標である請求項３に記載の制御装置。
  5. 前記ユーザ操作により同時に指定される前記表示面上の座標の数が第１の数である場合、前記制御手段は、前記第１の数の座標の移動に応じて、前記仮想視点が所定の注目座標を注目したまま前記仮想視点の位置及び向きが変化するように制御する請求項２に記載の制御装置。
  6. 前記ユーザ操作により同時に指定される前記表示面上の座標の数が第１の数である場合、前記制御手段は、前記第１の数の座標の移動に応じて、前記仮想視点の位置を第１方向に変更し且つ第２方向には変更せず、
    前記ユーザ操作により同時に指定される前記表示面上の座標の数が第２の数である場合、前記制御手段は、前記第２の数の座標の移動に応じて、前記仮想視点の位置を第１方向及び第２方向に変更する請求項１乃至５のうち、何れか１項に記載の制御装置。
  7. 前記所定の注目座標は、前記ユーザ操作により指定される前記第２の数の座標のうち、少なくとも１つに基づいて決定される請求項６に記載の制御装置。
  8. 前記ユーザ操作により同時に指定される前記表示面上の座標の数が第３の数である場合、前記制御手段は、前記第３の数の座標の変化に応じて、前記仮想視点が３次元空間内において並行移動するように、前記仮想視点の位置を制御する請求項１乃至７のうち、何れか１項に記載の制御装置。
  9. 前記ユーザ操作により同時に指定される前記表示面上の座標の数が第３の数である場合、前記制御手段は、前記第３の数の座標の変化に応じて、前記仮想視点の位置を変更し、且つ、前記仮想視点の向きを変更しない請求項１乃至７のうち、何れか１項に記載の制御装置。
  10. 前記ユーザ操作により同時に指定される前記表示面上の座標の数が第２の数である場合、前記制御手段は、前記第２の数の座標の変化に応じて、前記仮想視点の向きに応じた方向に前記仮想視点を移動させる請求項１乃至９のうち、何れか１項に記載の制御装置。
  11. 前記表示面における仮想視点映像の再生が一時停止状態になっている間に前記検出手段により前記表示面に対するタップ操作が検出された場合、前記制御手段は、前記一時停止状態から再生状態に変更する請求項１乃至１０のうち、何れか１項に記載の制御装置。
  12. 前記表示面上の所定位置に対してユーザ操作が検出されたことに応じて、前記制御手段は、前記仮想視点の位置及び向きを予め定められた位置及び向きに変更する請求項１乃至１１のうち、何れか１項に記載の制御装置。
  13. 仮想視点映像を表示する表示面に対するユーザ操作を検出し、
    前記検出手段により検出されたユーザ操作に応じて、仮想視点映像の生成に係る仮想視点の位置及び向きのうち少なくとも何れか一方を制御する制御方法。
  14. コンピュータを請求項１乃至１２のうち、何れか１項に記載の制御装置の各手段として動作させるためのプログラム。
JP2017179581A 2017-09-19 2017-09-19 制御装置、制御方法、及びプログラム Active JP6419278B1 (ja)

Priority Applications (12)

Application Number Priority Date Filing Date Title
JP2017179581A JP6419278B1 (ja) 2017-09-19 2017-09-19 制御装置、制御方法、及びプログラム
RU2019130044A RU2720356C1 (ru) 2017-09-19 2018-09-10 Устройство управления, способ управления и носитель хранения
CN201880037599.2A CN110720086A (zh) 2017-09-19 2018-09-10 控制设备、控制方法和程序
BR112019019526A BR112019019526A2 (pt) 2017-09-19 2018-09-10 aparelho de controle, método de controle, e meio de armazenamento
PCT/JP2018/033398 WO2019059020A1 (ja) 2017-09-19 2018-09-10 制御装置、制御方法、及びプログラム
CA3072999A CA3072999C (en) 2017-09-19 2018-09-10 Control apparatus, control method, and program
EP18857883.5A EP3605295A4 (en) 2017-09-19 2018-09-10 CONTROL DEVICE, CONTROL METHOD AND PROGRAM
AU2018336341A AU2018336341B2 (en) 2017-09-19 2018-09-10 Control device, control method and program
KR1020217000259A KR20210006005A (ko) 2017-09-19 2018-09-10 제어 장치, 제어 방법 및 컴퓨터 프로그램
KR1020197033018A KR20200002025A (ko) 2017-09-19 2018-09-10 제어 장치, 제어 방법 및 저장 매체
US16/576,540 US11003350B2 (en) 2017-09-19 2019-09-19 Control apparatus, control method, and storage medium
US17/230,344 US11586349B2 (en) 2017-09-19 2021-04-14 Control apparatus, control method, and storage medium

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2017179581A JP6419278B1 (ja) 2017-09-19 2017-09-19 制御装置、制御方法、及びプログラム

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2018192133A Division JP6632681B2 (ja) 2018-10-10 2018-10-10 制御装置、制御方法、及びプログラム

Publications (2)

Publication Number Publication Date
JP6419278B1 JP6419278B1 (ja) 2018-11-07
JP2019056978A true JP2019056978A (ja) 2019-04-11

Family

ID=64098693

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2017179581A Active JP6419278B1 (ja) 2017-09-19 2017-09-19 制御装置、制御方法、及びプログラム

Country Status (10)

Country Link
US (2) US11003350B2 (ja)
EP (1) EP3605295A4 (ja)
JP (1) JP6419278B1 (ja)
KR (2) KR20200002025A (ja)
CN (1) CN110720086A (ja)
AU (1) AU2018336341B2 (ja)
BR (1) BR112019019526A2 (ja)
CA (1) CA3072999C (ja)
RU (1) RU2720356C1 (ja)
WO (1) WO2019059020A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022181175A1 (ja) * 2021-02-25 2022-09-01 ソニーグループ株式会社 情報処理装置、情報処理方法、プログラム、表示システム

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10600245B1 (en) * 2014-05-28 2020-03-24 Lucasfilm Entertainment Company Ltd. Navigating a virtual environment of a media content item
WO2018067130A1 (en) * 2016-10-04 2018-04-12 Hewlett-Packard Development Company, L.P. Three-dimensional input device
JP6419278B1 (ja) 2017-09-19 2018-11-07 キヤノン株式会社 制御装置、制御方法、及びプログラム
JP7174397B2 (ja) * 2018-06-18 2022-11-17 チームラボ株式会社 映像表示システム，映像表示方法，及びコンピュータプログラム
CN111669518A (zh) * 2019-03-07 2020-09-15 阿里巴巴集团控股有限公司 多角度自由视角交互方法及装置、介质、终端、设备
CN111669569A (zh) * 2019-03-07 2020-09-15 阿里巴巴集团控股有限公司 一种视频生成方法及装置、介质、终端
WO2020262392A1 (ja) 2019-06-28 2020-12-30 富士フイルム株式会社 情報処理装置、情報処理方法、及びプログラム
EP4075392A4 (en) * 2019-12-10 2023-02-22 Sony Group Corporation INFORMATION PROCESSING SYSTEM, INFORMATION PROCESSING METHOD AND PROGRAM
US20230162378A1 (en) * 2020-05-21 2023-05-25 Intel Corporation Virtual Camera Friendly Optical Tracking
KR102435789B1 (ko) * 2021-12-16 2022-08-24 주식회사 카펜스트리트 3차원 객체 영상을 처리하기 위한 기법

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2014127735A (ja) * 2012-12-25 2014-07-07 Casio Comput Co Ltd 表示制御装置、表示制御システム、表示制御方法及びプログラム
JP2014215828A (ja) * 2013-04-25 2014-11-17 シャープ株式会社 画像データ再生装置、および視点情報生成装置
JP2015076062A (ja) * 2013-10-11 2015-04-20 富士通テン株式会社 画像表示装置、画像表示システム、画像表示方法、及び、プログラム
JP2016096449A (ja) * 2014-11-14 2016-05-26 富士通テン株式会社 画像表示装置、明るさ変更方法、及び、プログラム

Family Cites Families (27)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS59124800A (ja) 1982-12-30 1984-07-18 アルプス電気株式会社 ステイツクマガジン供給装置
US9529440B2 (en) * 1999-01-25 2016-12-27 Apple Inc. Disambiguation of multitouch gesture recognition for 3D interaction
JP2004005272A (ja) * 2002-05-31 2004-01-08 Cad Center:Kk 仮想空間移動制御装置及び制御方法並びに制御プログラム
JP4298407B2 (ja) * 2002-09-30 2009-07-22 キヤノン株式会社 映像合成装置及び映像合成方法
RU2406150C2 (ru) * 2005-09-15 2010-12-10 Олег Станиславович Рурин Способ и система для визуализации виртуальных трехмерных объектов
JP4640456B2 (ja) * 2008-06-25 2011-03-02 ソニー株式会社 画像記録装置、画像記録方法、画像処理装置、画像処理方法、プログラム
CA2734987A1 (en) * 2008-08-22 2010-02-25 Google Inc. Navigation in a three dimensional environment on a mobile device
KR101531363B1 (ko) * 2008-12-10 2015-07-06 삼성전자주식회사 이차원 인터랙티브 디스플레이에서 가상 객체 또는 시점을 제어하는 방법
US9268404B2 (en) * 2010-01-08 2016-02-23 Microsoft Technology Licensing, Llc Application gesture interpretation
JP6074894B2 (ja) 2012-02-24 2017-02-08 株式会社ニコン 情報表示装置
US9311750B2 (en) * 2012-06-05 2016-04-12 Apple Inc. Rotation operations in a mapping application
US9367959B2 (en) * 2012-06-05 2016-06-14 Apple Inc. Mapping application with 3D presentation
JP6271858B2 (ja) * 2012-07-04 2018-01-31 キヤノン株式会社 表示装置及びその制御方法
CN103634584B (zh) * 2012-08-29 2015-10-21 广州市朗辰电子科技有限公司 一种多视点3d视频合成方法
US20150040073A1 (en) * 2012-09-24 2015-02-05 Google Inc. Zoom, Rotate, and Translate or Pan In A Single Gesture
JP2014238731A (ja) * 2013-06-07 2014-12-18 株式会社ソニー・コンピュータエンタテインメント 画像処理装置、画像処理システム、および画像処理方法
US9451162B2 (en) 2013-08-21 2016-09-20 Jaunt Inc. Camera array including camera modules
JP2015187797A (ja) 2014-03-27 2015-10-29 シャープ株式会社 画像データ生成装置および画像データ再生装置
US10176625B2 (en) 2014-09-25 2019-01-08 Faro Technologies, Inc. Augmented reality camera for use with 3D metrology equipment in forming 3D images from 2D camera images
US20160140733A1 (en) 2014-11-13 2016-05-19 Futurewei Technologies, Inc. Method and systems for multi-view high-speed motion capture
KR101835434B1 (ko) * 2015-07-08 2018-03-09 고려대학교 산학협력단 투영 이미지 생성 방법 및 그 장치, 이미지 픽셀과 깊이값간의 매핑 방법
EP3333808B1 (en) * 2015-08-06 2021-10-27 Sony Interactive Entertainment Inc. Information processing device
KR20170079198A (ko) 2015-12-30 2017-07-10 엘지전자 주식회사 이동 단말기 및 그의 동작 방법
JP6074525B1 (ja) * 2016-02-12 2017-02-01 株式会社コロプラ 仮想空間における視界領域調整方法、およびプログラム
US10824320B2 (en) * 2016-03-07 2020-11-03 Facebook, Inc. Systems and methods for presenting content
JP2017179581A (ja) 2016-03-24 2017-10-05 Ntn株式会社 焼結拡散接合部品およびその製造方法
JP6419278B1 (ja) 2017-09-19 2018-11-07 キヤノン株式会社 制御装置、制御方法、及びプログラム

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2014127735A (ja) * 2012-12-25 2014-07-07 Casio Comput Co Ltd 表示制御装置、表示制御システム、表示制御方法及びプログラム
JP2014215828A (ja) * 2013-04-25 2014-11-17 シャープ株式会社 画像データ再生装置、および視点情報生成装置
JP2015076062A (ja) * 2013-10-11 2015-04-20 富士通テン株式会社 画像表示装置、画像表示システム、画像表示方法、及び、プログラム
JP2016096449A (ja) * 2014-11-14 2016-05-26 富士通テン株式会社 画像表示装置、明るさ変更方法、及び、プログラム

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
エンヒバヤル ムングンバト, 外２名: ""タブレットにおける３次元空間ナビゲーション手法の検討"", 第１７回日本バーチャルリアリティ学会大会 論文集, JPN6018023994, 14 September 2012 (2012-09-14), pages 37 - 38, ISSN: 0003825812 *
柏熊淳也, 外３名: ""マルチタッチ操作を用いた自由視点映像閲覧法の検討"", 第１６回日本バーチャルリアリティ学会大会 論文集, JPN6018023992, 22 September 2011 (2011-09-22), pages 674 - 677, ISSN: 0003825811 *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022181175A1 (ja) * 2021-02-25 2022-09-01 ソニーグループ株式会社 情報処理装置、情報処理方法、プログラム、表示システム

Also Published As

Publication number Publication date
RU2720356C1 (ru) 2020-04-29
CA3072999C (en) 2021-08-31
CA3072999A1 (en) 2019-03-28
KR20200002025A (ko) 2020-01-07
JP6419278B1 (ja) 2018-11-07
BR112019019526A2 (pt) 2020-04-22
EP3605295A4 (en) 2020-05-13
KR20210006005A (ko) 2021-01-15
CN110720086A (zh) 2020-01-21
US11586349B2 (en) 2023-02-21
US11003350B2 (en) 2021-05-11
US20210232307A1 (en) 2021-07-29
WO2019059020A1 (ja) 2019-03-28
AU2018336341A1 (en) 2019-10-10
AU2018336341B2 (en) 2020-05-07
US20200012421A1 (en) 2020-01-09
EP3605295A1 (en) 2020-02-05

Similar Documents

Publication Publication Date Title
JP6419278B1 (ja) 制御装置、制御方法、及びプログラム
US10948993B2 (en) Picture-taking within virtual reality
US9690388B2 (en) Identification of a gesture
JP6632681B2 (ja) 制御装置、制御方法、及びプログラム
JP7562746B2 (ja) 制御装置、制御方法、及びプログラム
JP5822400B2 (ja) カメラとマーク出力とによるポインティング装置
US20160179211A1 (en) Systems and methods for triggering actions based on touch-free gesture detection
US20210390721A1 (en) Display control apparatus, display control method, and storage medium
US11477432B2 (en) Information processing apparatus, information processing method and storage medium
EP2558924B1 (en) Apparatus, method and computer program for user input using a camera
US9122346B2 (en) Methods for input-output calibration and image rendering
TWI499938B (zh) 觸控系統
JP7434385B2 (ja) 制御装置、制御方法、及びプログラム
US11036287B2 (en) Electronic device, control method for electronic device, and non-transitory computer readable medium
US20240203012A1 (en) Electronic device for generating three-dimensional photo based on images acquired from plurality of cameras, and method therefor

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20180411

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20180531

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20180703

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20180831

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20180911

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20181009

R151 Written notification of patent or utility model registration

Ref document number: 6419278

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151