JP2019503612A - 乖離したカメラの照準方向を制御するための方法及び機器 - Google Patents

乖離したカメラの照準方向を制御するための方法及び機器 Download PDF

Info

Publication number
JP2019503612A
JP2019503612A JP2018532212A JP2018532212A JP2019503612A JP 2019503612 A JP2019503612 A JP 2019503612A JP 2018532212 A JP2018532212 A JP 2018532212A JP 2018532212 A JP2018532212 A JP 2018532212A JP 2019503612 A JP2019503612 A JP 2019503612A
Authority
JP
Japan
Prior art keywords
camera
divergence
function
aiming
reference direction
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2018532212A
Other languages
English (en)
Other versions
JP2019503612A5 (ja
JP6978418B2 (ja
Inventor
ジェラール,フランソワ
ダニエー,ファビアン
ドレ,ルノー
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Thomson Licensing SAS
Original Assignee
Thomson Licensing SAS
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Thomson Licensing SAS filed Critical Thomson Licensing SAS
Publication of JP2019503612A publication Critical patent/JP2019503612A/ja
Publication of JP2019503612A5 publication Critical patent/JP2019503612A5/ja
Application granted granted Critical
Publication of JP6978418B2 publication Critical patent/JP6978418B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/012Head tracking input arrangements
    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63FCARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/50Controlling the output signals based on the game progress
    • A63F13/52Controlling the output signals based on the game progress involving aspects of the displayed game scene
    • A63F13/525Changing parameters of virtual cameras
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47End-user applications
    • H04N21/478Supplemental services, e.g. displaying phone caller identification, shopping application
    • H04N21/4781Games
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/58Means for changing the camera field of view without moving the camera body, e.g. nutating or panning of optics or image sensors
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63FCARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2250/00Miscellaneous game characteristics
    • A63F2250/49Miscellaneous game characteristics with provisions for connecting to a part of the body
    • A63F2250/497Head
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/69Control of means for changing angle of the field of view, e.g. optical zoom objectives or electronic zooming

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Studio Devices (AREA)
  • User Interface Of Digital Computer (AREA)
  • Position Input By Displaying (AREA)
  • Selective Calling Equipment (AREA)
  • Closed-Circuit Television Systems (AREA)

Abstract

本開示は、遠隔電動カメラ(10)の照準方向(22)を決定するための方法、機器、又はシステムに関する。カメラ(10)によって捕捉される没入型ビデオコンテンツが基準方向(13)に関連付けられる。乖離度関数(32、42、53)のパラメータが計算される。この関数はカメラの照準方向(22)を制御するために使用される。この関数は、利用者が望む回転(21)とカメラの回転(22)との間の乖離を生ぜしめる。本開示の目的の一例は、利用者がカメラを基準方向の方に回転させるのを促し、利用者がカメラを逆方向に回転させるのを防ぐことである。本原理には疑似触覚効果を作り出す利点があり、利用者の気分を悪くすることなしに利用者が基準方向の方を見ることを駆り立てる。

Description

本開示は、例えば頭部搭載型ディスプレイ(HMD)、TV受像機、又はタブレットやスマートフォン等のモバイル装置を使って例えば没入型ビデオコンテンツを消費する場合にカメラを制御するときの疑似触覚フィードバックの分野に関する。
カメラの照準方向を制御することは、従来の様々なシステムにおいて実現されている。かかる制御は、カメラが捕捉可能であるよりも広範な環境内にカメラが没入される場合に有用である。かかるシステムは、例えばTV番組の録画や防犯カメラの遠隔制御に使用されている。ゲーム内の又は没入型コンテンツレンダラ内の仮想カメラは、照準方向制御システムを備えると考えることもできる。
カメラの照準方向を制御するとき、利用者はカメラの回転によって4πステラジアン環境を見ることができる。かかる機能がコンテンツ内への没入に関して実質的な改善として表示され得る場合、利用者はその環境の一部分しか見ていないので、所与の瞬間にその利用者が見るべき方向を見ない可能性がある。実際に利用者はカメラの位置にいたかのように辺り一面を見回すことができるので、利用者はイベントが発生した瞬間にコンテンツの別の部分を見ていることを理由にナレーションの重要な部分等の一部の重要なイベントを逃す場合がある。
背景技術によれば、利用者の目を基準方向に向けさせるためにカメラパニングを強制することが非常に効率的な解決策であることが分かっている。しかし、この解決策には欠点があることが良く知られている。例えばこの解決策は殆どの人の視覚的キューを失わせ又は気分を悪くし、結果として利用者の経験品質を低下させる。
本開示の目的の一例は、カメラを基準方向に回転させるように利用者を促し、利用者がカメラを逆方向に回転させるのを防ぐことである。
本開示はカメラの照準方向を決定する方法に関し、この方法は、
−1組の少なくとも1つの基準方向を得ること、
−カメラに関連する少なくとも1つのコントローラの第2のパラメータを得ること、
−基準方向に従って乖離度関数を表す第1のパラメータを計算することであって、乖離度関数は決定するための照準方向とカメラコントローラの第2のパラメータによって定められる方向との間の乖離度を表す、計算すること、及び
−少なくとも1つのコントローラの第2のパラメータに対して乖離度関数を適用することにより、カメラの照準方向を計算すること
を含む。
特定の特性によれば、前述の乖離度関数がシグモイド様の関数である。
一実施形態によれば、前述の組の少なくとも1つの基準方向がカメラの位置及び別のオブジェクトの位置に従って決定される。
この方法の改変形態では、前述の組の基準方向の数が経時変化する。
有利には、前述の組の少なくとも1つの基準方向が、乖離度関数を表す前述の第1のパラメータを計算するのに使用される基準パラメータに関連する。
別の改変形態によれば、前述の組の少なくとも1つの基準方向が経時変化する。
一実施形態によれば、前述の照準方向を前述のカメラに伝送することを更に含む。
本開示は、カメラの照準方向を決定するように構成される機器にも関し、この機器は、
−1組の少なくとも1つの基準方向を得るための手段と、
−方向コマンドを表す第2のパラメータを得るためのカメラに関連する少なくとも1つのコントローラと、
−基準方向に従って乖離度関数を表す第1のパラメータを計算するためのプロセッサであって、乖離度関数は決定するための照準方向とコントローラの第2のパラメータによって定められる方向との間の乖離度を表す、プロセッサと、
−少なくとも1つのコントローラの第2のパラメータに対して乖離度関数を適用することにより、カメラの照準方向を計算するように構成されるプロセッサと
を含む。
本開示は、カメラの照準方向を決定するように構成される機器にも関し、この機器は、
−1組の少なくとも1つの基準方向を得ること、
−前述の1組の少なくとも1つの基準方向に従って乖離度関数を表す第1のパラメータを計算すること、
−カメラに関連するコントローラから方向コマンドを表す第2のパラメータを得ること、
−少なくとも1つのコントローラの第2のパラメータに対して乖離度関数を適用することにより、カメラの照準方向を計算すること
を行うように構成される少なくとも1個のプロセッサを含む。
本開示は、コンピュータ上で実行されるときカメラの照準方向を決定する上記の方法を少なくとも1個のプロセッサによって実行するためのプログラムコードの命令を含む、コンピュータプログラム製品にも関する。
本開示は、テクスチャを表す画像を構成する少なくとも上記の方法をプロセッサに実行させるための命令を内部に記憶している非一時的プロセッサ可読媒体にも関する。
以下の説明を読めば本開示がより良く理解され、他の特定の特徴及び利点が現われ、本説明は以下の付属図面を参照する。
本原理の特定の実施形態による、決定された時点t(例えばシステムの初期設定時点)における制御されたカメラシステムを示す。 本原理の特定の実施形態による、システムの初期設定後の時点tにおける図1の制御されたカメラシステムを示す。 本原理の特定の実施形態による、図2に示すカメラの照準方向とカメラコントローラのパラメータに関連する方向との間の乖離度の図の一例を示す。 本原理の特定の実施形態による、図1及び図2の1組の基準方向が変化しているとき乖離度関数を計算するために本方法が使用し得る設定を示す。 本原理の特定の実施形態による、図3a及び図3bの乖離度関数の反復計算を示す。 本原理の特定の実施形態による、図1及び図2の1組の基準方向が複数の基準方向を含む場合に計算される乖離度関数を示す。 本原理の特定の実施形態による、図3a、図3b、図4、及び図5に示す乖離度関数に従って図1及び図2のカメラの照準方向を処理するように構成される機器のハードウェアの実施形態を図によって示す。 本原理の有利な非限定的実施形態による、図6の装置等の処理装置によって実装されるカメラの照準方向を決定する方法の一実施形態を示す。
次に本内容を図面に関して説明し、図面では全体を通して同様の要素を指すために同様の参照番号を使用する。以下の説明では、本内容の完全な理解を与えるために多数の具体的詳細を説明目的で記載する。本内容の実施形態はそれらの具体的詳細なしに実践できることが理解されよう。
明瞭にするために、図1〜図5は2次元の例を示し、「ヨー」角(即ちZ軸を中心とする回転)にのみ言及する。本原理は第3の次元、「ピッチ」角(即ちY軸を中心とする回転)、及び「ロール」角(即ちX軸を中心とする回転)に拡張可能であることが理解されよう。
(現実の又は仮想的な)カメラが(現実の又は仮想的な)場所に位置し、カメラが撮影し得るオブジェクトに囲まれる。この環境は、オブジェクトの位置を突き止めるために基準系が関連するカメラの環境を構成する。
(現実の又は仮想的な)カメラは、カメラが位置する環境に関連して1組のパラメータに関連付けられる。カメラの位置は、環境に関連する基準系の中で表される。カメラは、以下カメラの照準方向と呼ぶ所与の方向で撮影している。
図1は、決定された時点t(例えばシステムの初期設定時点)における制御されたカメラシステム1を示す。カメラ照準方向コントローラ12に関連するカメラ10。図1では、カメラコントローラ12を頭部搭載型ディスプレイ(HMD)として示す。実際、HMDはカメラコントローラと見なすことができる。一実施形態では、HMDが頭部姿勢推定システム、例えば加速度計及び/若しくはジャイロスコープを含み得る一体型の慣性計測装置(IMU)、又は例えば赤外線カメラを使用する外部の位置追跡システムを備える。利用者が移動しているとき、その利用者の頭部の検出位置を使用してカメラの照準方向を特定の方向に向ける。カメラ10は遠隔地に配置される電動装置である。改変形態では、カメラ10は3次元の仮想世界の中に配置される仮想カメラである。
カメラ10及びカメラコントローラ12は、システムの開始時に設定されるゼロ方向11を共有する。明瞭にするために、図1ではカメラ10及びカメラコントローラ12を同じ場所に描いている。任意の実施形態において、カメラ10及びカメラコントローラ12は分離した環境に属する。例えば防犯システムでは、カメラが外部に位置する一方、カメラの照準方向を制御するためのジョイスティックは制御ステーション内に位置する。HMDの場合、IMUが現実世界に属する一方でカメラは仮想世界に属する。カメラ側で使用されるゼロ方向とカメラコントローラ側のその等価物との間で徐々にずれが生じ得ることが良く知られているので、ゼロ方向を共通値に時々リセットしても良い。一人称ビューの応用では、HMDの回転角とカメラの照準方向との間に一対一の対応関係がある。HMDが所与の角度を回転するとき、カメラも同じ所与の角度を回転する。別の実施形態では、カメラコントローラがジョイスティック又はキーボード若しくはスマートフォンの1組のキーである。一部の実施形態では、カメラが撮影している内容がレンダリングされるディスプレイがTV受像機、コンピュータ画面、又はスマートフォンやタブレット等のモバイル装置の画面である。
1組の少なくとも1つの基準方向13が得られる。基準方向は、例えばナレーションの重要な部分がその方向で生じている場合に利用者が見るべき方向に対応する。基準方向はコンテンツのメタデータとして提供され、コンテンツストリーム内で受信され又は同じファイルから読み出される。改変形態では、1組の基準方向がコンテンツとは異なる情報源から得られる。両方のデータが同期される必要がある。別の改変形態では、例えば関心領域を検出するために顕著性マップを使用し、コンテンツの画像を処理するおかげで基準方向が得られ、基準方向は例えば各関心領域に関連する。基準方向はコンテンツに依存するので、その数及び基準方向自体が経時変化し得る。
一実施形態によれば、本原理はかかる基準方向の方を見るように利用者を駆り立てること、又は補足的効果として利用者の視点がかかる基準方向から離れすぎるのを防ぐことを目指す。利用者がビデオゲームにあるような3次元(3D)モデリングされたシーンを探索する改変形態では、シーンが全方向にモデリングされていない場合がある。実際、映画舞台の場合のように費用や時間上の理由から、360°の空間の一部だけがモデリングされる場合がある。かかる事例では、制作者は利用者が3Dシーンのモデリングされていない部分を見ること又は映画舞台の技術的区域を見ることを防ぎたい場合がある。この改変形態では、基準方向はモデリングされていない方向と離れている方向又は映画舞台の技術的区域と離れている方向に対応する。幾つかの基準方向を同時に得ることができる。例えばナレーションが2人の俳優間の対話を含む場合、その両方の俳優がナレーションの重要な部分を構成する。基準方向は経時変化し得る。図1では、基準方向13が移動している間の飛行機を追うことができる。カメラがテニスの試合を撮影している別の例では、2つの基準方向が選手を追うことができ、1つの基準方向がボールを追うことができる。
図2は、システムの初期設定後の時点tにおける図1の制御されたカメラシステム1を示す。図2では、カメラコントローラ12を頭部搭載型ディスプレイ(HMD)として示す。利用者は、カメラ10の中心及びゼロ方向11によって形成される基準系の中で自分の頭部を方向21に(右に)回転させている。図2の例では、基準方向13が(ゼロ方向の左側に)得られている。カメラ10が方向22の方に回転されている。図2では、ゼロ方向11とカメラコントローラの方向21との間で形成される角度よりも小さい角度でカメラ10が回転されている。実際、図3a、図3a、図4、及び図5によって説明するように、基準方向13とカメラコントローラ12のパラメータによって得られる方向との間の角度が増加するとき、疑似触覚効果を作り出すようにカメラの照準方向が計算される。図2の例では、利用者は自分の頭部を方向21まで右に回転させたが、カメラの環境内のより左側の方向22で撮影されている内容を見ている。自分の実際の動きとカメラからの視覚的フィードバックとの間のこの乖離の結果、利用者は疑似触覚抵抗を感じる。別の実施形態では、カメラコントローラ12がマウス装置又はジョイスティックであり、ディスプレイがTV受像機又はコンピュータ画面である。カメラの照準方向と、カメラコントローラに対する自分のコマンドに従って利用者が見ることを期待する方向との間の乖離によって同じ疑似触覚効果が作り出される。
図3aは、カメラの照準方向とカメラコントローラのパラメータに関連する方向との間の乖離度の図の一例を示す。図3aの角度値φは、図1及び図2のゼロ方向11と基準方向13との間の角度に対応する。曲線32は、図2のゼロ方向11とカメラコントローラの方向21との間の角度θcontrolによる、図2のゼロ方向11とカメラの照準方向22との間の角度θcamを表す。どちらの領域も円形であり、値はφ−πラジアンからφ+πラジアンへ進む(φ−πはφ+πよりも同じ角度である)。線31は一人称ビューの応用に対応し、つまりθcamの値は常にθcontrolの値に等しい。曲線32は乖離度関数の一実施形態を示し、利用者がそのカメラコントローラを基準方向から離すほど、全く回転しなくなるまでカメラの回転がより小さくなる。回転しなくなる点の後、曲線32は平らである。有利には、図3aに示すように乖離度関数がシグモイド様の関数であり、つまりその勾配はφにおいて1.0に等しく、極限に到達する。改変形態では乖離度関数が区分的に線形であり、つまりその勾配はφの辺りで1.0に等しく、所与の閾値を超えると0.0に等しい。注目すべきは、かかる乖離度関数の使用は角度領域の円形特性を破る。実際、πラジアン(180°)回転するように利用者がカメラコントローラに命令する場合、カメラはπラジアン未満回転し、そのため反対方向を向かない。このことの結果は、角度φ−πが今度は角度φ+πと異なり、乖離度関数の領域がこれらの極限上に及ぶことである。乖離度関数の曲線を破線の正方形上に示すことにより、このことを図3a、図3b、及び図4に示す。
図3bは、1組の基準方向が変化しているとき乖離度関数を計算するために本方法が使用し得る設定を示す。図3bでは、乖離度関数がシグモイド様の関数である。この乖離度関数の勾配は値φにおいて1.0に制約される。この関数は少なくとも2つの設定値33及び34に従って計算され、設定値33及び34は、θcontrolの値がφ+πラジアン及びφ−πラジアンとそれぞれ等しいときに関数が到達する値である。この関数のデリバティブ(derivative)、即ち関数が点33及び34においてそれぞれ有する勾配S1及びS2(0.0≦S1≦1.0;0.0≦S2≦1.0)、並びに関数の勾配が(値φにおける1.0からS1 φ+πに又はφ−πにおけるS2に)減る速度を追加の設定が規定し得る。改変形態では、乖離度関数が区分的に線形である。設定33及び34はこの種の乖離度関数にも有用である。関数の勾配が変化する閾値を示すことに加え、φ−πからφ+πまでの一連の値が使用され得る。
設定データは触覚効果を構成するように設定される。例えば図3bでは、値33及び34がφに近いほど、シーンの可視部分がより限定される。同じように、乖離度関数の局所勾配を規定する設定は、利用者がカメラを回転させようとするときにカメラコントローラによって感じる疑似触覚抵抗を調節する。
乖離度関数は基準方向の組の変化が検出されるとき決定される(即ち演算され又は例えば計算される)。(とりわけ本方法の開始時において)この関数が計算される瞬間に計算済みの乖離度関数に属する方向を利用者が見ないことが起こり得る。図4は乖離度関数の反復計算を示す。図4の例では、初期設定時に1組の基準方向は空である。利用者はカメラコントローラを使用してカメラに方向41を狙わせる(θcam=θcontrol=θ)。基準方向φが得られ、乖離度関数42が設定に従って計算される。点41は乖離度関数42の曲線に属さない。カメラの照準方向の急な移動を避けるために、点41を通過する第1の乖離度関数43を計算する。この関数43は、乖離度関数42との距離を増やさず、且つφに行くにつれてその距離を減らす制約の下で計算される。利用者がカメラコントローラを使用してカメラを方向φの方に回転させるときはカメラの回転が促進される。反対に、逆方向には回転しにくくされる。カメラコントローラの変化が検出されると、カメラの照準方向が関数43の曲線をたどり第2の乖離度関数が計算される。図4の例では、カメラコントローラが基準方向により近い点44に到達し、第2の乖離度関数45が関数43よりも同じ制約の下で計算される。第2の乖離度関数を第1の乖離度関数と再命名してこの操作を反復する。計算の制約によって第2の乖離度関数が乖離度関数42にどんどん近づき、その結果、カメラの照準方向が急に移動することなしに所望の疑似触覚効果に達する。
図5は、1対の基準方向に従って計算される乖離度関数を示す。2つの基準方向が得られている。それらの基準方向について、カメラは前述の基準方向を狙う必要がある。これを図5の点51及び52によって示す。図5の例によれば、乖離度関数53が以下の制約の下で計算される:
・乖離度関数53が点41及び点42を通過する、
・点41及び点42における乖離度関数の勾配が1.0に等しい、
・点41及び点42から離れると乖離度関数の勾配は1.0以下である、
・乖離度関数が連続的である。
上記で説明したように、θcontrolの領域は円形であるように意図されている。本方法が固有の基準方向を扱うとき、乖離度関数の中心を基準方向の角度値に置き、連続性の制約に背くことなしに領域のこの円形特性を破ることができる。少なくとも2つの基準方向がある場合、円形特性は2つの基準方向角度値の間で一度だけ破ることができる。図5では、点51から点52までの間隔内では連続性を保ち、点52から点51までの間隔内では連続性を破る選択が行われている。その結果、点51から点52までの角度間隔内で疑似触覚「マグネット効果」が認められ、疑似触覚「抵抗効果」が他方へ認められる。改変形態では、点52から点51までの間隔内で連続性を保ち、点52から点51までの間隔内では連続性を破る選択が行われる。別の改変形態では、θcontrolの領域の円形特性を保ち、二重疑似触覚マグネット効果を引き起こす選択が行われる。
図6は、カメラの照準方向を処理するように構成される機器60のハードウェアの実施形態を示す。この例では装置60が、クロック信号も搬送するアドレス及びデータのバス63によって互いに接続される以下の要素、つまり
−マイクロプロセッサ61(又はCPU)、
−グラフィックスカード66、
−ROM(読取専用メモリ)型の不揮発性メモリ64、
−ランダムアクセスメモリ又はRAM(65)であって、グラフィックスカード66がランダムアクセスメモリのレジスタを埋め込み得る、ランダムアクセスメモリ(65)、
−図6には詳述していない例えばマウスやウェブカメラ等の1組のI/O(入力/出力)装置、及び
−電源67
を含む。
装置60はカメラコントローラ62に接続される。一実施形態では、カメラコントローラがジョイスティック、キーボード、又は遠隔制御装置である。別の実施形態では、カメラコントローラが、例えば加速度計及び/又はジャイロスコープを含む慣性計測装置である。
装置60は、その照準方向を変える能力を備えるカメラ68に接続され、即ち現実のカメラは電動式であり、仮想カメラはカメラの照準方向を制御するように構成されるプログラム又はスクリプトに関連する。
有利には、グラフィックスカード内で計算される画像を表示するために、装置60が1つ又は複数の表示画面型の表示装置69にグラフィックスカード66と直接接続される。改変形態では、1つ又は複数の表示装置69がバス63を介してグラフィックカード66に接続される。特定の実施形態では、頭部搭載型装置のようにカメラコントローラ62及び/又は1つ若しくは複数の表示装置69が装置60と一体化される。
言及するメモリのそれぞれにおいて、メモリ64及び66の説明の中で使用する「レジスタ」という用語は、小容量のメモリゾーン(多少のバイナリデータ)並びに(全プログラム、又は計算されたデータ若しくは表示されるデータを表すデータの全て若しくは一部の記憶を可能にする)大容量のメモリゾーンの両方を指すことを指摘しておく。
オンにされると、マイクロプロセッサ61は、ROM64のレジスタ640内のプログラムに従ってRAM内のプログラム650の命令をロードし実行する。
ランダムアクセスメモリ65は、とりわけ
−レジスタ650内に、装置60をオンにすることを担うマイクロプロセッサ61の動作プログラム、
−レジスタ651内に、少なくとも1つの基準方向を表すデータ、
−レジスタ652内に、乖離度関数のパラメータを表すデータであって、それらのパラメータはカメラの照準方向を制御するためにマイクロプロセッサ61によって使用される、データ、
−レジスタ653内に、乖離度関数のパラメータを計算するためにマイクロプロセッサ61によって使用される設定を表すデータ
を含む。
或る特定の実施形態によれば、本開示に固有であり以下で説明する方法のステップを実装するアルゴリズムが、それらのステップを実装する装置60に関連するグラフィックスカード66のメモリGRAM内に有利に記憶される。
改変形態によれば、電源67が装置60の外部にある。
図7は、有利な非限定的実施形態による、装置60等の処理装置によって実装される方法70の一実施形態を図によって示す。
初期設定ステップ71で、装置60が方法の設定及びゼロ方向を得る。本明細書の中の情報を得るステップは、電子装置のメモリユニット内にかかる情報を読み出すステップとして、又は通信手段によって(例えば有線接続や無線接続によって、又は接点接続によって)かかる情報を別の電子装置から受信するステップとして見なすことができることにも留意すべきである。得られた情報は、装置60のランダムアクセスメモリ65のレジスタ653内に記憶される。
ステップ72は、1組の基準方向を表すデータを得ることで構成される。第1の実施形態では、1組の基準方向が通信手段によって別の装置から受信される。それらのデータはビデオコンテンツに関連することができ、又は専用サーバによって提供され得る。改変形態では、基準方向データが装置60に関連する記憶媒体上のファイルから読み出される。別の実施形態では、1組の基準方向がビデオコンテンツを画像処理することによって得られる。例えば、ビデオコンテンツの画像の顕著性マップを処理することは、極めて顕著な領域を検出できるようにする。かかる領域の或る点、例えば重心(barycentre)や最も高い顕著性を有する画素を使用して基準方向を決定することができる。別の実施形態では、カメラが撮影しているシーンの一部のオブジェクトが位置決め装置に関連する。それらのオブジェクトの位置及びカメラの位置に従って基準方向が設定される。それらのオブジェクトの何れかが移動している場合、及び/又はカメラが移動している場合は基準方向が修正される。
(初期設定ステップ71によって作り出される場合にさえ)1組の知られている基準方向において変化が検出される場合、乖離度関数を計算するステップ73が実行される。乖離度関数は、カメラコントローラによって管理される角度値をカメラの照準方向に対応する角度値に関連付ける。利用者の期待通りにカメラが反応しないので、かかる関数を使用することはカメラコントローラを使用する場合に疑似触覚効果を発生させる。乖離度関数は、疑似触覚効果を規定する設定データに従って計算される。改変形態では、疑似触覚効果を基準方向に適合させるために追加の基準パラメータが基準方向に関連付けられる。同様の基準方向の2つの発生は異なる乖離度関数を引き起こし得る。
ステップ74は、カメラコントローラのパラメータの変化を検出することで構成される。本明細書ではθcontrolと呼ぶ角度値が、検出されるパラメータの変化に従って更新される。この角度は利用者がカメラに狙ってほしい方向を表す。θcontrolが更新される場合、又は新たな乖離度関数がステップ73で計算されている場合に次のステップ75が実行される。改変形態ではステップ74にタイマが関連し、ステップコントローラのパラメータの変化又は1組の基準方向の変化がステップ72で検出されなくても、持続時間値が終わるとステップ75が実行される。
ステップ75は、θcontrolに対して乖離度関数を適用することで構成される。この適用の結果がカメラの照準方向である。
任意選択的なステップ76は、計算済みの照準方向をカメラに伝送することで構成される。改変形態では、カメラの実際の照準方向と少なくとも閾値(例えば1°、5°、又は10°)について異なる場合にのみ照準方向を伝送する。別の改変形態では、新たな照準方向がステップ75で計算されていなくても照準方向をカメラに繰り返し伝送する。
この方法は、1組の基準方向の変化が検出される場合にステップ72で、又はカメラコントローラのパラメータの内の変化が検出される場合にステップ74で活性化される。改変形態では、この方法はタイマが切れることによって活性化される。
当然ながら、本開示は先に記載した実施形態に限定されない。具体的には、本開示は電動カメラに対する照準位置コマンドを決定する方法に限定されず、カメラに照準方向を伝送する方法、及び電動カメラの照準方向を制御する方法にも及ぶ。照準位置を計算するのに必要な計算の実装はCPUによる実装に限定されず、任意のプログラムの種類、例えばGPU型のマイクロプロセッサによって実行され得るプログラムによる実装にも及ぶ。
本明細書に記載した実装は、例えば方法若しくはプロセス、機器、ソフトウェアプログラム、データストリーム、又は信号によって実装され得る。単一形式の実装の脈絡でしか論じられていなくても(例えば方法又は機器としてしか論じられていなくても)、論じられた特徴の実装は他の形式(例えばプログラム)でも実装することができる。機器は、例えば適切なハードウェア、ソフトウェア、及びファームウェアによって実装することができる。方法は例えばプロセッサ等の機器によって実装することができ、プロセッサは例えばコンピュータ、マイクロプロセッサ、集積回路、プログラム可能論理デバイスを含む処理装置全般を指す。プロセッサは、例えばスマートフォン、タブレット、コンピュータ、携帯電話、ポータブル/携帯情報端末(「PDA」)、他の装置等の通信装置も含む。
本明細書に記載した様々なプロセス及び特徴の実装は、多岐にわたる異なる機器又はアプリケーション、とりわけ例えばデータの符号化、データの復号、ビュー生成、テクスチャ処理、並びに画像及び関係するテクスチャ情報及び/又は深度情報の他の処理に関連する機器やアプリケーションによって具体化することができる。かかる機器の例は、符号器、復号器、復号器からの出力を処理する後処理系、符号器に入力を与える前処理系、ビデオ符号器、ビデオ復号器、ウェブサーバ、セットトップボックス、ラップトップ、パーソナルコンピュータ、携帯電話、PDA、及び他の通信装置を含む。明白であるように、機器は可搬式とすることができ、移動車両内に設置することさえできる。
加えて、これらの方法はプロセッサによって実行される命令によって実装されても良く、かかる命令(及び/又は実装によって作り出されるデータ値)は例えばハードディスク、コンパクトディスケット(「CD」)、光ディスク(例えばデジタル多用途ディスクやデジタルビデオディスクとしばしば呼ばれるDVD等)、ランダムアクセスメモリ(「RAM」)、読取専用メモリ(「ROM」)等、例えば集積回路、ソフトウェア担体、又は他の記憶装置等のプロセッサ可読媒体上に記憶され得る。命令は、プロセッサ可読媒体上で有形に具体化されるアプリケーションプログラムを形成し得る。命令は、例えばハードウェア、ファームウェア、ソフトウェア、又は組合せの中にあり得る。命令は、例えばオペレーティングシステム、別個のアプリケーション、又はその2つの組合せの中で見つけることができる。従ってプロセッサは、例えばプロセスを実行するように構成される装置及びプロセスを実行するための命令を有するプロセッサ可読媒体(記憶装置等)を含む装置の両方として特徴付けることができる。更にプロセッサ可読媒体は、実装によって作り出されるデータ値を命令に加えて又は命令の代わりに記憶し得る。
当業者に明らかなように、実装は例えば記憶され又は伝送され得る情報を運ぶようにフォーマットされる多岐にわたる信号を作り出し得る。かかる情報は、例えば方法を実行するための命令や、記載した実装の1つによって作り出されるデータを含み得る。例えば信号は、記載した実施形態の構文を読み書きするための規則をデータとして運ぶように、又は記載した実施形態によって書かれる実際の構文値をデータとして運ぶようにフォーマットされ得る。かかる信号は、例えば電磁波として(例えばスペクトルの無線周波数部分を用いて)、又はベースバンド信号としてフォーマットされ得る。フォーマットすることは、例えばデータストリームを符号化し、符号化データストリームで担体を変調することを含み得る。信号が運ぶ情報は、例えばアナログ情報又はデジタル情報とすることができる。信号は、知られているように様々な異なる有線リンク又は無線リンク上で伝送され得る。信号はプロセッサ可読媒体上に記憶され得る。
幾つかの実装を記載してきた。それでもなお、様々な修正が加えられ得ることが理解されよう。例えば、他の実装を作り出すために別の実装の要素が組み合わせられ、補われ、修正され、又は除去され得る。更に、開示した構造及びプロセスを他の構造及びプロセスが置換しても良く、その結果生じる実装が開示した実装と少なくともほぼ同じ結果を実現するために、少なくともほぼ同じ機能を少なくともほぼ同じやり方で実行することを当業者なら理解されよう。従って、これらの及び他の実装も本願によって予期される。

Claims (15)

  1. カメラ(10)の照準方向(22)を決定する方法であって、
    −1組の少なくとも1つの基準方向(13、51、52)を得ること(72)、
    −前記カメラに関連する少なくとも1つのコントローラの第2のパラメータ(21、41、44)を得ること(74)、
    −前記1組の少なくとも1つの基準方向(13、51、52)に従って乖離度関数(32、42、43、45、53)を表す第1のパラメータを計算すること(73)であって、前記乖離度関数は照準方向と前記第2のパラメータに関連する方向との間の乖離度を表す、計算すること(73)、及び
    −前記少なくとも1つのコントローラの前記第2のパラメータに対して前記乖離度関数を適用することにより、前記カメラの前記照準方向を計算すること(75)
    を含むことを特徴とする、方法。
  2. 前記乖離度関数(32、42、43、45、53)がシグモイド様の関数である、請求項1に記載の方法。
  3. 前記組の少なくとも1つの基準方向(13、51、52)が前記カメラの位置及び別のオブジェクトの位置に従って決定される、請求項1又は2に記載の方法。
  4. 前記組の基準方向(13、51、52)の数が経時変化する、請求項1乃至3の何れか一項に記載の方法。
  5. 前記組の少なくとも1つの基準方向(13、51、52)が、前記乖離度関数(32、42、43、45、53)を表す前記第1のパラメータを計算するのに使用される基準パラメータ(33、34)に関連する、請求項1乃至4の何れか一項に記載の方法。
  6. 前記組の少なくとも1つの基準方向(13、51、52)が経時変化する、請求項1乃至5の何れか一項に記載の方法。
  7. 前記照準方向(22)を前記カメラ(10)に伝送すること(76)を更に含む、請求項1乃至6の何れか一項に記載の方法。
  8. カメラ(10)の照準方向(22)を決定するように構成される機器(60)であって、
    −1組の少なくとも1つの基準方向(13、51、52)を得るための手段と、
    −方向コマンド(21)を表す第2のパラメータを得るための前記カメラ(10)に関連する少なくとも1つのコントローラ(12)と、
    −前記1組の少なくとも1つの基準方向(13、51、52)に従って乖離度関数(32、42、43、45、53)を表す第1のパラメータを計算するように構成されるプロセッサであって、前記乖離度関数は照準方向と前記第2のパラメータに関連する方向との間の乖離度を表す、プロセッサと、
    −前記少なくとも1つのコントローラ(12)の前記第2のパラメータに対して前記乖離度関数(32、42、43、45、53)を適用することにより、前記カメラ(10)の前記照準方向(22)を計算するように構成されるプロセッサと
    を含むことを特徴とする、機器(60)。
  9. 前記乖離度関数(32、42、43、45、53)がシグモイド様の関数である、請求項8に記載の機器。
  10. 前記組の少なくとも1つの基準方向(13、51、52)が前記カメラ(10)の位置及び別のオブジェクトの位置に従って決定される、請求項8又は9に記載の機器。
  11. 前記組の基準方向(13、51、52)の数が経時変化する、請求項8乃至10の何れか一項に記載の機器。
  12. 前記組の少なくとも1つの基準方向(13、51、52)が、前記乖離度関数(32、42、43、45、53)を表す前記第1のパラメータを計算するのに使用される基準パラメータ(33、34)に関連する、請求項8乃至11の何れか一項に記載の機器。
  13. 前記組の少なくとも1つの基準方向(13、51、52)が経時変化する、請求項8乃至12の何れか一項に記載の機器。
  14. 前記照準方向を前記カメラ(10)に伝送する(76)ための送信機を更に含む、請求項8乃至13の何れか一項に記載の機器。
  15. 少なくとも請求項1乃至7の何れか一項に記載の方法(70)のステップをプロセッサに実行させるための命令を内部に記憶している、非一時的プロセッサ可読媒体。
JP2018532212A 2015-12-22 2016-12-19 乖離したカメラの照準方向を制御するための方法及び機器 Active JP6978418B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
EP15307094.1 2015-12-22
EP15307094.1A EP3185535A1 (en) 2015-12-22 2015-12-22 Method and apparatus for controlling a discrepant aiming direction of a camera
PCT/EP2016/081693 WO2017108668A1 (en) 2015-12-22 2016-12-19 Method and apparatus for controlling a discrepant aiming direction of a camera

Publications (3)

Publication Number Publication Date
JP2019503612A true JP2019503612A (ja) 2019-02-07
JP2019503612A5 JP2019503612A5 (ja) 2020-02-06
JP6978418B2 JP6978418B2 (ja) 2021-12-08

Family

ID=55221239

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2018532212A Active JP6978418B2 (ja) 2015-12-22 2016-12-19 乖離したカメラの照準方向を制御するための方法及び機器

Country Status (10)

Country Link
US (1) US11347306B2 (ja)
EP (2) EP3185535A1 (ja)
JP (1) JP6978418B2 (ja)
KR (1) KR20180098314A (ja)
CN (1) CN108702430B (ja)
BR (1) BR112018012767A2 (ja)
CA (1) CA3009536A1 (ja)
MX (1) MX2018007697A (ja)
RU (1) RU2741791C2 (ja)
WO (1) WO2017108668A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022220306A1 (ja) * 2021-04-16 2022-10-20 パナソニックIpマネジメント株式会社 映像表示システム、情報処理装置、情報処理方法、及び、プログラム

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102551239B1 (ko) * 2015-09-02 2023-07-05 인터디지털 씨이 페이튼트 홀딩스, 에스에이에스 확장된 장면에서의 내비게이션을 용이하게 하기 위한 방법, 장치 및 시스템
US11449155B2 (en) * 2021-01-11 2022-09-20 Htc Corporation Control method of immersive system
CN113750529B (zh) * 2021-09-13 2024-05-28 网易(杭州)网络有限公司 游戏中的方向指示方法、装置、电子设备及可读存储介质
CN114007136A (zh) * 2021-10-29 2022-02-01 咪咕文化科技有限公司 射击比赛的直播画面生成方法、系统、装置及电子设备

Family Cites Families (28)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5588914A (en) 1994-06-28 1996-12-31 The Walt Disney Company Method and system for guiding a user in a virtual reality presentation
SE528518C2 (sv) 2005-04-29 2006-12-05 Totalfoersvarets Forskningsins Sätt att navigera i en omvärld registrerad av en eller flera bildsensorer och en anordning för genomförande av sättet
JP2007020092A (ja) 2005-07-11 2007-01-25 Matsushita Electric Ind Co Ltd 画像表示装置、画像表示方法および画像表示システム
JP5228307B2 (ja) * 2006-10-16 2013-07-03 ソニー株式会社 表示装置、表示方法
EP2228110B1 (en) * 2009-03-09 2017-08-30 Nintendo Co., Ltd. Coordinate calculation apparatus and storage medium having coordinate calculation program stored therein
TWI400940B (zh) * 2010-03-24 2013-07-01 Hon Hai Prec Ind Co Ltd 遠端控制軌道式攝影裝置的手持式裝置及方法
US9111498B2 (en) * 2010-08-25 2015-08-18 Eastman Kodak Company Head-mounted display with environmental state detection
JP5829020B2 (ja) * 2010-12-22 2015-12-09 任天堂株式会社 ゲームシステム、ゲーム装置、ゲームプログラム、および、ゲーム処理方法
EP2497547B1 (en) * 2011-03-08 2018-06-27 Nintendo Co., Ltd. Information processing program, information processing apparatus, information processing system, and information processing method
KR101648564B1 (ko) * 2011-03-15 2016-08-16 한화테크윈 주식회사 휴대 단말, 원격 카메라, 및 휴대 단말에 의한 원격 카메라의 팬/틸트/줌 제어 방법
US9217867B2 (en) 2011-03-24 2015-12-22 Seiko Epson Corporation Head-mounted display device and control method for the head-mounted display device
US9317776B1 (en) * 2013-03-13 2016-04-19 Hrl Laboratories, Llc Robust static and moving object detection system via attentional mechanisms
WO2013179424A1 (ja) 2012-05-30 2013-12-05 パイオニア株式会社 表示装置、ヘッドマウントディスプレイ、表示方法及び表示プログラム、並びに記録媒体
US9824601B2 (en) 2012-06-12 2017-11-21 Dassault Systemes Symbiotic helper
US9025880B2 (en) * 2012-08-29 2015-05-05 Disney Enterprises, Inc. Visual saliency estimation for images and video
US9035995B2 (en) * 2012-10-23 2015-05-19 Electronics And Telecommunications Research Institute Method and apparatus for widening viewing angle in video conferencing system
JP6088787B2 (ja) * 2012-10-23 2017-03-01 任天堂株式会社 プログラム、情報処理装置、情報処理方法および情報処理システム
US9058053B2 (en) 2012-10-26 2015-06-16 The Boeing Company Virtual reality display system
JP6135162B2 (ja) 2013-02-12 2017-05-31 セイコーエプソン株式会社 頭部装着型表示装置、頭部装着型表示装置の制御方法、および、画像表示システム
US9645395B2 (en) 2013-03-15 2017-05-09 Mark Bolas Dynamic field of view throttling as a means of improving user experience in head mounted virtual environments
US10062209B2 (en) * 2013-05-02 2018-08-28 Nintendo Co., Ltd. Displaying an object in a panoramic image based upon a line-of-sight direction
JP5925163B2 (ja) 2013-07-25 2016-05-25 三菱電機株式会社 運転支援装置
JP6353214B2 (ja) 2013-11-11 2018-07-04 株式会社ソニー・インタラクティブエンタテインメント 画像生成装置および画像生成方法
US9437159B2 (en) * 2014-01-25 2016-09-06 Sony Interactive Entertainment America Llc Environmental interrupt in a head-mounted display and utilization of non field of view real estate
EP2933707B1 (en) 2014-04-14 2017-12-06 iOnRoad Technologies Ltd. Head mounted display presentation adjustment
US9551873B2 (en) 2014-05-30 2017-01-24 Sony Interactive Entertainment America Llc Head mounted device (HMD) system having interface with mobile computing device for rendering virtual reality content
JP6385725B2 (ja) * 2014-06-06 2018-09-05 任天堂株式会社 情報処理システム及び情報処理プログラム
JP5981006B1 (ja) * 2015-09-14 2016-08-31 株式会社コロプラ 視線誘導のためのコンピュータ・プログラム

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022220306A1 (ja) * 2021-04-16 2022-10-20 パナソニックIpマネジメント株式会社 映像表示システム、情報処理装置、情報処理方法、及び、プログラム

Also Published As

Publication number Publication date
CN108702430A (zh) 2018-10-23
US20200363866A1 (en) 2020-11-19
US11347306B2 (en) 2022-05-31
KR20180098314A (ko) 2018-09-03
MX2018007697A (es) 2018-11-09
CA3009536A1 (en) 2017-06-29
BR112018012767A2 (pt) 2018-12-04
EP3185535A1 (en) 2017-06-28
JP6978418B2 (ja) 2021-12-08
RU2741791C2 (ru) 2021-01-28
WO2017108668A1 (en) 2017-06-29
RU2018126063A (ru) 2020-01-23
CN108702430B (zh) 2021-02-09
EP3395058A1 (en) 2018-10-31
RU2018126063A3 (ja) 2020-07-08

Similar Documents

Publication Publication Date Title
JP6978418B2 (ja) 乖離したカメラの照準方向を制御するための方法及び機器
KR102346437B1 (ko) 증강 현실 장면을 재생할 때 자동 줌을 위한 방법들, 디바이스들, 및 시스템들
KR102332950B1 (ko) 구면 비디오 편집
US10430558B2 (en) Methods and systems for controlling access to virtual reality media content
JP6826029B2 (ja) 画像を表示するための方法、装置およびコンピュータ・プログラム
US10270825B2 (en) Prediction-based methods and systems for efficient distribution of virtual reality media content
TWI571130B (zh) 體積式視訊呈現
KR20200023634A (ko) 가상 카메라를 제어하는 시스템 및 방법
JP2019515379A (ja) レンダリングデバイスのポーズを推定する方法及び装置
CN106331687B (zh) 根据参考部分的位置处理沉浸式视频内容的一部分的方法和设备
CN109189302B (zh) Ar虚拟模型的控制方法及装置
US10043552B1 (en) Systems and methods for providing thumbnails for video content
JP2023103265A (ja) 制御装置、制御方法、及びプログラム
US10291845B2 (en) Method, apparatus, and computer program product for personalized depth of field omnidirectional video
US20190058861A1 (en) Apparatus and associated methods
US10579787B1 (en) 3D challenge-response tests to distinguish human users from bots
CN110548289A (zh) 一种三维控件显示的方法和装置
JP2017055910A (ja) 情報処理装置、姿勢動作制御方法及び姿勢制御プログラム
KR102533209B1 (ko) 다이나믹 확장현실(xr) 콘텐츠 생성 방법 및 시스템
KR20150025365A (ko) 단말기에서 3차원 컨텐츠를 제작하는 방법 및 단말기
US20230162327A1 (en) Automated panoramic image connection for autoplay with transitions
CN118113186A (zh) 全景漫游方法、装置、设备及可读存储介质

Legal Events

Date Code Title Description
A711 Notification of change in applicant

Free format text: JAPANESE INTERMEDIATE CODE: A711

Effective date: 20191111

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20191218

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20191218

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20210202

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20210210

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210507

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20210913

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20211011

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20211020

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20211111

R150 Certificate of patent or registration of utility model

Ref document number: 6978418

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150