JP2017181666A - 情報処理装置、情報処理方法およびプログラム - Google Patents
情報処理装置、情報処理方法およびプログラム Download PDFInfo
- Publication number
- JP2017181666A JP2017181666A JP2016066277A JP2016066277A JP2017181666A JP 2017181666 A JP2017181666 A JP 2017181666A JP 2016066277 A JP2016066277 A JP 2016066277A JP 2016066277 A JP2016066277 A JP 2016066277A JP 2017181666 A JP2017181666 A JP 2017181666A
- Authority
- JP
- Japan
- Prior art keywords
- virtual object
- information processing
- processing apparatus
- display area
- display
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 230000010365 information processing Effects 0.000 title claims abstract description 159
- 238000003672 processing method Methods 0.000 title claims abstract description 5
- 230000008859 change Effects 0.000 claims abstract description 87
- 230000000007 visual effect Effects 0.000 claims description 17
- 238000007654 immersion Methods 0.000 abstract description 3
- 230000007246 mechanism Effects 0.000 abstract description 3
- 230000006866 deterioration Effects 0.000 abstract 1
- 238000005259 measurement Methods 0.000 description 58
- 230000001133 acceleration Effects 0.000 description 54
- 238000000034 method Methods 0.000 description 38
- 238000012545 processing Methods 0.000 description 35
- 230000008569 process Effects 0.000 description 28
- 238000012986 modification Methods 0.000 description 26
- 230000004048 modification Effects 0.000 description 26
- 238000004891 communication Methods 0.000 description 19
- 230000006870 function Effects 0.000 description 16
- 238000010586 diagram Methods 0.000 description 12
- 238000005516 engineering process Methods 0.000 description 10
- 210000003128 head Anatomy 0.000 description 6
- 238000006073 displacement reaction Methods 0.000 description 5
- 230000000694 effects Effects 0.000 description 5
- 230000007423 decrease Effects 0.000 description 4
- 238000013459 approach Methods 0.000 description 2
- 238000004590 computer program Methods 0.000 description 2
- 230000003247 decreasing effect Effects 0.000 description 2
- 238000013507 mapping Methods 0.000 description 2
- 230000001151 other effect Effects 0.000 description 2
- 230000003190 augmentative effect Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 230000010267 cellular communication Effects 0.000 description 1
- 239000000470 constituent Substances 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000005562 fading Methods 0.000 description 1
- 230000009191 jumping Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 230000004807 localization Effects 0.000 description 1
- 230000007774 longterm Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 230000004270 retinal projection Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating 3D models or images for computer graphics
- G06T19/006—Mixed reality
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/017—Head mounted
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/017—Head mounted
- G02B27/0172—Head mounted characterised by optical features
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/0179—Display position adjusting means not related to the information to be displayed
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
- G06F3/147—Digital output to display device ; Cooperation and interconnection of the display device with other functional units using display panels
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
- G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
- G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
- G09G5/10—Intensity circuits
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
- G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
- G09G5/36—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the display of a graphic pattern, e.g. using an all-points-addressable [APA] memory
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
- G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
- G09G5/36—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the display of a graphic pattern, e.g. using an all-points-addressable [APA] memory
- G09G5/37—Details of the operation on graphic patterns
- G09G5/373—Details of the operation on graphic patterns for modifying the size of the graphic pattern
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
- G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
- G09G5/36—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the display of a graphic pattern, e.g. using an all-points-addressable [APA] memory
- G09G5/37—Details of the operation on graphic patterns
- G09G5/377—Details of the operation on graphic patterns for mixing or overlaying two or more graphic patterns
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
- G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
- G09G5/36—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the display of a graphic pattern, e.g. using an all-points-addressable [APA] memory
- G09G5/38—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the display of a graphic pattern, e.g. using an all-points-addressable [APA] memory with means for controlling the display position
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/0101—Head-up displays characterised by optical features
- G02B2027/014—Head-up displays characterised by optical features comprising information/image processing systems
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/0179—Display position adjusting means not related to the information to be displayed
- G02B2027/0187—Display position adjusting means not related to the information to be displayed slaved to motion of at least a part of the body of the user, e.g. head, eye
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2210/00—Indexing scheme for image generation or computer graphics
- G06T2210/62—Semi-transparency
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/70—Denoising; Smoothing
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
- G09G2320/00—Control of display operating conditions
- G09G2320/02—Improving the quality of display appearance
- G09G2320/0261—Improving the quality of display appearance in the context of movement of objects on the screen or movement of the observer relative to the screen
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
- G09G2320/00—Control of display operating conditions
- G09G2320/06—Adjustment of display parameters
- G09G2320/0626—Adjustment of display parameters for control of overall brightness
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
- G09G2320/00—Control of display operating conditions
- G09G2320/06—Adjustment of display parameters
- G09G2320/066—Adjustment of display parameters for control of contrast
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
- G09G2340/00—Aspects of display data processing
- G09G2340/04—Changes in size, position or resolution of an image
- G09G2340/0492—Change of orientation of the displayed image, e.g. upside-down, mirrored
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
- G09G2340/00—Aspects of display data processing
- G09G2340/10—Mixing of images, i.e. displayed pixel being the result of an operation, e.g. adding, on the corresponding input pixels
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- Computer Hardware Design (AREA)
- Optics & Photonics (AREA)
- Human Computer Interaction (AREA)
- Computer Graphics (AREA)
- Software Systems (AREA)
- User Interface Of Digital Computer (AREA)
- Controls And Circuits For Display Device (AREA)
- Processing Or Creating Images (AREA)
Abstract
【解決手段】表示領域に移動を伴って表示される仮想オブジェクトの表示を制御し、前記表示領域の境界を跨いで前記仮想オブジェクトが移動する際に、前記仮想オブジェクトの態様を変化させる表示制御部、を備える情報処理装置。プロセッサを用いて、表示領域に移動を伴って表示される仮想オブジェクトの表示を制御することと、前記表示領域の境界を跨いで前記仮想オブジェクトが移動する際に、前記仮想オブジェクトの態様を変化させることと、を含む情報処理方法。上記情報処理装置を動作させるためのプログラム。
【選択図】図4
Description
1.序論
2.第1の実施形態(ユーザが移動する例)
2−1.装置の構成
2−2.装置の処理
2−3.第1の実施形態のまとめ
2−4.変形例
3.第2の実施形態(ユーザが回転する例)
3−1.装置の構成
3−2.装置の処理
3−3.第2の実施形態のまとめ
4.第3の実施形態(仮想オブジェクトが移動する例)
4−1.装置の構成
4−2.装置の処理
4−3.第3の実施形態のまとめ
5.本開示の一実施形態に係る情報処理装置のハードウェア構成
6.むすび
始めに、図1および図2を参照して、本開示の各実施形態に係る情報処理装置に関わるAR技術について説明する。図1は、AR技術による表示の例を説明するための図である。図2は、AR技術による表示の他の例を説明するための図である。
まず、本開示の第1の実施形態について説明する。第1の実施形態では、ユーザが移動することにより表示される仮想オブジェクトが移動する場合について説明する。
図3を参照して、本開示の第1の実施形態に係る情報処理装置100−1の機能構成について説明する。図3は、本開示の第1の実施形態に係る情報処理装置100−1の機能構成の例を概略的に示すブロック図である。
測定部102は、ユーザの動きを測定し、取得部としてセンサ情報に相当する測定情報を生成する。具体的には、測定部102は、ユーザの移動に関する測定を行い、測定結果に基づいてユーザの移動に係る測定情報(以下、移動測定情報とも称する。)を生成する。例えば、測定部102は、ユーザの変位または移動の速度もしくは加速度を測定し、測定される変位または移動の速度もしくは加速度を示す移動測定情報を生成する。なお、測定部102は、GPS(Global Positioning System)センサなどから得られる位置情報またはカメラセンサにより得られる画像情報に基づいてユーザの変位または移動の速度もしくは加速度を推定してもよい。
表示制御部104は、表示領域に移動を伴って表示される仮想オブジェクトの表示を制御する。具体的には、表示制御部104は、測定情報に応じて仮想オブジェクトの表示を制御する。より具体的には、表示制御部104は、測定部102から入力される測定情報に基づいてユーザの変位を把握する。次に、表示制御部104は、把握されるユーザの変位に応じて、仮想空間上の仮想オブジェクトの位置を変更する。次に、表示制御部104は、変更後の仮想空間上の仮想オブジェクトの位置とマッピングされる現実空間の位置に仮想オブジェクトが存在するようにユーザに当該仮想オブジェクトの表示位置を決定する。そして、表示制御部104は、決定された表示位置において仮想オブジェクトを表示部108に表示させる。例えば、表示制御部104は、SLAM(Simultaneous Localization and Mapping)などの既存の自己位置推定技術を用いて上述の処理を行ってもよい。
図3を参照して、情報処理装置100−1の機能構成の説明に戻ると、記憶部106は、表示制御部104の処理に用いられる情報を記憶する。具体的には、記憶部106は、表示部108に表示される仮想オブジェクトならびに仮想オブジェクトの位置を記憶する。例えば、記憶部106は、画像情報、仮想オブジェクトの仮想空間上の位置および表示領域上の位置を記憶する。なお、記憶部106の代わりに、情報処理装置100−1の外部からこれらの情報が入力される入力部が備えられてもよい。
表示部108は、表示制御部104の指示に基づいて仮想オブジェクトを表示する。具体的には、表示部108は、表示制御部104に指定される仮想オブジェクトが外界像に重畳されるように、表示制御部104から指示される位置に基づいて仮想オブジェクトを表示する。例えば、表示部108は、外界像が透過される画面に仮想オブジェクトを表示してよい。また、表示部108は、ユーザの眼に仮想オブジェクトを映す画像光を直接的に投射することにより、ユーザの眼に映る外界像に画像を重畳させてもよい。
次に、図5を参照して、本実施形態に係る情報処理装置100−1の処理について説明する。図5は、本実施形態に係る情報処理装置100−1の処理の例を概念的に示すフローチャートである。
このように、本開示の第1の実施形態によれば、情報処理装置100−1は、表示領域に移動を伴って表示される仮想オブジェクトの表示を制御し、当該表示領域の境界を跨いで仮想オブジェクトが移動する際に、当該仮想オブジェクトの態様を変化させる。このため、仮想オブジェクトが表示領域からはみ出している状態であるとユーザに気付かれにくい態様に仮想オブジェクトの態様を変化させることにより、ユーザに表示領域の境界が意識されることを抑制できる。従って、表示領域に表示される仮想オブジェクトに対するユーザの没入感または現実感の低下を抑制することが可能となる。
以上、本開示の第1の実施形態について説明した。なお、本実施形態は、上述の例に限定されない。以下に、本実施形態の第1〜第4の変形例について説明する。
本実施形態の第1の変形例として、情報処理装置100−1は、仮想オブジェクトの移動の速さを変化させる代わりにまたはそれに加えて、仮想オブジェクトの姿勢を変化させてもよい。具体的には、表示制御部104は、仮想オブジェクトの一部が表示領域の外に位置すると推定される間、仮想オブジェクトの姿勢を変化させる。さらに、図6を参照して、本変形例の表示制御処理について説明する。図6は、本実施形態の第1の変形例における仮想オブジェクトの態様の変化例を説明するための図である。
本実施形態の第2の変形例として、情報処理装置100−1は、仮想オブジェクトの移動の速さを変化させる代わりにまたはそれに加えて、仮想オブジェクトの移動方向を変化させてもよい。具体的には、表示制御部104は、仮想オブジェクトの移動方向を、ユーザの視野に係る視錐台の側面に垂直な方向へ変化させる。さらに、図7を参照して、本変形例の表示制御処理について説明する。図7は、本実施形態の第2の変形例における仮想オブジェクトの態様の変化例を説明するための図である。
本実施形態の第3の変形例として、情報処理装置100−1は、仮想オブジェクトの移動の速さを変化させる代わりにまたはそれに加えて、仮想オブジェクトのサイズを変化させてもよい。具体的には、表示制御部104は、所定のサイズになるまで仮想オブジェクトのサイズを変化させる。さらに、図8を参照して、本変形例の表示制御処理について説明する。図8は、本実施形態の第3の変形例における仮想オブジェクトの態様の変化例を説明するための図である。
本実施形態の第4の変形例として、情報処理装置100−1は、仮想オブジェクトの態様を変化させている間、仮想オブジェクトに視覚的効果を付与してもよい。具体的には、表示制御部104は、仮想オブジェクトの態様の変化に応じて、当該仮想オブジェクトと表示領域とのコントラストを変化させる。例えば、表示制御部104は、フレーム毎に仮想オブジェクトの表示領域とのコントラストを低下させる。なお、表示制御部104は、仮想オブジェクトと外界像とのコントラストを変化させてもよい。
以上、本開示の第1の実施形態について説明した。次に、本開示の第2の実施形態について説明する。第2の実施形態では、ユーザが回転することにより表示される仮想オブジェクトが移動する場合について説明する。
まず、本開示の第2の実施形態に係る情報処理装置100−2の機能構成について説明する。なお、構成要素は、第1の実施形態に係る情報処理装置100−1と実質的に同一である。以下では、第1の実施形態との差異についてのみ説明する。
測定部102は、ユーザの回転に関する測定を行い、測定結果に基づいてユーザの回転に係る測定情報(以下、回転測定情報とも称する。)を生成する。例えば、測定部102は、情報処理装置100−2を装着するユーザの頭部の回転角度、角速度または角加速度を測定し、測定される回転角度、角速度または角加速度を示す回転測定情報を生成する。なお、ユーザの回転は、頭部のみの回転のほか、体の回転であってもよい。
表示制御部104は、回転測定情報に応じて仮想オブジェクトの表示を制御する。具体的には、表示制御部104は、回転測定情報に基づいてユーザの視界を推定し、推定される視界の範囲に相当する仮想空間上の範囲を決定する。そして、表示制御部104は、決定される仮想空間上の範囲に含まれる仮想オブジェクトを表示部108に表示させる。
次に、本実施形態に係る情報処理装置100−2の処理について説明する。まず、図10を参照して、情報処理装置100−2の初期化処理について説明する。図10は、本実施形態に係る情報処理装置100−2の初期化処理の例を概念的に示すフローチャートである。なお、仮想オブジェクトは、表示状態、移動状態、初期位置L0、現在位置L、表示開始位置LS、移動先位置LG、向き、幅w、速度u、加速度αといった属性を有する。
このように、本開示の第2の実施形態によれば、情報処理装置100−2は、表示領域の境界を跨いで仮想オブジェクトが移動する際に、仮想オブジェクト全体の態様をユーザの回転に係る情報に応じた態様と異なる態様に変化させる。ここで、ユーザが移動しない場合であっても、ユーザの回転に応じてユーザの視野は変化する。そのため、現実空間と対応する仮想オブジェクトの位置もユーザの回転に応じて変化し、仮想オブジェクトが表示領域の境界を跨いで移動する可能性がある。これに対し、本構成によれば、ユーザが回転する場合に表示領域の境界を意識されることを抑制できる。
以上、本開示の第2の実施形態について説明した。次に、本開示の第3の実施形態について説明する。第3の実施形態では、ユーザは静止したまま、現実空間とマッピングされる仮想空間上で仮想オブジェクトが移動することにより、表示される仮想オブジェクトが移動する場合について説明する。
まず、本開示の第3の実施形態に係る情報処理装置100−3の機能構成について説明する。なお、構成要素は、第1の実施形態に係る情報処理装置100−1と実質的に同一である。以下では、第1および第2の実施形態との差異についてのみ説明する。
表示制御部104は、仮想オブジェクトの仮想空間上の移動情報(以下、仮想移動情報とも称する。)に応じて仮想オブジェクトの表示を制御する。具体的には、表示制御部104は、仮想移動情報に基づいて仮想空間上の仮想オブジェクトの位置を決定し、決定される仮想空間上の位置とマッピングされる現実空間の位置に仮想オブジェクトが存在するように当該仮想オブジェクトの表示位置を決定する。そして、表示制御部104は、決定された位置において仮想オブジェクトを表示部108に表示させる。
次に、図15を参照して、本実施形態に係る情報処理装置100−3の処理について説明する。図15は、本実施形態に係る情報処理装置100−3の処理の例を概念的に示すフローチャートである。なお、第1の実施形態における処理と実質的に同一の処理については説明を省略する。
このように、本開示の第3の実施形態によれば、情報処理装置100−3は、仮想オブジェクトの仮想空間上の移動情報に応じて仮想オブジェクトの表示を制御する。このため、ユーザの動きによらずに仮想オブジェクトが仮想空間上の動きに応じて表示領域上を移動する場合であっても、表示領域の境界を跨いで仮想オブジェクトが表示される時間を短縮できる。従って、ユーザに表示領域の境界を意識されることを抑制することが可能となる。
以上、本開示の各実施形態に係る情報処理装置100について説明した。上述した情報処理装置100の処理は、ソフトウェアと、以下に説明する情報処理装置100のハードウェアとの協働により実現される。
プロセッサ132は、演算処理装置として機能し、各種プログラムと協働して情報処理装置100内の表示制御部104の機能を実現する。プロセッサ132は、制御回路を用いてメモリ134または他の記憶媒体に記憶されるプログラムを実行することにより、情報処理装置100の様々な論理的機能を動作させる。例えば、プロセッサ132は、CPU(Central Processing Unit)、GPU(Graphics Processing Unit)、DSP(Digital Signal Processor)またはSoC(System-on-a-Chip)であり得る。
メモリ134は、プロセッサ132が使用するプログラムまたは演算パラメタなどを記憶する。例えば、メモリ134は、RAM(Random Access Memory)を含み、プロセッサ132の実行において使用するプログラムまたは実行において適宜変化するパラメタなどを一時記憶する。また、メモリ134は、ROM(Read Only Memory)を含み、RAMおよびROMにより記憶部106の機能を実現する。なお、接続ポート146または通信装置148などを介して外部のストレージ装置がメモリ134の一部として利用されてもよい。
ブリッジ136は、バス間を接続する。具体的には、ブリッジ136は、プロセッサ132およびメモリ134が接続される内部バスと、測定装置140、入力装置142、出力装置144、接続ポート146および通信装置148間を接続するバス138と、を接続する。
測定装置140は、情報処理装置100およびその周辺についての測定を行い、測定部102の機能を実現する。具体的には、測定装置140は、カメラセンサ(ステレオであってもよい。)、加速度センサ、角速度センサ、地磁気センサまたはGPSセンサを含み、これらセンサから得られる信号からセンサ情報として測定情報を生成する。
入力装置142は、ユーザが情報処理装置100を操作しまたは情報処理装置100へ情報を入力するために使用される。例えば、入力装置142は、ユーザが情報を入力するための入力手段、およびユーザによる入力に基づいて入力信号を生成し、プロセッサ132に出力する入力制御回路などから構成されている。なお、当該入力手段は、マウス、キーボード、タッチパネル、スイッチ、レバーまたはマイクロフォンなどであってもよい。情報処理装置100のユーザは、入力装置142を操作することにより、情報処理装置100に対して各種のデータを入力したり処理動作を指示したりすることができる。
出力装置144は、ユーザに情報を通知するために使用される。例えば、出力装置144は、透過型のHMD、HUD(Head UP Display)または網膜投射型の表示装置であり、表示部108の機能を実現する。なお、出力装置144として、液晶ディスプレイ(LCD:Liquid Crystal Display)装置、OLED(Organic Light Emitting Diode)装置、プロジェクタ、スピーカまたはヘッドフォンなどの装置または当該装置への出力を行うモジュールが含まれてもよい。
接続ポート146は、機器を情報処理装置100に直接接続するためのポートである。例えば、接続ポート146は、USB(Universal Serial Bus)ポート、IEEE1394ポート、SCSI(Small Computer System Interface)ポートなどであり得る。また、接続ポート146は、RS−232Cポート、光オーディオ端子、HDMI(登録商標)(High-Definition Multimedia Interface)ポートなどであってもよい。接続ポート146に外部機器を接続することで、情報処理装置100と当該外部機器との間でデータが交換されてもよい。
通信装置148は、情報処理装置100と外部装置との間の通信を仲介する。具体的には、通信装置148は、無線通信方式に従って通信を実行する。例えば、通信装置148は、Bluetooth(登録商標)、NFC(Near Field Communication)、ワイヤレスUSBもしくはTransferJet(登録商標)などの近距離無線通信方式、WCDMA(登録商標)(Wideband Code Division Multiple Access)、WiMAX(登録商標)、LTE(Long Term Evolution)もしくはLTE−Aなどのセルラ通信方式、またはWi−Fi(登録商標)などの無線LAN(Local Area Network)方式といった、任意の無線通信方式に従って無線通信を実行してもよい。また、通信装置148は、信号線通信または有線LAN通信などの有線通信を実行してもよい。
以上、本開示の第1の実施形態によれば、仮想オブジェクトが表示領域からはみ出している状態であるとユーザに気付かれにくい態様に仮想オブジェクトの態様を変化させることにより、ユーザに表示領域の境界が意識されることを抑制できる。従って、表示領域に表示される仮想オブジェクトに対するユーザの没入感または現実感の低下を抑制することが可能となる。
(1)
表示領域に移動を伴って表示される仮想オブジェクトの表示を制御し、
前記表示領域の境界を跨いで前記仮想オブジェクトが移動する際に、前記仮想オブジェクトの態様を変化させる表示制御部、
を備える情報処理装置。
(2)
前記仮想オブジェクトの態様の変化は、前記仮想オブジェクトの移動に関わる移動情報に応じた態様と異なる態様への変化を含む、
前記(1)に記載の情報処理装置。
(3)
前記仮想オブジェクトは、外界像に重畳され、
前記表示領域は、前記外界像の一部と重複する、
前記(2)に記載の情報処理装置。
(4)
前記表示制御部は、前記仮想オブジェクトの一部が前記表示領域の外に位置する間、前記仮想オブジェクトの態様を変化させる、
前記(2)または(3)に記載の情報処理装置。
(5)
前記表示制御部は、前記移動情報に応じた態様では前記仮想オブジェクトの一部が前記表示領域の外に位置すると推定される間、前記仮想オブジェクトの態様を変化させる、
前記(2)〜(4)のいずれか1項に記載の情報処理装置。
(6)
前記仮想オブジェクトの態様の変化は、前記仮想オブジェクトの移動の速さの変化を含む、
前記(2)〜(5)のいずれか1項に記載の情報処理装置。
(7)
前記仮想オブジェクトの態様の変化は、前記仮想オブジェクトの移動方向の変化を含む、
前記(2)〜(6)のいずれか1項に記載の情報処理装置。
(8)
前記移動方向の変化は、ユーザの視野に係る視錐台の側面に垂直な方向への変化を含む、
前記(7)に記載の情報処理装置。
(9)
前記仮想オブジェクトの態様の変化は、前記仮想オブジェクトの姿勢の変化を含む、
前記(2)〜(8)のいずれか1項に記載の情報処理装置。
(10)
前記姿勢の変化は、ユーザの視野に係る視錐台の側面に平行な方向への前記仮想オブジェクトの回転を含む、
前記(9)に記載の情報処理装置。
(11)
前記仮想オブジェクトの態様の変化は、前記仮想オブジェクトのサイズの変化を含む、
前記(2)〜(10)のいずれか1項に記載の情報処理装置。
(12)
前記仮想オブジェクトの態様の変化は、前記仮想オブジェクトの透明度の変化を含む、
前記(2)〜(11)のいずれか1項に記載の情報処理装置。
(13)
前記仮想オブジェクトの態様の変化の程度は、前記仮想オブジェクトの移動に応じて変化する、
前記(2)〜(12)のいずれか1項に記載の情報処理装置。
(14)
前記表示制御部は、前記仮想オブジェクトの態様を変化させている間、前記仮想オブジェクトに視覚的効果を付与する、
前記(2)〜(13)のいずれか1項に記載の情報処理装置。
(15)
前記視覚的効果は、前記仮想オブジェクトと前記表示領域とのコントラストの変化、前記仮想オブジェクトの明るさの変化またはぼかしを含む、
前記(14)に記載の情報処理装置。
(16)
前記移動情報は、ユーザの動きに係るセンサ情報を含む、
前記(2)〜(15)のいずれか1項に記載の情報処理装置。
(17)
前記表示制御部は、前記仮想オブジェクトが前記表示領域の外から中へ移動する場合、前記仮想オブジェクト全体が表示される領域が確保されるまで前記仮想オブジェクトを前記表示領域に表示させない、
前記(2)〜(16)のいずれか1項に記載の情報処理装置。
(18)
前記移動情報は、前記仮想オブジェクトの仮想空間上の移動情報を含む、
前記(2)〜(17)のいずれか1項に記載の情報処理装置。
(19)
プロセッサを用いて、
表示領域に移動を伴って表示される仮想オブジェクトの表示を制御することと、
前記表示領域の境界を跨いで前記仮想オブジェクトが移動する際に、前記仮想オブジェクトの態様を変化させることと、
を含む情報処理方法。
(20)
表示領域に移動に伴って表示される仮想オブジェクトの表示を制御し、
前記表示領域の境界を跨いで前記仮想オブジェクトが移動する際に、前記仮想オブジェクトの態様を変化させる表示制御機能と、
をコンピュータシステムに実現させるためのプログラム。
20 仮想オブジェクト
100 情報処理装置
102 測定部
104 表示制御部
106 記憶部
108 表示部
Claims (20)
- 表示領域に移動を伴って表示される仮想オブジェクトの表示を制御し、
前記表示領域の境界を跨いで前記仮想オブジェクトが移動する際に、前記仮想オブジェクトの態様を変化させる表示制御部、
を備える情報処理装置。 - 前記仮想オブジェクトの態様の変化は、前記仮想オブジェクトの移動に関わる移動情報に応じた態様と異なる態様への変化を含む、
請求項1に記載の情報処理装置。 - 前記仮想オブジェクトは、外界像に重畳され、
前記表示領域は、前記外界像の一部と重複する、
請求項2に記載の情報処理装置。 - 前記表示制御部は、前記仮想オブジェクトの一部が前記表示領域の外に位置する間、前記仮想オブジェクトの態様を変化させる、
請求項2に記載の情報処理装置。 - 前記表示制御部は、前記移動情報に応じた態様では前記仮想オブジェクトの一部が前記表示領域の外に位置すると推定される間、前記仮想オブジェクトの態様を変化させる、
請求項2に記載の情報処理装置。 - 前記仮想オブジェクトの態様の変化は、前記仮想オブジェクトの移動の速さの変化を含む、
請求項2に記載の情報処理装置。 - 前記仮想オブジェクトの態様の変化は、前記仮想オブジェクトの移動方向の変化を含む、
請求項2に記載の情報処理装置。 - 前記移動方向の変化は、ユーザの視野に係る視錐台の側面に垂直な方向への変化を含む、
請求項7に記載の情報処理装置。 - 前記仮想オブジェクトの態様の変化は、前記仮想オブジェクトの姿勢の変化を含む、
請求項2に記載の情報処理装置。 - 前記姿勢の変化は、ユーザの視野に係る視錐台の側面に平行な方向への前記仮想オブジェクトの回転を含む、
請求項9に記載の情報処理装置。 - 前記仮想オブジェクトの態様の変化は、前記仮想オブジェクトのサイズの変化を含む、
請求項2に記載の情報処理装置。 - 前記仮想オブジェクトの態様の変化は、前記仮想オブジェクトの透明度の変化を含む、
請求項2に記載の情報処理装置。 - 前記仮想オブジェクトの態様の変化の程度は、前記仮想オブジェクトの移動に応じて変化する、
請求項2に記載の情報処理装置。 - 前記表示制御部は、前記仮想オブジェクトの態様を変化させている間、前記仮想オブジェクトに視覚的効果を付与する、
請求項2に記載の情報処理装置。 - 前記視覚的効果は、前記仮想オブジェクトと前記表示領域とのコントラストの変化、前記仮想オブジェクトの明るさの変化またはぼかしを含む、
請求項14に記載の情報処理装置。 - 前記移動情報は、ユーザの動きに係るセンサ情報を含む、
請求項2に記載の情報処理装置。 - 前記表示制御部は、前記仮想オブジェクトが前記表示領域の外から中へ移動する場合、前記仮想オブジェクト全体が表示される領域が確保されるまで前記仮想オブジェクトを前記表示領域に表示させない、
請求項2に記載の情報処理装置。 - 前記移動情報は、前記仮想オブジェクトの仮想空間上の移動情報を含む、
請求項2に記載の情報処理装置。 - プロセッサを用いて、
表示領域に移動を伴って表示される仮想オブジェクトの表示を制御することと、
前記表示領域の境界を跨いで前記仮想オブジェクトが移動する際に、前記仮想オブジェクトの態様を変化させることと、
を含む情報処理方法。 - 表示領域に移動に伴って表示される仮想オブジェクトの表示を制御し、
前記表示領域の境界を跨いで前記仮想オブジェクトが移動する際に、前記仮想オブジェクトの態様を変化させる表示制御機能と、
をコンピュータシステムに実現させるためのプログラム。
Priority Applications (4)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2016066277A JP6736944B2 (ja) | 2016-03-29 | 2016-03-29 | 情報処理装置、情報処理方法およびプログラム |
CN201780019078.XA CN108885856B (zh) | 2016-03-29 | 2017-02-01 | 信息处理设备、信息处理方法和程序 |
US16/086,876 US10755482B2 (en) | 2016-03-29 | 2017-02-01 | Information processing device and information processing method |
PCT/JP2017/003644 WO2017169081A1 (ja) | 2016-03-29 | 2017-02-01 | 情報処理装置、情報処理方法およびプログラム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2016066277A JP6736944B2 (ja) | 2016-03-29 | 2016-03-29 | 情報処理装置、情報処理方法およびプログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2017181666A true JP2017181666A (ja) | 2017-10-05 |
JP6736944B2 JP6736944B2 (ja) | 2020-08-05 |
Family
ID=59962829
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2016066277A Active JP6736944B2 (ja) | 2016-03-29 | 2016-03-29 | 情報処理装置、情報処理方法およびプログラム |
Country Status (4)
Country | Link |
---|---|
US (1) | US10755482B2 (ja) |
JP (1) | JP6736944B2 (ja) |
CN (1) | CN108885856B (ja) |
WO (1) | WO2017169081A1 (ja) |
Cited By (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2018081162A (ja) * | 2016-11-15 | 2018-05-24 | 株式会社リコー | 表示装置、表示システム、及びプログラム |
WO2019087658A1 (ja) * | 2017-11-01 | 2019-05-09 | ソニー株式会社 | 情報処理装置、情報処理方法及びプログラム |
JP2021076864A (ja) * | 2021-02-01 | 2021-05-20 | 株式会社リコー | 表示装置、表示システム、及びプログラム |
WO2021131991A1 (ja) * | 2019-12-23 | 2021-07-01 | ソニーグループ株式会社 | 映像生成装置、映像生成方法および映像生成プログラム |
WO2022004422A1 (ja) * | 2020-07-02 | 2022-01-06 | ソニーグループ株式会社 | 情報処理装置、情報処理方法、及び記録媒体 |
JP6991396B1 (ja) * | 2020-12-28 | 2022-01-14 | 三菱電機株式会社 | 表示装置、制御システムおよび作画方法 |
Families Citing this family (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US10459230B2 (en) | 2016-02-02 | 2019-10-29 | Disney Enterprises, Inc. | Compact augmented reality / virtual reality display |
US9996984B2 (en) * | 2016-07-05 | 2018-06-12 | Disney Enterprises, Inc. | Focus control for virtual objects in augmented reality (AR) and virtual reality (VR) displays |
WO2018020661A1 (ja) * | 2016-07-29 | 2018-02-01 | 三菱電機株式会社 | 表示装置、表示制御装置および表示制御方法 |
WO2020047486A1 (en) | 2018-08-31 | 2020-03-05 | Magic Leap, Inc. | Spatially-resolved dynamic dimming for augmented reality device |
WO2020146760A1 (en) | 2019-01-11 | 2020-07-16 | Magic Leap, Inc. | Time-multiplexed display of virtual content at various depths |
JP2020149216A (ja) * | 2019-03-12 | 2020-09-17 | ソニー株式会社 | 情報処理装置、情報処理方法、及びプログラム |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2005049996A (ja) * | 2003-07-30 | 2005-02-24 | Canon Inc | 画像表示方法及び装置 |
JP2011258161A (ja) * | 2010-06-11 | 2011-12-22 | Namco Bandai Games Inc | プログラム、情報記憶媒体及び画像生成システム |
US20140125698A1 (en) * | 2012-11-05 | 2014-05-08 | Stephen Latta | Mixed-reality arena |
JP2015084150A (ja) * | 2013-10-25 | 2015-04-30 | セイコーエプソン株式会社 | 頭部装着型表示装置および頭部装着型表示装置の制御方法 |
Family Cites Families (13)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN1202885C (zh) * | 2002-09-25 | 2005-05-25 | 威盛电子股份有限公司 | 虚拟实境阶梯型跑步机 |
JP4817425B2 (ja) * | 2005-08-22 | 2011-11-16 | 株式会社リコー | 画像表示システム及び画像表示方法 |
JP4898529B2 (ja) * | 2007-04-06 | 2012-03-14 | 株式会社エヌ・ティ・ティ・ドコモ | エリア案内装置およびプログラム |
JP4989383B2 (ja) * | 2007-09-10 | 2012-08-01 | キヤノン株式会社 | 情報処理装置、情報処理方法 |
WO2009054619A2 (en) * | 2007-10-22 | 2009-04-30 | Moon Key Lee | Augmented reality computer device |
US9736368B2 (en) * | 2013-03-15 | 2017-08-15 | Spatial Cam Llc | Camera in a headframe for object tracking |
JP2012120594A (ja) * | 2010-12-06 | 2012-06-28 | Nintendo Co Ltd | 情報処理プログラム、情報処理装置、情報処理方法および情報処理システム |
JP5780129B2 (ja) | 2011-11-22 | 2015-09-16 | ソニー株式会社 | 光ビーム伸長装置、画像表示装置及び光学装置 |
JP5900393B2 (ja) | 2013-03-21 | 2016-04-06 | ソニー株式会社 | 情報処理装置、操作制御方法及びプログラム |
RU2015145510A (ru) | 2013-03-26 | 2017-05-03 | Сейко Эпсон Корпорейшн | Наголовное устройство отображения, способ управления наголовным устройством отображения и система отображения |
US10089786B2 (en) * | 2013-08-19 | 2018-10-02 | Qualcomm Incorporated | Automatic customization of graphical user interface for optical see-through head mounted display with user interaction tracking |
US20160027214A1 (en) * | 2014-07-25 | 2016-01-28 | Robert Memmott | Mouse sharing between a desktop and a virtual world |
US10438399B2 (en) * | 2017-02-10 | 2019-10-08 | Sony Interactive Entertainment LLC | Paired local and global user interfaces for an improved augmented reality experience |
-
2016
- 2016-03-29 JP JP2016066277A patent/JP6736944B2/ja active Active
-
2017
- 2017-02-01 US US16/086,876 patent/US10755482B2/en active Active
- 2017-02-01 CN CN201780019078.XA patent/CN108885856B/zh active Active
- 2017-02-01 WO PCT/JP2017/003644 patent/WO2017169081A1/ja active Application Filing
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2005049996A (ja) * | 2003-07-30 | 2005-02-24 | Canon Inc | 画像表示方法及び装置 |
JP2011258161A (ja) * | 2010-06-11 | 2011-12-22 | Namco Bandai Games Inc | プログラム、情報記憶媒体及び画像生成システム |
US20140125698A1 (en) * | 2012-11-05 | 2014-05-08 | Stephen Latta | Mixed-reality arena |
JP2015084150A (ja) * | 2013-10-25 | 2015-04-30 | セイコーエプソン株式会社 | 頭部装着型表示装置および頭部装着型表示装置の制御方法 |
Cited By (13)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2018081162A (ja) * | 2016-11-15 | 2018-05-24 | 株式会社リコー | 表示装置、表示システム、及びプログラム |
US11216906B2 (en) | 2016-11-15 | 2022-01-04 | Ricoh Company, Ltd. | Display apparatus to control display form of virtual object |
JP7009057B2 (ja) | 2016-11-15 | 2022-01-25 | 株式会社リコー | 表示装置、表示システム、及びプログラム |
WO2019087658A1 (ja) * | 2017-11-01 | 2019-05-09 | ソニー株式会社 | 情報処理装置、情報処理方法及びプログラム |
JPWO2019087658A1 (ja) * | 2017-11-01 | 2020-11-26 | ソニー株式会社 | 情報処理装置、情報処理方法及びプログラム |
US11508084B2 (en) | 2017-11-01 | 2022-11-22 | Sony Corporation | Information processing apparatus and information processing method for accurately estimating a self location |
JP7147775B2 (ja) | 2017-11-01 | 2022-10-05 | ソニーグループ株式会社 | 情報処理装置、情報処理方法及びプログラム |
WO2021131991A1 (ja) * | 2019-12-23 | 2021-07-01 | ソニーグループ株式会社 | 映像生成装置、映像生成方法および映像生成プログラム |
WO2022004422A1 (ja) * | 2020-07-02 | 2022-01-06 | ソニーグループ株式会社 | 情報処理装置、情報処理方法、及び記録媒体 |
WO2022145014A1 (ja) * | 2020-12-28 | 2022-07-07 | 三菱電機株式会社 | 表示装置、制御システムおよび作画方法 |
JP6991396B1 (ja) * | 2020-12-28 | 2022-01-14 | 三菱電機株式会社 | 表示装置、制御システムおよび作画方法 |
JP2021076864A (ja) * | 2021-02-01 | 2021-05-20 | 株式会社リコー | 表示装置、表示システム、及びプログラム |
JP7180702B2 (ja) | 2021-02-01 | 2022-11-30 | 株式会社リコー | 表示装置、表示システム、及びプログラム |
Also Published As
Publication number | Publication date |
---|---|
JP6736944B2 (ja) | 2020-08-05 |
CN108885856B (zh) | 2021-11-09 |
CN108885856A (zh) | 2018-11-23 |
US10755482B2 (en) | 2020-08-25 |
WO2017169081A1 (ja) | 2017-10-05 |
US20190088021A1 (en) | 2019-03-21 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
WO2017169081A1 (ja) | 情報処理装置、情報処理方法およびプログラム | |
US11210993B2 (en) | Optimized display image rendering | |
EP3368965B1 (en) | Remote rendering for virtual images | |
US9928655B1 (en) | Predictive rendering of augmented reality content to overlay physical structures | |
KR102291777B1 (ko) | 바디 락 증강 현실과 월드 락 증강 현실 사이의 전환 기법 | |
US10884576B2 (en) | Mediated reality | |
EP4052115A1 (en) | Porting physical object into virtual reality | |
ES2930598T3 (es) | Re-proyección de imágenes para renderizado foveado | |
US11533468B2 (en) | System and method for generating a mixed reality experience | |
JP2015095802A (ja) | 表示制御装置、表示制御方法、およびプログラム | |
US10565767B2 (en) | Systems and methods for utilizing a device as a marker for augmented reality content | |
US10395418B2 (en) | Techniques for predictive prioritization of image portions in processing graphics | |
WO2020003860A1 (ja) | 情報処理装置、情報処理方法、及びプログラム | |
US20200097068A1 (en) | Method and apparatus for providing immersive reality content | |
CN111066081B (zh) | 用于补偿虚拟现实的图像显示中的可变显示设备等待时间的技术 | |
KR20180055637A (ko) | 전자 장치 및 그의 제어 방법 | |
CN108140357B (zh) | 信息处理装置 | |
US20240029363A1 (en) | Late stage occlusion based rendering for extended reality (xr) | |
US20240219998A1 (en) | Method And Device For Dynamic Sensory And Input Modes Based On Contextual State |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
RD04 | Notification of resignation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7424 Effective date: 20190208 |
|
RD03 | Notification of appointment of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7423 Effective date: 20190214 |
|
RD04 | Notification of resignation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7424 Effective date: 20190222 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20190320 |
|
RD02 | Notification of acceptance of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7422 Effective date: 20190515 |
|
RD04 | Notification of resignation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7424 Effective date: 20190522 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20200107 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20200212 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20200331 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20200525 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20200616 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20200629 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 6736944 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |