JP2022040602A - Image display device and program - Google Patents
Image display device and program Download PDFInfo
- Publication number
- JP2022040602A JP2022040602A JP2020145391A JP2020145391A JP2022040602A JP 2022040602 A JP2022040602 A JP 2022040602A JP 2020145391 A JP2020145391 A JP 2020145391A JP 2020145391 A JP2020145391 A JP 2020145391A JP 2022040602 A JP2022040602 A JP 2022040602A
- Authority
- JP
- Japan
- Prior art keywords
- image data
- moving image
- unit
- reproduction
- search
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 230000005540 biological transmission Effects 0.000 claims abstract description 33
- 230000004044 response Effects 0.000 claims abstract description 8
- 238000004891 communication Methods 0.000 description 16
- 238000010586 diagram Methods 0.000 description 8
- 230000000694 effects Effects 0.000 description 4
- 238000000034 method Methods 0.000 description 4
- 230000001360 synchronised effect Effects 0.000 description 3
- 230000008921 facial expression Effects 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 125000002066 L-histidyl group Chemical group [H]N1C([H])=NC(C([H])([H])[C@](C(=O)[*])([H])N([H])[H])=C1[H] 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000008569 process Effects 0.000 description 1
Images
Abstract
Description
本発明は、画像表示装置及びプログラムに関する。 The present invention relates to an image display device and a program.
従来、同一のキャラクターを複数のアングルから同時に撮像した複数の動画像を切り替えて表示するシステムが知られている（例えば、特許文献１を参照）。 Conventionally, there is known a system for switching and displaying a plurality of moving images obtained by simultaneously capturing the same character from a plurality of angles (see, for example, Patent Document 1).
ユーザが一つの動画像を視聴している間に、視聴している動画像に関連する他の動画像を視聴してみたいと思う場合がある。しかしながら、従来のシステムでは、予め配信された複数の動画像しか視聴することができなかった。 While a user is viewing one video, he may want to view another video related to the video he is viewing. However, in the conventional system, only a plurality of moving images delivered in advance can be viewed.
そこで、本発明はこれらの点に鑑みてなされたものであり、視聴中の動画像に関連する他の動画像を視聴できるようにすることを目的とする。 Therefore, the present invention has been made in view of these points, and an object of the present invention is to enable viewing of other moving images related to the moving image being viewed.
本発明の第１の態様の画像表示装置は、動画像データを再生する画像再生部と、前記動画像データを前記画像再生部が再生している間に、前記動画像データが表示されている画面上でスワイプ操作を受け付ける操作受付部と、第１動画像データを前記画像再生部が再生中に、前記第１動画像データに関連する第２動画像データの検索を要求するための第１向きのスワイプ操作を前記操作受付部が受け付けた場合に、前記動画像データを配信する画像配信装置に前記第２動画像データを検索させるための検索要求を送信する要求送信部と、前記検索要求に応じて前記画像配信装置が送信した前記第２動画像データを取得するデータ取得部と、を有し、前記画像再生部は、前記データ取得部が前記第２動画像データを取得すると前記第２動画像データの再生を開始し、再生した前記第２動画像データを前記画面上に表示させる。 In the image display device of the first aspect of the present invention, the moving image data is displayed while the image reproducing unit that reproduces the moving image data and the image reproducing unit reproduces the moving image data. A first for requesting a search for a second moving image data related to the first moving image data while the operation receiving unit that accepts a swipe operation on the screen and the image reproducing unit is playing back the first moving image data. When the operation reception unit accepts the swipe operation in the direction, the request transmission unit for transmitting a search request for causing the image distribution device that distributes the moving image data to search the second moving image data, and the search request. The image reproduction unit has a data acquisition unit for acquiring the second moving image data transmitted by the image distribution device, and the image reproduction unit obtains the second moving image data when the data acquisition unit acquires the second moving image data. The reproduction of the two moving image data is started, and the reproduced second moving image data is displayed on the screen.
前記画像再生部は、前記データ取得部が前記第２動画像データを取得すると、前記第１動画像データの再生を停止してから前記第２動画像データの再生を開始してもよい。 When the data acquisition unit acquires the second moving image data, the image reproduction unit may stop the reproduction of the first moving image data and then start the reproduction of the second moving image data.
前記画像再生部は、前記第２動画像データを再生中に前記第１向きと異なる第２向きのスワイプ操作を前記操作受付部が受け付けた場合に、前記第１動画像データを前記画面上に表示させてもよい。 When the operation receiving unit receives a swipe operation in a second direction different from the first direction while playing back the second moving image data, the image reproducing unit displays the first moving image data on the screen. It may be displayed.
前記画像再生部は、前記第２動画像データを前記画像再生部が再生中に、前記第２向きのスワイプ操作を前記操作受付部が受け付けた場合に、前記第２動画像データの再生を停止してから前記第１動画像データの再生を開始してもよい。 The image reproduction unit stops reproduction of the second moving image data when the operation receiving unit accepts the swipe operation in the second direction while the image reproduction unit is reproducing the second moving image data. Then, the reproduction of the first moving image data may be started.
前記画像再生部は、前記操作受付部が前記第１向きのスワイプ操作を受け付けた後に、前記データ取得部が前記第２動画像データを取得すると、前記第１動画像データの再生を停止してから前記第２動画像データの再生を開始し、前記操作受付部が前記第１向きと異なる向きのスワイプ操作を受け付けた後に、前記データ取得部が前記第２動画像データを取得すると、前記第１動画像データと前記第２動画像データとを同時に再生してもよい。 When the data acquisition unit acquires the second moving image data after the operation receiving unit receives the swipe operation in the first direction, the image reproduction unit stops the reproduction of the first moving image data. When the data acquisition unit acquires the second moving image data after the operation receiving unit receives a swipe operation in a direction different from the first direction, the second moving image data is reproduced. The first moving image data and the second moving image data may be reproduced at the same time.
前記操作受付部は、前記画像再生部が前記第２動画像データを再生中に、前記第１動画像データに関連し前記第２動画像データと異なる第３動画像データを検索要求するための追加検索操作を受け付け、前記要求送信部は、前記画像再生部が前記第２動画像データを再生中に、前記第１動画像データを識別するための第１識別情報及び前記第２動画像データを識別するための第２識別情報を含む追加検索要求を送信してもよい。 The operation receiving unit is for requesting a search for a third moving image data related to the first moving image data and different from the second moving image data while the image reproducing unit is playing back the second moving image data. Upon receiving the additional search operation, the request transmission unit receives the first identification information and the second moving image data for identifying the first moving image data while the image reproducing unit is playing back the second moving image data. An additional search request containing the second identification information for identifying the data may be transmitted.
前記要求送信部は、前記第１動画像データに含まれる音声又は登場人物を示す情報を含む前記検索要求を送信してもよい。 The request transmission unit may transmit the search request including information indicating a voice or a character included in the first moving image data.
前記要求送信部は、前記操作受付部が前記第１向きのスワイプ操作を受け付けた時点で前記画像再生部が再生している前記第１動画像データに含まれている人若しくはオブジェクト、又は前記第１動画像データに含まれている音声を発している人を示す情報を含む前記検索要求を送信してもよい。 The request transmission unit is a person or object included in the first moving image data being reproduced by the image reproduction unit at the time when the operation reception unit receives the first-direction swipe operation, or the first. (1) The search request including information indicating a person who is emitting a sound included in the moving image data may be transmitted.
前記操作受付部は、検索する対象となる前記第２動画像データの種別を指定する操作を受け付け、前記要求送信部は、前記操作受付部が受け付けた操作に対応する前記種別を示す前記検索要求を送信してもよい。 The operation receiving unit accepts an operation for designating the type of the second moving image data to be searched, and the request transmitting unit receives the search request indicating the type corresponding to the operation received by the operation receiving unit. May be sent.
前記画像再生部が前記第１動画像データを再生中に、前記第１動画像データに関連する前記第２動画像データが存在することを示す情報を表示部に表示させる表示制御部をさらに有してもよい。 While the image reproduction unit is reproducing the first moving image data, it further has a display control unit that displays information indicating that the second moving image data related to the first moving image data exists on the display unit. You may.
本発明の第２の態様のプログラムは、コンピュータに、第１動画像データを再生中に、前記第１動画像データが表示されている画面上で、前記第１動画像データに関連する第２動画像データを検索するための第１向きのスワイプ操作を受け付けるステップと、動画像データを配信する画像配信装置に前記第２動画像データを検索させるための検索要求を送信するステップと、前記画像配信装置が送信した前記第２動画像データを取得するステップと、前記第２動画像データを取得すると、前記第２動画像データの再生を開始するステップと、前記第２動画像データを取得すると前記第２動画像データの再生を開始し、再生した前記第２動画像データを前記画面上に表示させるステップと、を実行させる。 The program of the second aspect of the present invention relates to the first moving image data on the screen on which the first moving image data is displayed while the first moving image data is being reproduced on the computer. A step of accepting a first-direction swipe operation for searching for moving image data, a step of transmitting a search request for causing an image distribution device that distributes moving image data to search for the second moving image data, and the image. When the step of acquiring the second moving image data transmitted by the distribution device, the step of starting the reproduction of the second moving image data when the second moving image data is acquired, and the step of acquiring the second moving image data. The step of starting the reproduction of the second moving image data and displaying the reproduced second moving image data on the screen is executed.
本発明によれば、視聴中の動画像に類似する他の動画像を視聴できるようになるという効果を奏する。 According to the present invention, there is an effect that another moving image similar to the moving image being viewed can be viewed.
［画像表示システムＳの構成］
図１は、本実施形態に係る画像表示システムＳの構成を示す図である。画像表示システムＳは、複数の画像表示装置１と画像配信装置２とを有する。画像表示装置１及び画像配信装置２は、ネットワークＮを介して各種のデータを送受信する。ネットワークＮは、例えばインターネット又は携帯電話網を含む。
[Configuration of image display system S]
FIG. 1 is a diagram showing a configuration of an image display system S according to the present embodiment. The image display system S has a plurality of
画像配信装置２は、動画像データを複数の画像表示装置１に配信するサーバである。画像配信装置２は、複数の動画像データを記憶する記憶媒体を有しており、例えば、画像表示装置１又は他の電子機器で作成された動画像データを取得して記憶媒体に記憶する。画像配信装置２は、同一の動画像データを複数の画像表示装置１に配信してもよく、異なる動画像データを複数の画像表示装置１に配信してもよい。
The image distribution device 2 is a server that distributes moving image data to a plurality of
画像配信装置２は、画像表示装置１から検索の要求を受けたことに応じて、記憶している複数の動画像データから、検索要求を送信した画像表示装置１に配信する動画像データを検索する。画像配信装置２は、例えば、検索要求を受けたことに応じて、画像表示装置１で再生していた第１動画像データに関連する第２動画像データを検索し、第２動画像データを画像表示装置１に配信する。
The image distribution device 2 searches for the moving image data to be distributed to the
第１動画像データに関連する第２動画像データは、例えば、第１動画像データに含まれている第１被写体の動作を真似した第２被写体が含まれている動画像データ、第１動画像データのストーリーと同じストーリーで登場人物が異なる動画像データ、又は第１動画像データと同じシリーズ若しくは同じタイトルの動画像データである。第２動画像データに含まれる第２被写体は、例えば、第１動画像データに含まれる第１被写体の動作と類似する動作又はシンクロした動作をする。第１被写体は、例えば、歌手又は芸能人等であり、第１被写体にシンクロして動作をする第２被写体は第１被写体の動作を真似して動作する人である。 The second moving image data related to the first moving image data is, for example, moving image data including a second subject that imitates the movement of the first subject included in the first moving image data, and a first moving image. It is moving image data that has the same story as the image data but has different characters, or moving image data of the same series or title as the first moving image data. The second subject included in the second moving image data has, for example, an operation similar to or synchronized with the operation of the first subject included in the first moving image data. The first subject is, for example, a singer, an entertainer, or the like, and the second subject that operates in synchronization with the first subject is a person who operates by imitating the movement of the first subject.
シンクロして動作する第１被写体と第２被写体は、声、動作又は表情の少なくとも一部が、ほぼ同じタイミングで同じように変化する。本明細書において、第１動画像データに含まれる第１被写体にシンクロして動作をする第２被写体が含まれている第２動画像データを、第１動画像データにシンクロして動作する第２動画像データという。 At least a part of the voice, movement, or facial expression of the first subject and the second subject that operate in synchronization change in the same manner at substantially the same timing. In the present specification, the second moving image data including the second subject that operates in synchronization with the first subject included in the first moving image data is synchronized with the first moving image data and operates. It is called 2 moving image data.
画像表示装置１は、動画像データを見るユーザが使用する装置であり、例えばパーソナルコンピュータ、スマートフォン、タブレット又はヘッドマウントディスプレイである。画像表示装置１は、動画像データを表示するためのディスプレイを有していれば、任意の装置であってよい。画像表示装置１は、画像配信装置２から配信された第１動画像データを再生している間に、ユーザから、第１動画像データに関連する第２動画像データの検索を要求するための操作（以下、「検索操作」という場合がある）を受け付ける。画像表示装置１は、第１動画像データを再生している間に、関連する第２動画像データがある時間帯であることを示す情報を表示し、その時間帯において検索操作を受け付けてもよい。
The
図２は、画像表示装置１のユーザが第１動画像データを見ている間に第２動画像データの検索をする操作について説明するための図である。図２（ａ）は、画像表示装置１が第１被写体Ｃ１を含む第１動画像データを表示している状態を示しており、図２（ｂ）は、画像表示装置１が第２被写体Ｃ２を含む第２動画像データを表示している状態を示している。画像表示装置１は、ユーザは、例えば画像表示装置１が第１動画像データを表示している状態で行ったスワイプ操作を検索操作として特定し、図２（ａ）に示す第１動画像データに関連する動画像データを検索する要求を画像配信装置２に送信する。その後、画像表示装置１は、第２動画像データを画像配信装置２から受信し、図２（ｂ）に示すように、第２動画像データを表示する。
FIG. 2 is a diagram for explaining an operation of searching for the second moving image data while the user of the
なお、スワイプ操作は、例えば画面に触れた指を滑らせる操作であるが、本明細書において、画像表示装置１がヘッドマウントディスプレイである場合、ヘッドマウントディスプレイの画面に画像が表示された状態で、ユーザが一方向に指又は手を動かす操作をスカイプ操作という。画像表示装置１は、カメラでユーザの指又は手の動きを撮影することで、当該スカイプ操作を検出することができる。
The swipe operation is, for example, an operation of sliding a finger touching the screen. In the present specification, when the
このように、画像表示装置１を使用することで、ユーザは、見ている動画像データに関連する他の動画像データを検索して、他の動画像データを容易に視聴することができる。このような画像表示装置１は、歌手や芸能人を真似した動画像データを画像配信装置２が配信するサービスに好適である。
As described above, by using the
［画像表示装置１の構成］
図３は、画像表示装置１の構成を示す図である。画像表示装置１は、通信部１１と、表示部１２と、操作部１３と、記憶部１４と、制御部１５と、を有する。制御部１５は、操作受付部１５１と、要求送信部１５２と、データ取得部１５３と、表示制御部１５４と、画像再生部１５５と、を有する。
[Configuration of image display device 1]
FIG. 3 is a diagram showing the configuration of the
通信部１１は、ネットワークＮを介して画像配信装置２から動画像データを受信するための通信インターフェースである。通信部１１は、受信した動画像データをデータ取得部１５３に入力する。
The
表示部１２は、例えばディスプレイである。表示部１２は、表示制御部１５４から入力された動画像データを表示する。
The
操作部１３は、ユーザの操作を受けるためのデバイスであり、例えば表示部１２に重ねて設けられたタッチパネルである。操作部１３は、ユーザが操作した位置を示す座標情報を操作受付部１５１に通知する。
The
記憶部１４は、ＲＯＭ（Read Only Memory）及びＲＡＭ（Random Access Memory）を含む記憶媒体である。記憶部１４は、制御部１５が実行するプログラムを記憶している。記憶部１４は、通信部１１が受信した動画像データを一時的に記憶してもよい。記憶部１４は、再生されている第１動画像データに含まれている人（例えば登場人物）若しくはオブジェクト（例えば電子機器）、又は第１動画像データに含まれている音声を発している人（例えば声優）を示すテキスト情報（例えばメタ情報）を一時的に記憶してもよい。
The
制御部１５は、例えばＣＰＵ（Central Processing Unit）を有しており、記憶部１４に記憶されたプログラムを実行することにより、操作受付部１５１、要求送信部１５２、データ取得部１５３、表示制御部１５４及び画像再生部１５５として機能する。
The
操作受付部１５１は、操作部１３を介して、ユーザによる各種の操作を受け付ける。操作受付部１５１は、例えば表示部１２に表示させる動画像データを検索するための操作を受け付ける。操作受付部１５１は、画像配信装置２が提供可能な複数の動画像データから第１動画像データを選択する操作を受け付ける。操作受付部１５１は、表示制御部１５４を介して、関連する他の動画像データがある複数の動画像データの一覧を表示部１２に表示させ、ユーザが選択した動画像データを、表示部１２に表示させる第１動画像データとして選択する操作を受け付ける。操作受付部１５１は、選択された第１動画像データの識別情報を要求送信部１５２に通知する。
The
また、操作受付部１５１は、表示部１２に表示された動画像データ上で行われるスワイプ操作を、表示部１２に表示されている動画像データに関連する他の動画像データの検索を画像配信装置２に要求するための検索操作として受け付ける。操作受付部１５１は、例えば、第１動画像データを画像再生部１５５が再生している間に、当該第１動画像データが表示されている画面上でスワイプ操作を受け付ける。
Further, the
操作受付部１５１は、スワイプ操作の向きが、第１動画像データに関連する第２動画像データの検索を要求する操作に対応する向きであると判定した場合に、当該操作を受けたことを要求送信部１５２に通知する。第２動画像データの検索を要求する操作に対応する向きは、予め決められた向きであってもよく、ユーザにより設定された向きであってもよい。図２に示した例において、第２動画像データの検索を要求する操作に対応する向きは右向きである。
When the
なお、検索を要求するための操作は、例えばスワイプ操作であるが、検索を要求するための操作の方法は任意であり、表示部１２に表示された操作用の画像にタッチする操作のような他の方法であってもよい。
The operation for requesting a search is, for example, a swipe operation, but the method of the operation for requesting a search is arbitrary, such as an operation of touching an image for operation displayed on the
要求送信部１５２は、第１動画像データを画像再生部１５５が再生中に、第１動画像データに関連する第２動画像データの検索を要求するための第１向きのスワイプ操作を操作受付部１５１が受け付けた場合に、第２動画像データを検索させるための検索要求を画像配信装置２に送信する。要求送信部１５２は、第１動画像データを識別するための識別情報を含む検索要求を画像配信装置２に送信する。検索要求が第１動画像データの識別情報を含んでいることにより、画像配信装置２は、画像表示装置１で再生中の動画像データが第１動画像データであることを特定し、第１動画像データに関連する第２動画像データを検索することができる。
The
データ取得部１５３は、通信部１１を介して動画像データを取得する。データ取得部１５３は、例えば、要求送信部１５２が画像配信装置２に検索要求を送信したことに応じて画像配信装置２が送信した第２動画像データを取得する。データ取得部１５３は、取得した動画像データを画像再生部１５５に入力する。データ取得部１５３は、取得した動画像データを記憶部１４に保存してもよい。
The
データ取得部１５３は、表示部１２に第１動画像データが表示されている状態で操作受付部１５１が第１動画像データに関連する第２動画像データの検索を要求するための第１向きのスワイプ操作を受け付けた場合に、画像配信装置２から第２動画像データを取得する。具体的には、図２（ａ）の状態で操作受付部１５１が第１向き（図２（ａ）においては右向き）のスワイプ操作を受け付けた場合に、画像配信装置２から第２動画像データを取得する。
The
表示制御部１５４は、各種の情報又は動画像データを含む画面データを作成し、各種の情報又は動画像データを表示部１２に表示させる。表示制御部１５４は、例えば第１動画像データ又は第２動画像データの少なくともいずれかを表示部１２に表示させる。表示制御部１５４は、画像再生部１５５が第１動画像データを再生中に、第１動画像データに関連する動画像データが存在することを示す通知情報を表示部に表示させてもよい。表示制御部１５４は、例えば、第１動画像データに関連付けて、第１動画像データに関連する動画像データが存在すること、又は動画像データが存在する時間帯を示す情報が画像配信装置２から送信されている場合に、記憶部１４に記憶された当該情報を参照することにより通知情報を表示部１２に表示させる。
The
通知情報は、例えば、「表示中の動画像に関連する動画像があります」又は「表示中の動画像にシンクロする動画像があります」といった表示であってもよく、第１動画像データの再生が可能な時間帯を示すスライドバー画像に重ねられた、第２動画像データを再生可能な時間帯を示す画像であってもよい。表示制御部１５４がこのような通知情報を表示部１２に表示させることで、ユーザが、第１動画像データに関連する第２動画像データを検索可能であることを把握できる。
The notification information may be, for example, a display such as "there is a moving image related to the moving image being displayed" or "there is a moving image synchronized with the moving image being displayed", and the reproduction of the first moving image data is performed. It may be an image showing a time zone in which the second moving image data can be reproduced, which is superimposed on the slide bar image showing the time zone in which the data can be reproduced. By displaying such notification information on the
なお、表示制御部１５４は、動画像データ及び通知情報の他に、動画像データに含まれている人やオブジェクトに関する情報（例えば動画、静止画、テキスト）を表示してもよい。ユーザは、このような情報を見ることにより、関心がある人やオブジェクトについて詳しく把握したり、オブジェクトを購入したりすることができる。
In addition to the moving image data and the notification information, the
画像再生部１５５は、第１動画像データ及び第２動画像データの少なくともいずれかを再生する。具体的には、画像再生部１５５は、所定のフォーマットで符号化された第１動画像データ及び第２動画像データを復号することにより再生するためのデコーダ（復号器）を有する。画像再生部１５５は、再生中の動画像データを、表示制御部１５４を介して表示部１２に表示させる。
The
画像再生部１５５は、データ取得部１５３が第２動画像データを取得すると第２動画像データの再生を開始し、再生した第２動画像データを画面に表示させる。具体的には、図２（ａ）の状態で操作受付部１５１が第１の向き（図２（ａ）においては右向き）のスワイプ操作を受け付けた場合に、データ取得部１５３が取得した第２動画像データの再生を開始する。画像再生部１５５が第２動画像データの再生を開始することで、図２（ａ）の画面から切り替わった画面上に、第２動画像データが表示される。
When the
画像再生部１５５は、データ取得部１５３が第２動画像データを取得すると、第１動画像データの再生を停止してから第２動画像データの再生を開始してもよい。画像再生部１５５がこのように動作することで、画像再生部１５５が１つのデコーダを有する場合に、画像再生部１５５が第２動画像データの再生を開始することができる。また、画像再生部１５５が再生する動画像データを切り替えることにより、画像再生部１５５が第１動画像データの表示を停止するように表示制御部１５４に指示することなく、表示部１２に表示される動画像データを第２動画像データに切り替えることができる。
When the
画像再生部１５５は、第２動画像データを再生中に第１向きと異なる第２向きのスワイプ操作を操作受付部１５１が受け付けた場合に、第１動画像データを画面に表示させてもよい。図２に示した例の場合、図２（ｂ）のように第２動画像データが表示されている状態で、ユーザが左向きのスワイプ操作をした場合に、画像再生部１５５は、第２動画像データから第１動画像データに切り替える。画像再生部１５５は、第２動画像データを画像再生部１５５が再生中に、第２向きのスワイプ操作を操作受付部１５１が受け付けた場合に、第２動画像データの再生を停止してから第１動画像データの再生を開始してもよい。
The
画像再生部１５５は、複数のデコーダを有していてもよい。この場合、画像再生部１５５は、検索操作の種別によって、検索された第２動画像データのみを再生するか、第１動画像データ及び第２動画像データの両方を再生するかを決定してもよい。一例として、画像再生部１５５は、操作受付部１５１が第１向きのスワイプ操作を受け付けた後に、データ取得部１５３が第２動画像データを取得すると、第１動画像データの再生を停止してから第２動画像データの再生を開始する。一方、画像再生部１５５は、操作受付部１５１が第１向きと異なる向きのスワイプ操作を受け付けた後には、データ取得部１５３が第２動画像データを取得すると、第１動画像データと第２動画像データとを同時に再生する。
The
図４は、第１動画像データ及び第２動画像データを同時に表示部１２に表示する動作を説明するための図である。図４（ａ）は、図２（ａ）と同様に第１動画像データが表示されている状態を示している。
FIG. 4 is a diagram for explaining an operation of simultaneously displaying the first moving image data and the second moving image data on the
図４（ａ）に示す状態で、操作受付部１５１が第１向き及び第２向きと異なる第３向き（図４においては下向き）のスワイプ操作を受け付けた場合、画像再生部１５５は、下向きのスワイプ操作に応じて要求送信部１５２が検索要求を送信したことに応じてデータ取得部１５３が取得した第２動画像データを、第１動画像データとともに再生する。その結果、表示部１２には、図４（ｂ）に示すように第１動画像データと第２動画像データとが同時に表示される。制御部１５がこのように動作することで、ユーザは、スワイプ操作の向きによって、表示部１２に第２動画像データだけを表示させるか、第１動画像データ及び第２動画像データを同時に表示させるかを容易に切り替えることができる。画像再生部１５５は、画面上のアイコンにタッチする操作が行われた場合に画面を分割して、複数の動画像データを同時に表示部１２に表示させてもよい。この場合、操作受付部１５１は、どちらの動画像データの音声を出力するかをアイコン選択操作により受け付けてもよい。
In the state shown in FIG. 4A, when the
［検索要求の内容］
操作受付部１５１は、画像再生部１５５が第２動画像データを再生中に、第１動画像データに関連し第２動画像データと異なる第３動画像データを検索要求するための追加検索操作を受け付けてもよい。追加検索操作は、例えば、第１向きと同じ向きであり、図２（ｂ）に示した状態で行われる右向きのスワイプ操作である。
[Details of search request]
The
この場合、要求送信部１５２は、画像再生部１５５が第２動画像データを再生中に、第１動画像データを識別するための第１識別情報及び第２動画像データを識別するための第２識別情報を含む追加検索要求を送信する。追加検索要求において、第１識別情報は、関連する動画像データを検索する対象となる動画像データを識別するために用いられ、第２識別情報は、検索範囲から除外する動画像データを識別するために用いられる。要求送信部１５２がこのような追加検索要求を送信することで、ユーザは、見ている第２動画像データと異なり、かつ第１動画像データに関連する動画像データを容易に見ることができる。
In this case, the
また、第１動画像データに含まれている人やオブジェクトに関連する第２動画像データを画像配信装置２が検索できるように、要求送信部１５２は、操作受付部１５１が第１向きのスワイプ操作を受け付けた時点で画像再生部１５５が再生している第１動画像データに含まれている人若しくはオブジェクト、又は第１動画像データに含まれている音声を発している人を示す情報を含む検索要求を送信してもよい。要求送信部１５２は、例えば、第１動画像データに関連付けて記憶部１４に記憶されている、これらの人又はオブジェクトを示すテキスト情報を含む検索要求を送信する。
Further, in the
要求送信部１５２は、第１動画像データが表示部１２に表示されている画面上で行われたユーザの操作により特定される人又はオブジェクトを特定するためのテキスト情報を含む検索要求を送信してもよい。要求送信部１５２が、第１動画像データに含まれる人又はオブジェクトを特定することができるように、記憶部１４は、第１動画像データのフレーム及び座標に関連付けて、人又はオブジェクトを示すテキスト情報を記憶している。要求送信部１５２は、操作受付部１５１が、ユーザが画面にタッチする操作を受け付けた場合に、ユーザがタッチした時刻（第１動画像データの再生時刻）及びタッチした位置の座標に関連付けられた人又はオブジェクトを示すテキスト情報を含む検索要求を送信する。
The
要求送信部１５２は、スワイプ操作の起点となる位置に表示された人又はオブジェクトに対応するテキスト情報を含む検索要求を送信してもよい。要求送信部１５２がこのように動作することで、ユーザは、一つのスワイプ操作によって、第１動画像データに関連する第２動画像データを検索することを要求するとともに、第１動画像データのどの部分に類似する第２動画像データを検索するかを指定することができる。
The
要求送信部１５２は、第１動画像データに関連する第２動画像データを検索するスワイプ操作を受け付けた場合に、表示部１２に表示されている画面をキャプチャーして、キャプチャーした画面データを含む検索要求を画像配信装置２に送信してもよい。この場合、画像配信装置２は、送信された画面データを解析することにより、画面データに含まれる人又はオブジェクトが類似する第２動画像データを検索する。
When the
操作受付部１５１は、検索する対象となる第２動画像データの種別を指定する操作を受け付けてもよい。第２動画像データの種別としては、例えば、第１動画像データのパロディであるか、第１動画像データのベースになったオリジナルであるか、第１動画像データと同一のシリーズであるかといった種別があげられる。第２動画像データの種別は、第２動画像データの作成者、撮影監督、登場する俳優又は歌手であってもよい。
The
操作受付部１５１は、図２に示したようなスワイプ操作が行われた場合に、切替後の画面に表示する他の動画像データの検索条件を選択できるメニューを表示してもよい。操作受付部１５１は、例えば、「第１動画のパロディ動画を探す」、「第１動画の出演者が出演している他の動画を探す」、「第１動画の同じカテゴリー（種別）の人気動画を探す」といった選択肢を表示し、ユーザによる選択を受け付ける。
The
この場合、要求送信部１５２は、操作受付部１５１が受け付けた操作に対応する種別を示す検索要求を画像配信装置２に送信する。画像配信装置２は、第１動画像データに関連する複数の動画像データのうち、受信した検索要求が示す種別と一致する種別の動画像データを第２動画像データとして検索する。画像配信装置２は、第２動画像データの候補となる動画像データが複数ある場合、複数の第２動画像データを画像表示装置１に配信してもよく、最も類似する一つの第２動画像データを画像表示装置１に配信してもよい。
In this case, the
操作受付部１５１は、スワイプ操作を受け付けた後に、関連する動画像データの検索要求を要求送信部１５２が送信した場合、表示制御部１５４は、「検索中」という表示を行い、画像配信装置２から動画像データが配信された時点で、検索結果として動画像一覧を表示してもよい。その際、表示制御部１５４は、検索条件の内容（例えば、「第１動画に出演していた○○○○に関連する動画」）を表示してもよい。いずれかの動画像データが選択されると、データ取得部１５３が選択された動画像データを取得して、画像再生部１５５が再生を開始する。
When the
操作受付部１５１は、第２動画像データが第１動画像データに類似する要素を選択する操作を受け付けてもよい。類似する要素は、被写体の声、動作、又は表情である。操作受付部１５１は、一つの要素の選択を受け付けてもよく、複数の要素の選択を受け付けてもよい。
The
また、操作受付部１５１は、それぞれの要素の優先度を指定する操作をさらに受け付けてもよい。例えば、ユーザが、第１被写体Ｃ１と声がそっくりで、動作も似ている第２被写体Ｃ２が写っている第２動画像データを見たいという場合に、操作受付部１５１は、第１優先度が動作であり、第２優先度が声であることを指定する操作を受け付ける。操作受付部１５１は、選択された要素を要求送信部１５２に通知し、要求送信部１５２は、選択された要素を示す検索要求を画像配信装置２に送信する。
Further, the
［画像配信装置２の構成］
図５は、画像配信装置２の構成を示す図である。画像配信装置２は、通信部２１と、記憶部２２と、制御部２３とを有する。制御部２３は、要求受信部２３１と検索部２３２とを有する。
[Configuration of image distribution device 2]
FIG. 5 is a diagram showing the configuration of the image distribution device 2. The image distribution device 2 has a
通信部２１は、ネットワークＮを介して通信部２１との間でデータを送受信するための通信インターフェースを含む。通信部２１は、例えば、画像表示装置１が送信した検索要求を受信する。また、通信部２１は、検索部２３２が検索した動画像データを送信する。
The
記憶部２２は、例えばＲＯＭ、ＲＡＭ及びハードディスクを有しており、複数の動画像データを記憶している。また、記憶部２２は、制御部２３が実行するプログラムを記憶している。
The
制御部２３は、例えばＣＰＵを含んでおり、記憶部２２に記憶されたプログラムを実行することにより、要求受信部２３１及び検索部２３２として機能する。
The
要求受信部２３１は、通信部２１を介して、画像表示装置１が送信した検索要求を受信する。要求受信部２３１は、受信した検索要求を検索部２３２に通知する。検索要求に、第１動画像データを識別するための識別情報、第１動画像データに含まれている人又はオブジェクトを示すテキスト情報、又は検索する対象となる動画像データの種別を示す情報等が含まれている場合、要求受信部２３１は、それらの情報を抽出し、抽出した情報を検索部２３２に通知する。
The
検索部２３２は、検索要求の通知を受けた場合に、記憶部２２に記憶されている複数の動画像データから、第１動画像データに関連する第２動画像データを検索する。検索部２３２は、検索した第２動画像データを、通信部２１を介して画像表示装置１に送信する。検索部２３２は、検索要求に、第１動画像データを識別するための識別情報、第１動画像データに含まれている人又はオブジェクトを示すテキスト情報、又は検索する対象となる動画像データの種別を示す情報等が含まれている場合、これらの情報に対応する第２動画像データを検索する。
When the
［画像表示システムＳにおける処理の流れ］
図６は、画像表示システムＳにおける処理の流れを示すシーケンス図である。図６に示すシーケンス図は、画像表示装置１を用いて動画像を見るユーザが動画像を再生するためのアプリケーションソフトウェアを起動した時点から開始している。
[Process flow in image display system S]
FIG. 6 is a sequence diagram showing a processing flow in the image display system S. The sequence diagram shown in FIG. 6 starts from the time when the user who views the moving image using the
まず、操作受付部１５１は、第１動画像データを再生するための操作を受け付ける（Ｓ１１）。操作受付部１５１が当該操作を受け付ける方法は任意であり、再生が可能な動画像データの一覧から１つの動画像データを選択する操作を受け付けてもよく、第１動画像データの名称又は種別を指定するための画面において、ユーザが再生を希望する第１動画像データの名称又は種別の入力を受け付けてもよい。
First, the
操作受付部１５１が第１動画像データを再生するための操作を受け付けると、要求送信部１５２が、第１動画像データを要求するための画像要求を画像配信装置２に送信する。画像配信装置２においては、要求受信部２３１が画像要求を受信したことに応じて、検索部２３２が第１動画像データを検索し、検索した第１動画像データを画像配信装置２に配信する。画像表示装置１においては、画像再生部１５５が第１動画像データを再生する（Ｓ１２）。
When the
画像再生部１５５が第１動画像データを再生している間に所定の向きのスワイプ操作を操作受付部１５１が受け付けた場合（Ｓ１３においてＹＥＳ）、要求送信部１５２は、検索要求を画像配信装置２に送信する。検索部２３２は、検索要求に含まれる条件に基づいて、第１動画像データに関連する第２動画像データを検索する（Ｓ１４）。検索部２３２は、検索した第２動画像データを画像表示装置１に配信し、画像再生部１５５は、画像配信装置２が配信した第２動画像データを再生して表示部１２に表示させる（Ｓ１５）。
When the
［画像表示装置１による効果］
以上説明したように、要求送信部１５２は、第１動画像データを画像再生部１５５が再生中に、第１動画像データに関連する第２動画像データの検索を要求するための第１向きのスワイプ操作を操作受付部１５１が受け付けた場合に、第２動画像データを検索させるための検索要求を画像配信装置２に送信する。画像表示装置１がこのように構成されていることで、ユーザは、第１動画像データを視聴している間に、第１動画像データに関連する他の動画像データを視聴したいと考えた時点で、容易に他の動画像データを視聴し始めることが可能になる。
[Effect of image display device 1]
As described above, the
以上、本発明を実施の形態を用いて説明したが、本発明の技術的範囲は上記実施の形態に記載の範囲には限定されず、その要旨の範囲内で種々の変形及び変更が可能である。例えば、装置の全部又は一部は、任意の単位で機能的又は物理的に分散・統合して構成することができる。また、複数の実施の形態の任意の組み合わせによって生じる新たな実施の形態も、本発明の実施の形態に含まれる。組み合わせによって生じる新たな実施の形態の効果は、もとの実施の形態の効果を併せ持つ。 Although the present invention has been described above using the embodiments, the technical scope of the present invention is not limited to the scope described in the above embodiments, and various modifications and changes can be made within the scope of the gist. be. For example, all or part of the device can be functionally or physically distributed / integrated in any unit. Also included in the embodiments of the present invention are new embodiments resulting from any combination of the plurality of embodiments. The effect of the new embodiment produced by the combination has the effect of the original embodiment together.
１ 画像表示装置
２ 画像配信装置
１１ 通信部
１２ 表示部
１３ 操作部
１４ 記憶部
１５ 制御部
２１ 通信部
２２ 記憶部
２３ 制御部
１５１ 操作受付部
１５２ 要求送信部
１５３ データ取得部
１５４ 表示制御部
１５５ 画像再生部
２３１ 要求受信部
２３２ 検索部
1 Image display device 2
Claims (11)
前記動画像データを前記画像再生部が再生している間に、前記動画像データが表示されている画面上でスワイプ操作を受け付ける操作受付部と、
第１動画像データを前記画像再生部が再生中に、前記第１動画像データに関連する第２動画像データの検索を要求するための第１向きのスワイプ操作を前記操作受付部が受け付けた場合に、前記動画像データを配信する画像配信装置に前記第２動画像データを検索させるための検索要求を送信する要求送信部と、
前記検索要求に応じて前記画像配信装置が送信した前記第２動画像データを取得するデータ取得部と、
を有し、
前記画像再生部は、前記データ取得部が前記第２動画像データを取得すると前記第２動画像データの再生を開始し、再生した前記第２動画像データを前記画面上に表示させる、
画像表示装置。 An image playback unit that plays back moving image data,
An operation receiving unit that accepts a swipe operation on the screen on which the moving image data is displayed while the moving image data is being reproduced by the image reproducing unit.
While the image reproduction unit is playing back the first moving image data, the operation reception unit has received a first-direction swipe operation for requesting a search for the second moving image data related to the first moving image data. In this case, a request transmission unit that transmits a search request for causing the image distribution device that distributes the moving image data to search for the second moving image data, and
A data acquisition unit that acquires the second moving image data transmitted by the image distribution device in response to the search request, and a data acquisition unit.
Have,
When the data acquisition unit acquires the second moving image data, the image reproduction unit starts reproducing the second moving image data and displays the reproduced second moving image data on the screen.
Image display device.
請求項１に記載の画像表示装置。 When the data acquisition unit acquires the second moving image data, the image reproduction unit stops the reproduction of the first moving image data and then starts the reproduction of the second moving image data.
The image display device according to claim 1.
請求項１又は２に記載の画像表示装置。 When the operation receiving unit receives a swipe operation in a second direction different from the first direction while playing back the second moving image data, the image reproducing unit displays the first moving image data on the screen. Display,
The image display device according to claim 1 or 2.
請求項３に記載の画像表示装置。 The image reproduction unit stops reproduction of the second moving image data when the operation receiving unit accepts the swipe operation in the second direction while the image reproduction unit is reproducing the second moving image data. Then, the reproduction of the first moving image data is started.
The image display device according to claim 3.
請求項１から４のいずれか一項に記載の画像表示装置。 When the data acquisition unit acquires the second moving image data after the operation receiving unit receives the swipe operation in the first direction, the image reproduction unit stops the reproduction of the first moving image data. When the data acquisition unit acquires the second moving image data after the operation receiving unit receives a swipe operation in a direction different from the first direction, the second moving image data is reproduced. The 1st moving image data and the 2nd moving image data are reproduced at the same time.
The image display device according to any one of claims 1 to 4.
前記要求送信部は、前記画像再生部が前記第２動画像データを再生中に、前記第１動画像データを識別するための第１識別情報及び前記第２動画像データを識別するための第２識別情報を含む追加検索要求を送信する、
請求項１から５のいずれか一項に記載の画像表示装置。 The operation receiving unit is for requesting a search for a third moving image data related to the first moving image data and different from the second moving image data while the image reproducing unit is playing back the second moving image data. Accepts additional search operations,
The request transmission unit is a first identification information for identifying the first moving image data and a second for identifying the second moving image data while the image reproducing unit is reproducing the second moving image data. 2 Send an additional search request containing identification information,
The image display device according to any one of claims 1 to 5.
請求項１から６のいずれか一項に記載の画像表示装置。 The request transmission unit transmits the search request including information indicating voice or characters included in the first moving image data.
The image display device according to any one of claims 1 to 6.
請求項７に記載の画像表示装置。 The request transmission unit is a person or object included in the first moving image data being reproduced by the image reproduction unit at the time when the operation reception unit receives the first-direction swipe operation, or the first. (1) Sending the search request including information indicating a person who is making a sound contained in the moving image data.
The image display device according to claim 7.
前記要求送信部は、前記操作受付部が受け付けた操作に対応する前記種別を示す前記検索要求を送信する、
請求項１から８のいずれか一項に記載の画像表示装置。 The operation receiving unit receives an operation for designating the type of the second moving image data to be searched, and receives the operation.
The request transmission unit transmits the search request indicating the type corresponding to the operation received by the operation reception unit.
The image display device according to any one of claims 1 to 8.
請求項１から９のいずれか一項に記載の画像表示装置。 The image reproduction unit further includes a display control unit that displays information indicating that the second moving image data related to the first moving image data exists on the display unit while the first moving image data is being reproduced. ,
The image display device according to any one of claims 1 to 9.
第１動画像データを再生中に、前記第１動画像データが表示されている画面上で、前記第１動画像データに関連する第２動画像データを検索するための第１向きのスワイプ操作を受け付けるステップと、
動画像データを配信する画像配信装置に前記第２動画像データを検索させるための検索要求を送信するステップと、
前記画像配信装置が送信した前記第２動画像データを取得するステップと、
前記第２動画像データを取得すると、前記第２動画像データの再生を開始するステップと、
前記第２動画像データを取得すると前記第２動画像データの再生を開始し、再生した前記第２動画像データを前記画面上に表示させるステップと、
を実行させるためのプログラム。 On the computer
While playing back the first moving image data, a first-direction swipe operation for searching the second moving image data related to the first moving image data on the screen on which the first moving image data is displayed. And the steps to accept
A step of transmitting a search request for causing the image distribution device that distributes the moving image data to search for the second moving image data, and
The step of acquiring the second moving image data transmitted by the image distribution device, and
When the second moving image data is acquired, the step of starting the reproduction of the second moving image data and
When the second moving image data is acquired, the reproduction of the second moving image data is started, and the reproduced second moving image data is displayed on the screen.
A program to execute.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2020145391A JP6867541B1 (en) | 2020-08-31 | 2020-08-31 | Image display device and program |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2020145391A JP6867541B1 (en) | 2020-08-31 | 2020-08-31 | Image display device and program |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP6867541B1 JP6867541B1 (en) | 2021-04-28 |
| JP2022040602A true JP2022040602A (en) | 2022-03-11 |
Family
ID=75638934
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2020145391A Active JP6867541B1 (en) | 2020-08-31 | 2020-08-31 | Image display device and program |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP6867541B1 (en) |
Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2014142301A1 (en) * | 2013-03-15 | 2014-09-18 | 日本電気株式会社 | Information supply system, server device, video display device, information supply method, and program |
| WO2016194041A1 (en) * | 2015-05-29 | 2016-12-08 | 楽天株式会社 | Information processing device, information processing method and information processing program |
| US20170134795A1 (en) * | 2014-10-29 | 2017-05-11 | Spotify Ab | Method and an electronic device for playback of video |
| KR101818987B1 (en) * | 2016-10-13 | 2018-01-17 | 주식회사 엔비티 | Apparatus and method for displaying video contents thereof |
| JP2019122027A (en) * | 2018-11-09 | 2019-07-22 | 株式会社Ｚｅｐｐｅｌｉｎ | Captured moving image service system, captured moving image display method, communication terminal device and computer program |
| JP2019532422A (en) * | 2016-09-20 | 2019-11-07 | フェイスブック，インク． | Display keyframes for videos on online social networks |
| US10622017B1 (en) * | 2017-06-23 | 2020-04-14 | Hipsync Inc. | Apparatus, a system, and a method of dynamically generating video data |
-
2020
- 2020-08-31 JP JP2020145391A patent/JP6867541B1/en active Active
Patent Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2014142301A1 (en) * | 2013-03-15 | 2014-09-18 | 日本電気株式会社 | Information supply system, server device, video display device, information supply method, and program |
| US20170134795A1 (en) * | 2014-10-29 | 2017-05-11 | Spotify Ab | Method and an electronic device for playback of video |
| WO2016194041A1 (en) * | 2015-05-29 | 2016-12-08 | 楽天株式会社 | Information processing device, information processing method and information processing program |
| JP2019532422A (en) * | 2016-09-20 | 2019-11-07 | フェイスブック，インク． | Display keyframes for videos on online social networks |
| KR101818987B1 (en) * | 2016-10-13 | 2018-01-17 | 주식회사 엔비티 | Apparatus and method for displaying video contents thereof |
| US10622017B1 (en) * | 2017-06-23 | 2020-04-14 | Hipsync Inc. | Apparatus, a system, and a method of dynamically generating video data |
| JP2019122027A (en) * | 2018-11-09 | 2019-07-22 | 株式会社Ｚｅｐｐｅｌｉｎ | Captured moving image service system, captured moving image display method, communication terminal device and computer program |
Also Published As
| Publication number | Publication date |
|---|---|
| JP6867541B1 (en) | 2021-04-28 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US20200286185A1 (en) | Parallel echo version of media content for comment creation and delivery | |
| US11537267B2 (en) | Method and device for search page interaction, terminal and storage medium | |
| US10616624B2 (en) | Multi-angle video synchronization and multi-angle video interface | |
| KR102071579B1 (en) | Method for providing services using screen mirroring and apparatus thereof | |
| US8875212B2 (en) | Systems and methods for remote control of interactive video | |
| JP2024056690A (en) | Intelligent Automated Assistant for TV User Interaction - Patent application | |
| KR101564415B1 (en) | Method and apparatus for playing contents by integrated channel management | |
| KR20120080410A (en) | Contents synchronization apparatus and method for providing synchronized interaction | |
| KR20090085791A (en) | Apparatus for serving multimedia contents and method thereof, and multimedia contents service system having the same | |
| KR20160147978A (en) | Displaying data associated with a program based on automatic recognition | |
| JP2010268103A (en) | Client terminal and computer program for moving picture distribution service | |
| JP2007300563A (en) | Multimedia reproduction device, menu screen display method, menu screen display program, and computer readable storage media storing menu screen display program | |
| JP6867541B1 (en) | Image display device and program | |
| JP4686990B2 (en) | Content processing system, content processing method, and computer program | |
| JP5525154B2 (en) | Content display device | |
| JP2002229996A (en) | Apparatus and method for displaying search result, and program therefor | |
| JP4269980B2 (en) | Content processing system, content processing method, and computer program | |
| JP6959462B1 (en) | Image display device, program and image display system | |
| JP2008090526A (en) | Conference information storage device, system, conference information display device, and program | |
| JP2010128755A (en) | Information processor, display control method, and program | |
| JP4096670B2 (en) | Image playback system | |
| JP6872067B1 (en) | Image display device and program | |
| JP2005260512A (en) | System and method for processing content, and computer program | |
| JP2016009262A (en) | Moving image processing device, moving image processing program, and moving image processing method | |
| JP2016015621A (en) | Content reproduction apparatus, program for content reproduction, content reproduction method, and content reproduction system |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20200917 |
|
| A871 | Explanation of circumstances concerning accelerated examination |
Free format text: JAPANESE INTERMEDIATE CODE: A871 Effective date: 20200917 |
|
| A975 | Report on accelerated examination |
Free format text: JAPANESE INTERMEDIATE CODE: A971005 Effective date: 20201201 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20201222 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20210209 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20210323 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20210408 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 6867541 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |