JP2023154820A - Information processing device and program - Google Patents

Information processing device and program Download PDF

Info

Publication number
JP2023154820A
JP2023154820A JP2022064410A JP2022064410A JP2023154820A JP 2023154820 A JP2023154820 A JP 2023154820A JP 2022064410 A JP2022064410 A JP 2022064410A JP 2022064410 A JP2022064410 A JP 2022064410A JP 2023154820 A JP2023154820 A JP 2023154820A
Authority
JP
Japan
Prior art keywords
video
user terminal
user
information processing
unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2022064410A
Other languages
Japanese (ja)
Other versions
JP7474521B2 (en
Inventor
通広 手塚
Michihiro Tezuka
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
San Ei Tsushin Kougyo Ltd
Original Assignee
San Ei Tsushin Kougyo Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by San Ei Tsushin Kougyo Ltd filed Critical San Ei Tsushin Kougyo Ltd
Priority to JP2022064410A priority Critical patent/JP7474521B2/en
Publication of JP2023154820A publication Critical patent/JP2023154820A/en
Application granted granted Critical
Publication of JP7474521B2 publication Critical patent/JP7474521B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Abstract

To provide an information processing device and a program that make it easier for people watching videos to communicate with a video distributor.SOLUTION: An information processing device includes a video reception unit that accepts videos being shot from a camera, a transmission unit that transmits the video received by the video reception unit to a user terminal, an operation reception unit that receives a predetermined operation from a user from the user terminal, a storage unit that stores, in a storage unit, a still image of the video being played at the time when the user from the user terminal performs the predetermined operation, which is received by the operation reception unit, and a notification unit that notifies a predetermined person of the still image stored by the storage unit.SELECTED DRAWING: Figure 1

Description

本発明は、情報処理装置及びプログラムに関する。 The present invention relates to an information processing device and a program.

従来、動物園内にカメラを備え、カメラで撮影された動画をインターネットを介して視聴可能にする動画像配信システムが知られている(例えば、特許文献1参照)。 2. Description of the Related Art Conventionally, there has been known a video distribution system that includes a camera in a zoo and allows videos taken by the camera to be viewed over the Internet (for example, see Patent Document 1).

特開2002-77854号公報Japanese Patent Application Publication No. 2002-77854

しかし、動物園が予め用意した動画を配信しており、動画を視聴していて気が付いたことなどがあった場合であっても、動物園の職員などに知らせることができず、動物園に行ったかのような体験をさせるには不十分であった。 However, zoos are distributing pre-prepared videos, and even if you notice something while watching a video, you are unable to notify zoo staff or others, and the situation may be as if you had gone to the zoo. It wasn't enough for me to experience it.

そこで、本願発明は、上記の点に鑑みてなされたものであり、動画を視聴している者が動画の配信者とコミュニケーションを取りやすくすることが可能な情報処理装置及びプログラムを提供することを目的とする。 Therefore, the present invention has been made in view of the above points, and aims to provide an information processing device and a program that allow a person viewing a video to easily communicate with a video distributor. purpose.

第1の態様の情報処理装置は、カメラから撮影中の動画を受け付ける動画受付部と、前記動画受付部が受け付けた前記動画をユーザ端末に送信する送信部と、前記ユーザ端末からのユーザの予め定められた操作を受け付ける操作受付部と、前記操作受付部により受け付けた前記ユーザ端末からのユーザが前記予め定められた操作をした時点の再生中の前記動画の静止画を記憶部に保存する保存部と、前記保存部により保存された前記静止画を予め定められた者に報知する報知部と、を備える。 The information processing device according to the first aspect includes: a video reception unit that receives a video being shot from a camera; a transmission unit that transmits the video received by the video reception unit to a user terminal; an operation reception unit that receives a predetermined operation; and a storage unit that stores in a storage unit a still image of the video being played at the time when the user from the user terminal performs the predetermined operation, which is received by the operation reception unit. and a notification unit that notifies a predetermined person of the still image stored by the storage unit.

第1の態様の情報処理装置によれば、動画を視聴している者が動画の配信者とコミュニケーションを取りやすくすることが可能な情報処理装置を提供することができる。 According to the information processing device of the first aspect, it is possible to provide an information processing device that allows a person viewing a video to easily communicate with a distributor of the video.

また、第2の態様の情報処理装置は、前記ユーザ端末は、ユーザの操作を受け付けるタッチパネル方式の表示部を備え、前記予め定められた操作は、前記表示部に表示され、ユーザが前記予め定められた者とコミュニケーションを取るための画像をタッチする操作である。 Further, in the information processing device according to the second aspect, the user terminal includes a touch panel type display unit that receives user operations, and the predetermined operation is displayed on the display unit, and the user terminal This is an operation of touching an image to communicate with the person being contacted.

第2の態様の情報処理装置によれば、動画を再生中のユーザ端末の表示部をタッチするだけで予め定められた者とコミュニケーションを取ることが可能となる。 According to the information processing device of the second aspect, it is possible to communicate with a predetermined person simply by touching the display section of the user terminal that is playing a video.

また、第3の態様の情報処理装置は、前記静止画は、前記予め定められた操作がされた際のユーザ端末の前記表示部で再生中の動画のスクリーンショットである。 Further, in the information processing apparatus according to the third aspect, the still image is a screenshot of a moving image being played on the display unit of the user terminal when the predetermined operation is performed.

第3の態様の情報処理装置によれば、スクリーンショットにより、表示部で再生中の動画の静止画を取得することが可能となる。 According to the information processing device of the third aspect, it is possible to obtain a still image of a moving image being played back on the display unit by using a screenshot.

また、第4の態様の情報処理装置は、同一の撮影範囲を異なる設置位置から撮影する複数の前記カメラから受け付けた動画のうち、隣り合う前記設置位置の複数の前記カメラにより撮影された前記動画を構成するフレームの画像同士を合成して1つの合成動画を生成する合成部を備え、前記送信部は、前記合成した動画をユーザ端末に送信する。 Further, the information processing device according to the fourth aspect is configured to provide the information processing apparatus, which is configured to provide a video camera that is photographed by a plurality of cameras at adjacent installation positions, among videos received from a plurality of cameras that photograph the same shooting range from different installation positions. The transmitting unit transmits the synthesized moving image to a user terminal.

第4の態様の情報処理装置によれば、1つのカメラで撮影されている動画に比べ、広大なエリアを1つの動画で視聴することが可能となる。また、カメラを切り替えることなく、様々な角度から撮影された動物を視聴することが可能となる。 According to the information processing device of the fourth aspect, it is possible to view a vast area with one video, compared to a video shot with one camera. Furthermore, it becomes possible to view animals photographed from various angles without switching cameras.

また、第5の態様の情報処理装置は、前記カメラは、地表面と水平方向から撮影対象を撮影する。 Further, in the information processing apparatus according to the fifth aspect, the camera photographs the object from a ground surface and a horizontal direction.

第5の態様の情報処理装置によれば、人の目で見る角度の動画を撮影することができ、カメラの設置場所に居るかのような体験をさせることが可能となる。 According to the information processing device of the fifth aspect, it is possible to shoot a moving image at an angle seen by the human eye, and it is possible to make the user experience as if they were at the location where the camera is installed.

また、第6の態様の情報処理装置は、前記撮影対象は、動物園の特定のエリアである。 Further, in the information processing device of the sixth aspect, the photographing target is a specific area of a zoo.

第6の態様の情報処理装置によれば、動物園に行ったかのような体験をさせることが可能となる。 According to the information processing device of the sixth aspect, it is possible to provide an experience as if going to a zoo.

また、第7の態様のプログラムは、コンピュータを、カメラから撮影中の動画を受け付ける動画受付部と、前記動画受付部が受け付けた前記動画をユーザ端末に送信する送信部と、前記ユーザ端末からのユーザの予め定められた操作を受け付ける操作受付部と、前記操作受付部により受け付けた前記ユーザ端末からのユーザが前記予め定められた操作をした時点の再生中の前記動画の静止画を記憶部に保存する保存部と、前記保存部により保存された前記静止画を予め定められた者に報知する報知部と、して機能させる。 The program according to the seventh aspect also includes a computer including a video reception unit that receives a video being shot from a camera, a transmission unit that transmits the video received by the video reception unit to a user terminal, and a video reception unit that transmits the video received by the video reception unit to a user terminal. an operation reception unit that accepts a predetermined operation by a user; and a storage unit that stores a still image of the video being played at the time when the user performs the predetermined operation from the user terminal received by the operation reception unit. It functions as a storage unit that stores the still image and a notification unit that notifies a predetermined person of the still image stored by the storage unit.

第7の態様のプログラムによれば、動画を視聴している者が動画の配信者とコミュニケーションを取りやすくすることが可能な情報処理装置のプログラムを提供することができる。 According to the program of the seventh aspect, it is possible to provide a program for an information processing device that allows a person viewing a video to easily communicate with a distributor of the video.

本発明によれば、動画を視聴している者が動画の配信者とコミュニケーションを取りやすくすることが可能な情報処理装置及びプログラムを提供することができる。 According to the present invention, it is possible to provide an information processing device and a program that allow a person viewing a video to easily communicate with a distributor of the video.

本発明の実施の形態に係る情報処理システムの概略構成図である。1 is a schematic configuration diagram of an information processing system according to an embodiment of the present invention. 本発明の実施の形態に係る情報処理装置の概略ブロック図である。1 is a schematic block diagram of an information processing device according to an embodiment of the present invention. 本発明の実施の形態に係るユーザ端末の概略ブロック図である。FIG. 1 is a schematic block diagram of a user terminal according to an embodiment of the present invention. 本発明の実施の形態に係る情報処理装置の機能構成の例を示すブロック図である。1 is a block diagram showing an example of a functional configuration of an information processing device according to an embodiment of the present invention. FIG. 本発明の実施の形態に係るサーバ装置による操作受け付け処理の流れの一例を示すフローチャートである。It is a flowchart which shows an example of the flow of operation acceptance processing by the server device concerning an embodiment of the present invention. 本発明の実施の形態に係る動物園のウェブサイトの一例であり、カメラ毎の動画へのリンクの一例を示す図である。It is an example of the website of the zoo based on embodiment of this invention, and is a figure which shows an example of the link to the video for each camera. 本発明の実施の形態に係るユーザ端末で動画を表示している一例を示す図である。FIG. 2 is a diagram illustrating an example of displaying a moving image on a user terminal according to an embodiment of the present invention. 本発明の実施の形態に係るカメラの配置を、動物園を上方から見た状態で説明するための説明図である。FIG. 2 is an explanatory diagram for explaining the arrangement of cameras according to an embodiment of the present invention, with a zoo viewed from above. 本発明の実施の形態に係るユーザ端末で合成動画を表示している一例を示す図である。FIG. 3 is a diagram illustrating an example of displaying a composite video on a user terminal according to an embodiment of the present invention.

以下、本発明の実施の形態の一例を、図面を参照しつつ説明する。なお、各図面において同一または等価な構成要素および部分には同一の参照符号を付与している。また、図面の寸法比率は、説明の都合上誇張されており、実際の比率とは異なる場合がある。 An example of an embodiment of the present invention will be described below with reference to the drawings. In addition, the same reference numerals are given to the same or equivalent components and parts in each drawing. Furthermore, the dimensional ratios in the drawings are exaggerated for convenience of explanation and may differ from the actual ratios.

図1を用いて、本実施の形態に係る情報処理システム10の一例を説明する。
図1は、本実施の形態に係る情報処理システム10の概略構成の一例を示す図である。
図1に示すように、本実施の形態に係る情報処理システム10は、ネットワークNに接続されるサーバ装置100と、映像を視聴するユーザが使用し、ネットワークNと接続されるユーザ端末200と、管理者が使用し、ネットワークNと接続される管理者端末300と、ネットワークNと接続されるカメラ400、とを備えている。このネットワークNには、例えば、ローカル5G(5th Generation Mobile Communication System:第5世代移動通信システム)、LAN(=Local Area Network)、WAN(=Wide Area Network)、インターネット等が適用される。ここで、本実施形態では、サーバ装置100は、情報処理装置の一例である。また、ユーザ端末200と、カメラ400とを、複数台備えている。
An example of an information processing system 10 according to the present embodiment will be described using FIG. 1.
FIG. 1 is a diagram showing an example of a schematic configuration of an information processing system 10 according to the present embodiment.
As shown in FIG. 1, the information processing system 10 according to the present embodiment includes a server device 100 connected to a network N, a user terminal 200 used by a user who views video and connected to the network N, It includes an administrator terminal 300 that is used by an administrator and is connected to network N, and a camera 400 that is connected to network N. For example, local 5G (5th Generation Mobile Communication System), LAN (Local Area Network), WAN (Wide Area Network), the Internet, etc. are applied to this network N. Here, in this embodiment, the server device 100 is an example of an information processing device. Furthermore, a plurality of user terminals 200 and cameras 400 are provided.

ユーザ端末200は、ユーザが動物園の映像を視聴する際に使用する装置であり、本実施形態では、ユーザが所有するスマートフォン型やタブレット型の端末装置である。 The user terminal 200 is a device used by the user when viewing videos of the zoo, and in this embodiment, is a smartphone-type or tablet-type terminal device owned by the user.

管理者端末300は、動物園内の管理人室などに設置され、情報処理システム10の管理者が使用する装置である。なお、管理者端末300は、サーバ装置100が兼ねてもよい。 The manager terminal 300 is a device installed in a manager's room in a zoo, etc., and used by the manager of the information processing system 10. Note that the server device 100 may also serve as the administrator terminal 300.

カメラ400は、動物園内に設置され、動物園の特定のエリア、例えば、動物園の動物の展示エリアを撮影対象とする。また、カメラ400により撮影されているリアルタイム動画は、サーバ装置100にネットワークNを介して送信されている。そして、ユーザ端末200からの操作に応じて、サーバ装置100からリアルタイム動画が送信されることで、ユーザがユーザ端末200を用いて、動物園内のリアルタイム動画を視聴することが可能となる。また、カメラ400は、動物園内の複数箇所に設置され、ユーザが動物園内の見たいエリアに設置されているカメラ400を選択して、当該カメラ400の動画を視聴可能にすることが望ましい。 The camera 400 is installed in a zoo, and targets a specific area of the zoo, for example, an animal exhibit area of the zoo. Further, the real-time video captured by the camera 400 is transmitted to the server device 100 via the network N. Then, in response to an operation from the user terminal 200, the server device 100 transmits the real-time video, so that the user can use the user terminal 200 to view the real-time video inside the zoo. Further, it is preferable that the cameras 400 be installed at a plurality of locations in the zoo, and that the user can select the camera 400 installed in the area in the zoo that he or she wants to view, and view the moving image of the camera 400.

また、カメラ400は、地表面と水平方向から撮影対象を撮影する。すなわち、動物園の見学者が自らの目で見る角度の動画を撮影可能にしている。そのため、カメラ400の地表面からの高さは人の目の高さ程度であることが望ましい。なお、カメラ400は地表面と水平方向から撮影対象を撮影するものに限定されず、動物園の見学者が自らの目では見ることができない角度の動画を撮影するようにしてもよい。また、カメラ400は、動物園に固定されている場合に限定されず、例えば、飼育員の頭に取り付けたカメラや、飼育員が手に持っているカメラであってもよいし、又、動物園内を飛ぶドローンに取り付けたカメラであってもよい。 Furthermore, the camera 400 photographs the object from the ground surface and in the horizontal direction. In other words, it allows zoo visitors to record videos from the angle they see with their own eyes. Therefore, it is desirable that the height of the camera 400 from the ground surface be approximately the height of the human eye. Note that the camera 400 is not limited to the one that photographs the subject from the ground surface and the horizontal direction, but may also be configured to photograph a video from an angle that zoo visitors cannot see with their own eyes. Furthermore, the camera 400 is not limited to being fixed at a zoo; for example, it may be a camera attached to the head of a zookeeper, a camera held in the hand of a zookeeper, or a camera inside the zoo. It may also be a camera attached to a flying drone.

また、カメラ400は、動物園内の動物が展示されているエリアを向けて設置され、動物園の来園者が通る通路や観客席など、動物園の来園者が写るエリアに向けて設置されないことが望ましい。動物園の来園者が写るエリアがカメラの撮影範囲内に入ってしまう場合は、ユーザ端末200に送信される動画には、人の顔を画像認識し、当該顔をぼかす処理などを施すことが望ましい。 Furthermore, the camera 400 is installed facing the area where animals are exhibited in the zoo, and is not installed facing the area where the zoo visitors are photographed, such as the passageway through which the zoo visitors pass or the audience seats. desirable. If the area where zoo visitors are photographed falls within the shooting range of the camera, the video sent to the user terminal 200 may be subjected to image recognition of the human face and processing such as blurring the face. desirable.

(サーバ装置100)
図2は、本実施の形態に係るサーバ装置100のハードウェア構成を示すブロック図である。
(Server device 100)
FIG. 2 is a block diagram showing the hardware configuration of server device 100 according to this embodiment.

図2に示すように、本実施の形態に係るサーバ装置100は、CPU(Central Processing Unit)101、ROM(Read Only Memory)102、RAM(Random Access Memory)103、記憶部104、及び通信インタフェース105、を備えている。各構成は、バス106を介して相互に通信可能に接続されている。 As shown in FIG. 2, the server device 100 according to the present embodiment includes a CPU (Central Processing Unit) 101, a ROM (Read Only Memory) 102, a RAM (Random Access Memory) 103, a storage unit 104, and a communication interface 10. 5 , is equipped with. Each configuration is communicably connected to each other via a bus 106.

CPU101は、中央演算処理ユニットであり、各種プログラムを実行したり、各部を制御したりする。すなわち、CPU101は、ROM102又は記憶部104からプログラムを読み出し、RAM103を作業領域としてプログラムを実行する。CPU101は、ROM102又は記憶部104に記録されているプログラムにしたがって、上記各構成の制御及び各種の演算処理を行う。本実施形態では、ROM102又は記憶部104には、プログラムが格納されている。 The CPU 101 is a central processing unit that executes various programs and controls various parts. That is, the CPU 101 reads a program from the ROM 102 or the storage unit 104 and executes the program using the RAM 103 as a work area. The CPU 101 controls each of the above-mentioned components and performs various calculation processes according to programs recorded in the ROM 102 or the storage unit 104. In this embodiment, a program is stored in the ROM 102 or the storage unit 104.

ROM102は、各種プログラム及び各種データを格納する。RAM103は、作業領域として一時的にプログラム又はデータを記憶する。記憶部104は、HDD(Hard Disk Drive)、又はSSD(Solid State Drive)により構成され、オペレーティングシステムを含む各種プログラム、及び各種データを格納する。 ROM 102 stores various programs and various data. The RAM 103 temporarily stores programs or data as a work area. The storage unit 104 is configured with an HDD (Hard Disk Drive) or an SSD (Solid State Drive), and stores various programs including an operating system and various data.

ここで、本実施の形態における記憶部104に記憶される情報としては、例えば、カメラ400が撮影した動画や、ユーザ端末200から送信されてきた静止画などがある。 Here, the information stored in the storage unit 104 in this embodiment includes, for example, a moving image captured by the camera 400, a still image transmitted from the user terminal 200, and the like.

通信インタフェース105は、ネットワークNに接続されており、サーバ装置100をユーザ端末200や、管理者端末300、カメラ400などの他の機器と通信を行う。 The communication interface 105 is connected to the network N, and allows the server device 100 to communicate with other devices such as the user terminal 200, the administrator terminal 300, and the camera 400.

図3は、ユーザ端末200及び管理者端末300のハードウェア構成を示すブロック図である。ユーザ端末200及び管理者端末300は、基本的には一般的なコンピュータ構成であるため、ユーザ端末200を代表して説明する。 FIG. 3 is a block diagram showing the hardware configurations of the user terminal 200 and the administrator terminal 300. Since the user terminal 200 and the administrator terminal 300 basically have a general computer configuration, the user terminal 200 will be explained as a representative.

図3に示すように、本実施の形態に係るユーザ端末200は、CPU201、ROM202、RAM203、記憶部204、入力部205、表示部206及び通信インタフェース207、を備えている。各構成は、バス208を介して相互に通信可能に接続されている。 As shown in FIG. 3, the user terminal 200 according to the present embodiment includes a CPU 201, a ROM 202, a RAM 203, a storage section 204, an input section 205, a display section 206, and a communication interface 207. Each configuration is communicatively connected to each other via a bus 208.

CPU201は、中央演算処理ユニットであり、各種プログラムを実行したり、各部を制御したりする。すなわち、CPU201は、ROM202又は記憶部204からプログラムを読み出し、RAM203を作業領域としてプログラムを実行する。CPU201は、ROM202又は記憶部204に記録されているプログラムにしたがって、上記各構成の制御及び各種の演算処理を行う。本実施形態では、ROM202又は記憶部204には、プログラムが格納されている。 The CPU 201 is a central processing unit that executes various programs and controls various parts. That is, the CPU 201 reads a program from the ROM 202 or the storage unit 204 and executes the program using the RAM 203 as a work area. The CPU 201 controls each of the above components and performs various calculation processes according to programs recorded in the ROM 202 or the storage unit 204. In this embodiment, a program is stored in the ROM 202 or the storage unit 204.

ROM202は、各種プログラム及び各種データを格納する。RAM203は、作業領域として一時的にプログラム又はデータを記憶する。記憶部204は、HDD、又はSSDにより構成され、オペレーティングシステムを含む各種プログラム、及び各種データを格納する。 ROM 202 stores various programs and various data. The RAM 203 temporarily stores programs or data as a work area. The storage unit 204 is configured by an HDD or an SSD, and stores various programs including an operating system and various data.

入力部205は、マウス等のポインティングデバイス、およびキーボードを含み、各種の入力を行うために使用される。入力部205は、後述するように、要望の選択などに使用される。また、本実施形態では、タッチパネル方式の表示部206が入力部205として機能している。 The input unit 205 includes a pointing device such as a mouse and a keyboard, and is used to perform various inputs. The input unit 205 is used to select a request, etc., as will be described later. Further, in this embodiment, a touch panel display unit 206 functions as the input unit 205.

表示部206は、例えば、液晶ディスプレイである。表示部206は、CPU201の制御に基づき各種の情報を表示する。また、表示部206は、タッチパネル方式を採用して、入力部205としても機能する。 The display unit 206 is, for example, a liquid crystal display. The display unit 206 displays various information under the control of the CPU 201. Furthermore, the display section 206 employs a touch panel system and also functions as the input section 205.

通信インタフェース207は、ネットワークNに接続されており、ユーザ端末200をサーバ装置100や、管理者端末300などの他の機器と通信を行う。 The communication interface 207 is connected to the network N, and allows the user terminal 200 to communicate with other devices such as the server device 100 and the administrator terminal 300.

上記のプログラムを実行する際に、サーバ装置100は、上記のハードウェア資源を用いて、各種の機能を実現する。 When executing the above program, the server device 100 uses the above hardware resources to realize various functions.

次に、サーバ装置100が実現する機能構成について説明する。
図4は、サーバ装置100のCPU101の機能構成の例を示すブロック図である。
Next, the functional configuration realized by the server device 100 will be described.
FIG. 4 is a block diagram showing an example of the functional configuration of the CPU 101 of the server device 100.

図4に示すように、サーバ装置100は、機能構成として、動画受付部110、送信部111、操作受付部112、保存部113及び報知部114を有する。各機能構成は、CPU101がROM102又は記憶部104に記憶されたプログラムを読み出し、実行することにより実現される。 As shown in FIG. 4, the server device 100 has a video reception section 110, a transmission section 111, an operation reception section 112, a storage section 113, and a notification section 114 as functional configurations. Each functional configuration is realized by the CPU 101 reading and executing a program stored in the ROM 102 or the storage unit 104.

(動画受付部110)
動画受付部110は、カメラ400から撮影中の動画を受け付ける。すなわち、カメラ400で撮影されているリアルタイム動画を受け付ける。
(Video reception unit 110)
The video reception unit 110 receives a video being shot from the camera 400. That is, real-time video captured by camera 400 is accepted.

(送信部111)
送信部111は、動画受付部110が受け付けたリアルタイムの動画をユーザ端末200に送信する。すなわち、サーバ装置100にアクセスしてきたユーザ端末200のリクエストに応じて、カメラ400が撮影中のリアルタイム動画をユーザ端末200に送信して、ユーザ端末200で再生させる。
(Transmission unit 111)
The transmitter 111 transmits the real-time video received by the video receiver 110 to the user terminal 200. That is, in response to a request from a user terminal 200 that has accessed the server device 100, the real-time video being captured by the camera 400 is transmitted to the user terminal 200, and is played back on the user terminal 200.

(操作受付部112)
操作受付部112は、ユーザ端末200からのユーザの予め定められた操作を受け付ける。ここで、予め定められた操作は、表示部206で再生される動画に表示され、ユーザが予め定められた者とコミュニケーションを取るための画像Gをタッチする操作である。
(Operation reception unit 112)
The operation reception unit 112 receives a predetermined operation from the user from the user terminal 200. Here, the predetermined operation is an operation of touching the image G displayed in the video played on the display unit 206 and used by the user to communicate with a predetermined person.

(保存部113)
保存部113は、操作受付部112により受け付けたユーザ端末200からのユーザが予め定められた操作をした時点の再生中の動画の静止画を記憶部104に保存する。すなわち、ユーザが、予め定められた者とコミュニケーションを取るための画像Gを操作した際の再生中の動画のスクリーンショットが保存される。そして、静止画がユーザ端末200からサーバ装置100に送信され、記憶部104に保存される。なお、静止画をユーザ端末200からサーバ装置100に送信する方法は、静止画を送信できるものであれば、メールで送信するなど、どのような方法であってもよい。また、スクリーンショットがユーザ端末200からサーバ装置100に送信される場合に限定されず、CPU101が、ユーザにより画像Gが操作された日時から再生中の動画の静止画を抽出して記憶部104に保存するようにしてもよい。
(Storage unit 113)
The storage unit 113 stores, in the storage unit 104, a still image of the video being played at the time when the user from the user terminal 200 performs a predetermined operation, which is received by the operation reception unit 112. That is, a screenshot of the moving image being played when the user operates the image G for communicating with a predetermined person is saved. The still image is then transmitted from the user terminal 200 to the server device 100 and stored in the storage unit 104. Note that the still image may be sent from the user terminal 200 to the server device 100 by any method, such as sending by email, as long as the still image can be sent. Further, the present invention is not limited to the case where a screenshot is sent from the user terminal 200 to the server device 100, and the CPU 101 extracts a still image of the video being played based on the date and time when the image G was operated by the user and stores it in the storage unit 104. You may also save it.

(報知部114)
報知部114は、保存部113により保存された静止画を予め定められた者に報知する。
(Notification section 114)
The notification unit 114 notifies a predetermined person of the still image stored by the storage unit 113.

また、報知は、静止画をメールで予め定められた者が所有する端末(例えば、管理者端末300)に送信することなどにより行われる。また、かかる静止画の送信の際に、管理者端末300に設けられるスピーカから音声を出力することやランプを点灯することなどにより、静止画が送信されてきたことを報知しても良い。また、サーバ装置100にランプを備え、静止画を受け付けた場合は、ランプを点灯することにより、静止画が送信されてきたことを報知してもよい。 Further, the notification is performed by sending a still image via email to a terminal owned by a predetermined person (for example, the administrator terminal 300). Further, when such a still image is transmitted, the fact that the still image has been transmitted may be notified by outputting audio from a speaker provided in the administrator terminal 300, lighting a lamp, or the like. Further, if the server device 100 is equipped with a lamp and receives a still image, the lamp may be turned on to notify that the still image has been transmitted.

ここで、予め定められた者とは、情報処理システム10の管理者や、警備担当者などである。管理者や警備担当者に報知する場合は、動物が脱走している、現地にいる見学者が勝手に餌を与えている、不審者がいる、ゴミのポイ捨てがあった、など、リアルタイム動画を視聴しているユーザが当該リアルタイム動画を視聴していて気が付いたことを、当該場面の静止画を用いて管理者などに向けて知らせることで、動物園とユーザとのコミュニケーションが可能となる。この場合は、多くのユーザの目で動物園内の状況を確認できるため、既存の防犯カメラを補完することも期待できる。 Here, the predetermined person is the administrator of the information processing system 10, the person in charge of security, or the like. If you want to notify the administrator or security personnel, please send real-time video of an animal escaping, a visitor on site feeding it without permission, a suspicious person, or littering. Communication between the zoo and the user becomes possible by notifying the administrator or the like of what the user noticed while watching the real-time video using a still image of the scene. In this case, many users can see the situation inside the zoo, so it can be expected to complement existing security cameras.

また、予め定められた者は、動物園の飼育員などであってもよい。飼育員に報知する場合は、動物ショーの途中で送信されてきた静止画に写っている動物の説明を飼育員がカメラ400に向けて行うなどの行動をすることで、飼育員とユーザとのコミュニケーションを可能とする。これにより、実際にユーザが動物園で動物を見学しているかのような体験をさせることができる。また、飼育員が静止画に写っている動物をカメラ400に写りやすくすることで、ユーザが望む角度の動画を配信することも期待できる。 Further, the predetermined person may be a zookeeper or the like. When notifying the zookeeper, the zookeeper should take actions such as pointing the camera 400 at the camera 400 and explaining the animal in the still image sent during the animal show, thereby creating a connection between the zookeeper and the user. enable communication. This allows the user to have an experience as if they were actually visiting animals at a zoo. Furthermore, by making it easier for the zookeeper to capture the animal in the still image on the camera 400, it is also possible to deliver a video at the angle desired by the user.

次に、図5を用いてサーバ装置100の作用について説明する。図5は、サーバ装置100による操作受け付け処理の流れの一例を示すフローチャートである。CPU101がROM102又は記憶部104からプログラムを読み出して、展開して実行することにより、当該処理が行なわれる。また、本フローチャートの前提として、サーバ装置100は、カメラから動画を受け付けている(動画受付部110)。 Next, the operation of the server device 100 will be explained using FIG. 5. FIG. 5 is a flowchart illustrating an example of the flow of operation acceptance processing by the server device 100. The processing is performed by the CPU 101 reading the program from the ROM 102 or the storage unit 104, expanding it, and executing it. Further, as a premise of this flowchart, the server device 100 receives a video from a camera (video reception unit 110).

ステップS100において、サーバ装置100のCPU101により、ユーザ端末200から動画選択操作を受け付ける。具体的には、まず、ユーザがユーザ端末200を用いて、動物園のウェブサイトにアクセスする。図6は、動物園のウェブサイトの一例である。図6に示すように、動物園のウェブサイトでは、カメラ400毎に、「映像1」、「映像2」、「映像3」という動画へのリンクLが表示されている。そして、ユーザが、希望する動画へのリンクLを選択することで、動画が選択され、当該カメラ400が撮影しているリアルタイム動画を視聴可能としている。なお、カメラ400毎の動画へのリンクLは、図6に「映像1」などと表示するものに限定されず、他の表示、例えば、「チャンネル1(Ch.1)」、「チャンネル2(Ch.2)」、「チャンネル3(Ch.3)」などの表示であってもよい。そして、次のステップS101に進む。 In step S100, the CPU 101 of the server device 100 receives a video selection operation from the user terminal 200. Specifically, first, the user uses the user terminal 200 to access the zoo's website. FIG. 6 is an example of a zoo website. As shown in FIG. 6, on the zoo's website, links L to videos called "Video 1," "Video 2," and "Video 3" are displayed for each camera 400. When the user selects the link L to the desired video, the video is selected and the real-time video captured by the camera 400 can be viewed. Note that the link L to the video for each camera 400 is not limited to what is displayed as "Video 1" in FIG. It may be displayed as "Ch. 2)" or "Channel 3 (Ch. 3)". Then, the process advances to the next step S101.

ステップS101において、サーバ装置100のCPU101(送信部111)により、ステップS100でユーザが選択した動画がユーザ端末200に送信される。図7は、ユーザ端末200で動画を表示している一例である。図7に示すように、表示部206に表示される動画の上に「!」の画像Gが表示される。なお、画像Gは、図7に示すように、動画の上に重ねて表示される場合に限定されず、動画と重ねて表示されない場所、例えば、表示部206に表示される動画の再生に関するメニュー部分やユーザ端末200の操作に関するメニュー部分などに表示してもよい。そして、次のステップS102に進む。 In step S101, the CPU 101 (transmission unit 111) of the server device 100 transmits the video selected by the user in step S100 to the user terminal 200. FIG. 7 is an example in which a moving image is displayed on the user terminal 200. As shown in FIG. 7, an image G of “!” is displayed on the moving image displayed on the display unit 206. Note that the image G is not limited to being displayed over the video as shown in FIG. It may also be displayed in a section or a menu section related to the operation of the user terminal 200. Then, the process advances to the next step S102.

ステップS102において、サーバ装置100のCPU101(操作受付部112)により、ユーザ端末200から画像Gをタッチする操作を受け付けたか否かが判定される。画像Gをタッチする操作を受け付けたと判定された場合は、次のステップS103に進む。画像Gをタッチする操作を受け付けたと判定されない場合は、再度ステップS102となる。 In step S102, the CPU 101 (operation reception unit 112) of the server device 100 determines whether or not an operation for touching the image G is received from the user terminal 200. If it is determined that the operation of touching the image G has been accepted, the process advances to the next step S103. If it is not determined that the operation of touching the image G has been accepted, the process returns to step S102 again.

ステップS103において、サーバ装置100のCPU101(保存部113)により、ステップS102で画像Gをタッチした時点での再生中の動画の静止画が記憶部104に保存される。そして、次のステップS104に進む。 In step S103, the CPU 101 (storage unit 113) of the server device 100 saves in the storage unit 104 a still image of the moving image being played at the time when the image G is touched in step S102. Then, the process advances to the next step S104.

ステップS104において、サーバ装置100のCPU101(報知部114)により、ステップS103で保存された静止画が予め定められた者、例えば、情報処理システム10の管理者などに報知される。そして、処理を終了する。 In step S104, the CPU 101 (notifying unit 114) of the server device 100 notifies a predetermined person, such as the administrator of the information processing system 10, of the still image saved in step S103. Then, the process ends.

本実施の形態によれば、コミュニケーションを図り、どこに居ても動物園に行ったかのような体験をさせることができる。 According to this embodiment, it is possible to communicate and have an experience as if you were at a zoo, no matter where you are.

なお、本発明は、上述した実施の形態に限定されるものではなく、その趣旨を逸脱しない限りにおいて、上述したもの以外に種々の変更を行うことが可能である。 Note that the present invention is not limited to the embodiments described above, and various changes other than those described above can be made without departing from the spirit thereof.

例えば、上述した実施の形態は、動画は1つのカメラ400で撮影されている動画であるが、これに限定されない。隣り合う複数のカメラ400で撮影されている動画を合成して、1つの大きな解像度となる合成動画を生成し、当該合成動画をユーザ端末200に送信してもよい。 For example, in the embodiment described above, the moving image is a moving image shot by one camera 400, but the present invention is not limited to this. Videos captured by a plurality of adjacent cameras 400 may be combined to generate one composite video with a high resolution, and the composite video may be sent to the user terminal 200.

具体的には、図8に示すように、複数のカメラ400を、動物園の同一の撮影対象を異なる設置位置から撮影するように設置する。図8は、動物園を上方から見た状態を示す図である。図8に示す例では、動物園の特定のエリアを囲む位置に、複数(本例では6個)のカメラ400を設置している。 Specifically, as shown in FIG. 8, a plurality of cameras 400 are installed so as to photograph the same object in the zoo from different installation positions. FIG. 8 is a diagram showing the zoo viewed from above. In the example shown in FIG. 8, a plurality of cameras 400 (six in this example) are installed at positions surrounding a specific area of the zoo.

また、サーバ装置100に、機能構成として、同一の撮影範囲を異なる設置位置から撮影する複数のカメラ400から受け付けた動画のうち、隣り合う設置位置の複数のカメラ400により撮影された動画を構成するフレームの画像同士を合成して1つの合成動画を生成する合成部を備える。すなわち、隣り合う設置位置のカメラ400の動画を合成し、横方向に長い合成動画を生成する。 In addition, the server device 100 has a functional configuration that configures videos taken by a plurality of cameras 400 at adjacent installation positions among videos received from a plurality of cameras 400 that take images of the same shooting range from different installation positions. The apparatus includes a compositing unit that generates one composite moving image by compositing frame images. That is, videos from cameras 400 at adjacent installation positions are combined to generate a composite video that is long in the horizontal direction.

図9は、ユーザ端末200で合成動画を表示している一例である。図9では、カメラ400のうち、カメラA~カメラDの動画から横方向に長い合成動画を生成し、カメラBとカメラCとの動画を跨ぐ範囲の動画を視聴している状態を示している。また、図9に示すように、合成動画のうち、ユーザが視聴したい部分が表示部206に表示されるように、縦又は横方向にスクロール(図9中の矢印)可能としている。なお、動画の合成については既存の技術を使用するため説明を省略する。また、カメラ400は、複数のカメラ400で撮影できない死角がないように設置することが望ましいが、死角があることを排除するものではない。また、動画の合成は、複数のカメラ400から送信されてきた動画を全て合成する場合に限定されず、サーバ装置100の合成の処理を軽くするために、ユーザが視聴している範囲の動画のみ、すなわち、図9に示す例では、カメラBとカメラCとの動画のみを合成するようにしてもよい。 FIG. 9 is an example of a composite video being displayed on the user terminal 200. FIG. 9 shows a state in which a composite video that is long in the horizontal direction is generated from videos from cameras A to D among the cameras 400, and a video that spans the videos from cameras B and C is being viewed. . Further, as shown in FIG. 9, scrolling is enabled in the vertical or horizontal direction (arrows in FIG. 9) so that the portion of the composite video that the user wants to view is displayed on the display unit 206. Note that an existing technique is used for video synthesis, so a description thereof will be omitted. Furthermore, although it is desirable that the cameras 400 be installed so that there are no blind spots where the plurality of cameras 400 cannot capture images, the existence of blind spots is not excluded. Furthermore, the synthesis of videos is not limited to the case where all videos sent from a plurality of cameras 400 are combined, but in order to lighten the processing of combining on the server device 100, only videos within the range that the user is viewing are used. That is, in the example shown in FIG. 9, only the moving images of camera B and camera C may be combined.

送信部111は、合成部が合成した動画をユーザ端末200に送信する。 The transmitter 111 transmits the video synthesized by the synthesizer to the user terminal 200.

これにより、1つのカメラで撮影されている動画に比べ、広大なエリアを1つの動画で視聴することが可能となる。また、カメラ400の撮影範囲を跨ぐ範囲の動画を1つの動画で視聴することが可能となる。また、カメラ400を切り替えることなく、様々な角度から撮影された動物などを視聴することが可能となる。 This makes it possible to view a vast area in one video, compared to videos shot with a single camera. Further, it becomes possible to view a video that spans the shooting range of the camera 400 in one video. Furthermore, it is possible to view animals and the like photographed from various angles without switching the camera 400.

また、ユーザ端末200からスクリーンショットをサーバ装置100に送信する際に、ユーザがテキストデータや音声データを入力可能とし、スクリーンショットに写っている動物について質問を付加したり、気が付いた点のメモ書きを付加したりすることができるようにしてもよい。 Also, when sending a screenshot from the user terminal 200 to the server device 100, the user can input text data or audio data, add questions about the animals in the screenshot, or write notes about things that they noticed. It may also be possible to add .

また、カメラ400だけではなく、カメラ400の他に又はカメラ400に加え、マイクを動物園内に設置し、動物園内の音もユーザ端末200に送信することで、より臨場感のある動画を視聴することができるようにしてもよい。 In addition, not only the camera 400 but also a microphone is installed in the zoo in addition to or in addition to the camera 400, and the sounds inside the zoo are also transmitted to the user terminal 200, so that videos with a more realistic feeling can be viewed. It may be possible to do so.

また、情報処理システム10の管理者や、警備担当者に静止画を送ったユーザには、動物園で使用できる割引券や、特別な動画を視聴することができる権利などの特典を付与するようにして、画像Gをタッチする動機付けにしてもよい。 Additionally, users who send still images to the administrator of the information processing system 10 or the security personnel are given benefits such as discount coupons that can be used at the zoo and the right to watch special videos. This may be used to motivate the user to touch the image G.

また、本実施形態の情報処理システム10は、動物園にカメラ400を設置する場合に限定されず、他の場所、例えば、美術館や博物館、公園、遊園地、コンサートホールなどにカメラ400を設置してもよい。 Furthermore, the information processing system 10 of this embodiment is not limited to installing the camera 400 in a zoo, but can also be installed in other places such as an art museum, a park, an amusement park, a concert hall, etc. Good too.

上記実施形態では、プログラムがROM102又は記憶部104に予め記憶(インストール)されている態様を説明したが、これに限定されない。プログラムは、CD-ROM(Compact Disk Read Only Memory)、DVD-ROM(Digital Versatile Disk Read Only Memory)、及びUSB(Universal Serial Bus)メモリ等の記録媒体に記録された形態で提供されてもよい。また、プログラムは、ネットワークNを介して外部装置からダウンロードされる形態としてもよい。 In the above embodiment, a mode has been described in which the program is stored (installed) in the ROM 102 or the storage unit 104 in advance, but the present invention is not limited thereto. The program is stored on recording media such as CD-ROM (Compact Disk Read Only Memory), DVD-ROM (Digital Versatile Disk Read Only Memory), and USB (Universal Serial Bus) memory. It may also be provided in recorded form. Further, the program may be downloaded from an external device via the network N.

10 情報処理システム
100 サーバ装置
200 ユーザ端末
300 管理者端末
400 カメラ
10 Information processing system 100 Server device 200 User terminal 300 Administrator terminal 400 Camera

Claims (7)

カメラから撮影中の動画を受け付ける動画受付部と、
前記動画受付部が受け付けた前記動画をユーザ端末に送信する送信部と、
前記ユーザ端末からのユーザの予め定められた操作を受け付ける操作受付部と、
前記操作受付部により受け付けた前記ユーザ端末からのユーザが前記予め定められた操作をした時点の再生中の前記動画の静止画を記憶部に保存する保存部と、
前記保存部により保存された前記静止画を予め定められた者に報知する報知部と、
を備える情報処理装置。
A video reception department that accepts videos being shot from the camera,
a transmitter that transmits the video received by the video receiver to a user terminal;
an operation reception unit that receives a predetermined operation from the user from the user terminal;
a storage unit that stores in a storage unit a still image of the video being played at the time when the user from the user terminal performs the predetermined operation, which is received by the operation reception unit;
a notification unit that notifies a predetermined person of the still image stored by the storage unit;
An information processing device comprising:
前記ユーザ端末は、ユーザの操作を受け付けるタッチパネル方式の表示部を備え、
前記予め定められた操作は、前記表示部に表示され、ユーザが前記予め定められた者とコミュニケーションを取るための画像をタッチする操作である請求項1に記載の情報処理装置。
The user terminal includes a touch panel display that accepts user operations,
The information processing apparatus according to claim 1, wherein the predetermined operation is an operation of touching an image displayed on the display section and used by the user to communicate with the predetermined person.
前記静止画は、前記予め定められた操作がされた際のユーザ端末の前記表示部で再生中の動画のスクリーンショットである請求項2に記載の情報処理装置。 The information processing apparatus according to claim 2, wherein the still image is a screenshot of a moving image being played on the display unit of the user terminal when the predetermined operation is performed. 同一の撮影範囲を異なる設置位置から撮影する複数の前記カメラから受け付けた動画のうち、隣り合う前記設置位置の複数の前記カメラにより撮影された前記動画を構成するフレームの画像同士を合成して1つの合成動画を生成する合成部を備え、
前記送信部は、前記合成した動画をユーザ端末に送信する請求項1に記載の情報処理装置。
Among videos received from a plurality of cameras that photograph the same shooting range from different installation positions, images of frames constituting the video taken by a plurality of cameras at adjacent installation positions are combined to create a single image. Equipped with a compositing unit that generates two composite videos,
The information processing apparatus according to claim 1, wherein the transmitter transmits the synthesized video to a user terminal.
前記カメラは、地表面と水平方向から撮影対象を撮影する請求項1に記載の情報処理装置。 The information processing apparatus according to claim 1, wherein the camera photographs the object from a horizontal direction to the ground surface. 前記撮影対象は、動物園の特定のエリアである請求項5に記載の情報処理装置。 The information processing device according to claim 5, wherein the photographing target is a specific area of a zoo. コンピュータを、
カメラから撮影中の動画を受け付ける動画受付部と、
前記動画受付部が受け付けた前記動画をユーザ端末に送信する送信部と、
前記ユーザ端末からのユーザの予め定められた操作を受け付ける操作受付部と、
前記操作受付部により受け付けた前記ユーザ端末からのユーザが前記予め定められた操作をした時点の再生中の前記動画の静止画を記憶部に保存する保存部と、
前記保存部により保存された前記静止画を予め定められた者に報知する報知部と、
して機能させるためのプログラム。
computer,
A video reception department that accepts videos being shot from the camera,
a transmitter that transmits the video received by the video receiver to a user terminal;
an operation reception unit that receives a predetermined operation from the user from the user terminal;
a storage unit that stores in a storage unit a still image of the video being played at the time when the user from the user terminal performs the predetermined operation, which is received by the operation reception unit;
a notification unit that notifies a predetermined person of the still image stored by the storage unit;
A program to make it work.
JP2022064410A 2022-04-08 2022-04-08 Information processing device and program Active JP7474521B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2022064410A JP7474521B2 (en) 2022-04-08 2022-04-08 Information processing device and program

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2022064410A JP7474521B2 (en) 2022-04-08 2022-04-08 Information processing device and program

Publications (2)

Publication Number Publication Date
JP2023154820A true JP2023154820A (en) 2023-10-20
JP7474521B2 JP7474521B2 (en) 2024-04-25

Family

ID=88373177

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2022064410A Active JP7474521B2 (en) 2022-04-08 2022-04-08 Information processing device and program

Country Status (1)

Country Link
JP (1) JP7474521B2 (en)

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003125365A (en) 2001-10-10 2003-04-25 Minolta Co Ltd Controlling device, program, and recording medium
JP2007256781A (en) 2006-03-24 2007-10-04 Hajime Mori Video creating method, video distributing method, and recording medium
WO2015159487A1 (en) 2014-04-14 2015-10-22 パナソニックIpマネジメント株式会社 Image delivery method, image reception method, server, terminal apparatus, and image delivery system
JP5931257B1 (en) 2015-03-31 2016-06-08 株式会社トライグループ Movie playback apparatus and program
JP7249755B2 (en) 2018-10-26 2023-03-31 キヤノン株式会社 Image processing system, its control method, and program

Also Published As

Publication number Publication date
JP7474521B2 (en) 2024-04-25

Similar Documents

Publication Publication Date Title
US10673918B2 (en) System and method for providing a real-time three-dimensional digital impact virtual audience
US9473741B2 (en) Teleconference system and teleconference terminal
TWI526058B (en) Method and system for customising live media content
US7973786B2 (en) System and method for managing interaction in a virtual environment
WO2021204139A1 (en) Video displaying method, device, equipment, and storage medium
AU2003297508A1 (en) Distributed immersive entertainment system
CN107809609B (en) Video monitoring conference system based on touch equipment
US20150124109A1 (en) Apparatus and method for hosting a live camera at a given geographical location
KR20180038256A (en) Method, and system for compensating delay of virtural reality stream
US20200220907A1 (en) Method, system, and non-transitory computer readable record medium for enhancing video quality of video call
JP6232716B2 (en) Information processing apparatus, display control system, and program
JP2023153790A (en) program
CN113632498A (en) Content distribution system, content distribution method, and content distribution program
JP2023154820A (en) Information processing device and program
JP2005079913A (en) Content creation system, lecture video creation system, video conference system
JP2006279893A (en) Image processing apparatus and image processing method
JP7408506B2 (en) Content distribution system, content distribution method, and content distribution program
US11102265B2 (en) System and method for providing a real-time digital virtual audience
JP3139531U (en) Proxy shooting and recording system
JP7367258B1 (en) Information processing system, information processing method, information processing program, and distributor terminal
KR102380547B1 (en) method for transmitting and displaying image over network and apparatus therefor
JP6794562B1 (en) Content distribution system, content distribution method and content distribution program
TW202236845A (en) Video display method, device, equipment, and storage medium to see the video images of the host and the audience at the same time and perceive each other's behavior for facilitating more forms of interaction
JP2024025327A (en) Synthetic image generation system and imaging support method
KR101816446B1 (en) Image processing system for processing 3d contents displyed on the flat display and applied telepresence, and method of the same

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20220414

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20230509

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230706

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20231024

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20231222

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20240326

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20240408

R150 Certificate of patent or registration of utility model

Ref document number: 7474521

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150