JP2016046636A - Operation control device, operation control method and operation control program - Google Patents

Operation control device, operation control method and operation control program Download PDF

Info

Publication number
JP2016046636A
JP2016046636A JP2014168555A JP2014168555A JP2016046636A JP 2016046636 A JP2016046636 A JP 2016046636A JP 2014168555 A JP2014168555 A JP 2014168555A JP 2014168555 A JP2014168555 A JP 2014168555A JP 2016046636 A JP2016046636 A JP 2016046636A
Authority
JP
Japan
Prior art keywords
information
content
content information
operation information
storage unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2014168555A
Other languages
Japanese (ja)
Inventor
信一 天野
Shinichi Amano
信一 天野
芳克 西條
Yoshikatsu Saijo
芳克 西條
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
NEC Corp
Original Assignee
NEC Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by NEC Corp filed Critical NEC Corp
Priority to JP2014168555A priority Critical patent/JP2016046636A/en
Publication of JP2016046636A publication Critical patent/JP2016046636A/en
Pending legal-status Critical Current

Links

Images

Landscapes

  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Abstract

PROBLEM TO BE SOLVED: To provide an operation control device capable of automatically executing processing corresponding to video information or audio information.SOLUTION: Content information generation means 11 generates content information corresponding to an inputted content signal. Information comparison means 13 discriminates whether content information that is matched with the content information generated by the content information generation means 11 is stored in content information storage means. Operation information storage means 14 stores operation information indicating an operation to be executed correspondingly to the content information being stored in the content information storage means. Operation information read-out means 16 reads the operation information corresponding to the content information out of the operation information storage means 14 in accordance with a result of the discrimination by the information comparison means 13. Processing execution means 17 executes processing for performing the operation indicated by the operation information in accordance with the operation information that is read out by the operation information read-out means 16.SELECTED DRAWING: Figure 3

Description

本発明は、映像や音声に対応した処理を実行する動作制御装置、動作制御方法、および動作制御プログラムに関する。   The present invention relates to an operation control apparatus, an operation control method, and an operation control program that execute processing corresponding to video and audio.

テレビジョン放送に応じて、自動的に、番組部分のみを録画する録画装置や、表示内容を変更する表示装置がある。   There are recording devices that automatically record only program portions and display devices that change display contents in accordance with television broadcasting.

前述したような録画装置は、例えば、テレビジョン放送に含まれる制御信号や音声信号に基づいて、録画を開始したり停止したりする。具体的には、そのような装置は、テレビジョン放送における音声信号が、ステレオ信号、２か国語信号、およびモノラル信号の間で相互に変化した場合に、録画を開始または停止する。   The recording apparatus as described above starts and stops recording based on, for example, control signals and audio signals included in television broadcasting. Specifically, such a device starts or stops recording when an audio signal in a television broadcast changes between a stereo signal, a bilingual signal, and a monaural signal.

また、前述したような表示装置は、デジタル化されたテレビジョン放送に含まれる制御信号に応じて、データ放送画面を表示する。   Further, the display device as described above displays a data broadcast screen in accordance with a control signal included in the digitized television broadcast.

特許文献１には、録画された映像から所定の映像を検出する方法が記載されている。特許文献２には、録画された映像と合致しない映像を録画する方法が記載されている。   Patent Document 1 describes a method for detecting a predetermined video from recorded video. Patent Document 2 describes a method of recording a video that does not match the recorded video.

特開平１０−３２０４００号公報Japanese Patent Laid-Open No. 10-320400 特開２００７−８１８９９号公報JP 2007-81899 A

しかし、前述したような録画装置は、ユーザが望むタイミングで音声信号が変化しなかった場合に、ユーザの意図とは異なった内容が録画されたり、またはユーザの意図とは異なって録画されなかったりしてしまうおそれがある。   However, in the recording apparatus as described above, when the audio signal does not change at the timing desired by the user, the content different from the user's intention is recorded, or the content is not recorded different from the user's intention. There is a risk of it.

また、前述したような表示装置は、ユーザの意図に反して表示画面が変化してしまうおそれがある。   Further, the display device as described above may change the display screen against the user's intention.

したがって、前述したような録画装置や表示装置は、ユーザの意図に反した動作を行うおそれがある。   Therefore, there is a possibility that the recording device or the display device as described above may perform an operation contrary to the user's intention.

また、特許文献１に記載されている方法は、ユーザの意図に応じて自動的に処理を実行することができず、検出した各映像に応じた処理の実行にユーザによる操作を要するので手間がかかるという問題がある。   In addition, the method described in Patent Document 1 cannot automatically execute processing according to the user's intention, and requires a user's operation to execute the processing according to each detected video. There is a problem that it takes.

特許文献２に記載されている方法は、新規な特徴を有する映像（新人の芸能人やユーザの、日々成長する子供等）を録画等することができないという問題がある。   The method described in Patent Document 2 has a problem that it is not possible to record a video having a new feature (new entertainers, users' growing children, etc.).

そこで、本発明は、映像情報や音声情報に対応した処理を自動的に実行することができる動作制御装置、動作制御方法、および動作制御プログラムを提供することを目的とする。   Accordingly, an object of the present invention is to provide an operation control device, an operation control method, and an operation control program that can automatically execute processing corresponding to video information and audio information.

本発明による動作制御装置は、入力されたコンテンツ信号に応じたコンテンツ情報を生成するコンテンツ情報生成手段、コンテンツ情報生成手段が生成したコンテンツ情報と合致するコンテンツ情報がコンテンツ情報記憶手段に記憶されているか否かを判定する情報比較手段、コンテンツ情報記憶手段に記憶されているコンテンツ情報に対応付けられて、実行する動作を示す動作情報が記憶されている動作情報記憶手段、情報比較手段による判定結果に応じて、動作情報記憶手段からコンテンツ情報に対応付けられた動作情報を読み出す動作情報読出手段、および動作情報読出手段が読み出した動作情報に応じて、動作情報によって示される動作を行うための処理を実行する処理実行手段を備えたことを特徴とする。   In the operation control apparatus according to the present invention, content information generating means for generating content information corresponding to the input content signal, and content information matching the content information generated by the content information generating means is stored in the content information storage means. Information comparison means for determining whether or not, the operation information storage means for storing operation information indicating the operation to be executed in association with the content information stored in the content information storage means, and the determination result by the information comparison means Accordingly, operation information reading means for reading the operation information associated with the content information from the operation information storage means, and processing for performing the operation indicated by the operation information according to the operation information read by the operation information reading means It is characterized by comprising a process execution means for executing.

本発明による動作制御方法は、入力されたコンテンツ信号に応じたコンテンツ情報を生成するコンテンツ情報生成ステップ、コンテンツ情報生成ステップで生成したコンテンツ情報と合致するコンテンツ情報がコンテンツ情報記憶手段に記憶されているか否かを判定する情報比較ステップ、情報比較ステップにおける判定結果に応じて、コンテンツ情報記憶手段に記憶されているコンテンツ情報に対応付けられて、実行する動作を示す動作情報が記憶されている動作情報記憶手段から、コンテンツ情報に対応付けられた動作情報を読み出す動作情報読出ステップ、および動作情報読出ステップで読み出した動作情報に応じて、動作情報によって示される動作を行うための処理を実行する処理実行ステップを含むことを特徴とする。   In the operation control method according to the present invention, a content information generation step for generating content information according to an input content signal, and content information matching the content information generated in the content information generation step is stored in the content information storage means. Information comparison step for determining whether or not, the operation information indicating the operation to be executed in association with the content information stored in the content information storage means according to the determination result in the information comparison step An operation information reading step for reading the operation information associated with the content information from the storage means, and a process execution for executing a process for performing the operation indicated by the operation information in accordance with the operation information read in the operation information reading step Including steps.

本発明による動作制御プログラムは、コンピュータに、入力されたコンテンツ信号に応じたコンテンツ情報を生成するコンテンツ情報生成処理、コンテンツ情報生成処理で生成したコンテンツ情報と合致するコンテンツ情報がコンテンツ情報記憶手段に記憶されているか否かを判定する情報比較処理、情報比較処理における判定結果に応じて、コンテンツ情報記憶手段に記憶されているコンテンツ情報に対応付けられて、実行する動作を示す動作情報が記憶されている動作情報記憶手段から、コンテンツ情報に対応付けられた動作情報を読み出す動作情報読出処理、および動作情報読出処理で読み出した動作情報に応じて、動作情報によって示される動作を行うための処理を実行する実行処理を実行させることを特徴とする。   An operation control program according to the present invention stores in a content information storage unit content information that matches content information generated by content information generation processing that generates content information corresponding to an input content signal, and content information generation processing. In accordance with the information comparison process for determining whether or not it has been performed, the operation information indicating the operation to be executed is stored in association with the content information stored in the content information storage means, according to the determination result in the information comparison process The operation information reading process for reading the operation information associated with the content information from the operation information storage means, and the process for performing the operation indicated by the operation information according to the operation information read by the operation information reading process It is characterized in that an execution process is executed.

本発明によれば、映像信号や音声信号に対応した処理を自動的に実行することができる。   According to the present invention, it is possible to automatically execute processing corresponding to a video signal and an audio signal.

本発明の第１の実施形態の情報処理装置の構成例を示すブロック図である。It is a block diagram which shows the structural example of the information processing apparatus of the 1st Embodiment of this invention. 本発明の第１の実施形態の情報処理装置の動作を示すフローチャートである。It is a flowchart which shows operation | movement of the information processing apparatus of the 1st Embodiment of this invention. 本発明の第２の実施形態の動作制御装置の構成例を示すブロック図である。It is a block diagram which shows the structural example of the operation control apparatus of the 2nd Embodiment of this invention.

実施形態１．
本発明の第１の実施形態の情報処理装置１００について、図面を参照して説明する。図１は、本発明の第１の実施形態の情報処理装置１００の構成例を示すブロック図である。図１に示すように、本発明の第１の実施形態の情報処理装置１００は、情報取得部１１０、認識対象情報ＤＢ（Ｄａｔａｂａｓｅ：データベース）１２０、情報比較部１３０、動作情報ＤＢ１４０、設定部１５０、制御部１６０、および処理実行部１７０を含む。そして、情報処理装置１００は、入力機器２００に接続されている。なお、情報処理装置１００は、例えば、プログラム制御に従って処理を実行するＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）が搭載されたコンピュータや、映像信号処理機能を有する専用の装置である。入力機器２００は、情報処理装置１００に、映像信号または音声信号のうち少なくとも一方を入力する。具体的には、セットトップボックス等のテレビジョン放送受信機や、ラジオ放送受信機、インターネット等の通信ネットワークを介して映像や音声を受信可能な通信端末等である。なお、本例では、入力機器２００は、動画像に応じた映像信号を受信して情報処理装置１００に入力するとして説明する。 Embodiment 1. FIG.
An information processing apparatus 100 according to a first embodiment of the present invention will be described with reference to the drawings. FIG. 1 is a block diagram illustrating a configuration example of the information processing apparatus 100 according to the first embodiment of this invention. As shown in FIG. 1, the information processing apparatus 100 according to the first embodiment of the present invention includes an information acquisition unit 110, a recognition target information DB (Database) 120, an information comparison unit 130, an operation information DB 140, and a setting unit 150. , A control unit 160, and a process execution unit 170. The information processing apparatus 100 is connected to the input device 200. The information processing apparatus 100 is, for example, a computer equipped with a CPU (Central Processing Unit) that executes processing according to program control, or a dedicated apparatus having a video signal processing function. The input device 200 inputs at least one of a video signal and an audio signal to the information processing apparatus 100. Specifically, a television broadcast receiver such as a set-top box, a radio broadcast receiver, a communication terminal that can receive video and audio via a communication network such as the Internet, and the like. Note that in this example, the input device 200 will be described as receiving and inputting a video signal corresponding to a moving image to the information processing apparatus 100.

情報取得部１１０は、入力機器２００が入力した映像信号から静止画像に応じた映像情報を生成する。具体的には、情報取得部１１０は、例えば、入力機器２００が入力した映像信号において、所定のタイミングにおける映像信号に基づく静止画像に応じた映像情報を生成する。なお、情報取得部１１０は、例えば、映像信号に基づく静止画像に含まれる被写体の特徴量を示す情報を含む映像情報を生成する。   The information acquisition unit 110 generates video information corresponding to the still image from the video signal input by the input device 200. Specifically, for example, the information acquisition unit 110 generates video information corresponding to a still image based on the video signal at a predetermined timing in the video signal input by the input device 200. Note that the information acquisition unit 110 generates video information including information indicating the feature amount of the subject included in the still image based on the video signal, for example.

認識対象情報ＤＢ１２０には、情報取得部１１０が生成した情報と合致するか否かを比較される対象の情報が記憶されている。本例では、認識対象情報ＤＢ１２０に記憶される映像情報は、例えば、設定部１５０に送信された動画像データに基づく映像に含まれる被写体の特徴量を示す情報を含む。   The recognition target information DB 120 stores target information to be compared with whether or not it matches the information generated by the information acquisition unit 110. In this example, the video information stored in the recognition target information DB 120 includes, for example, information indicating the feature amount of the subject included in the video based on the moving image data transmitted to the setting unit 150.

情報比較部１３０は、情報取得部１１０が生成した情報と、認識対象情報ＤＢ１２０に記憶されている情報とを比較して、情報取得部１１０が生成した情報と合致する情報が認識対象情報ＤＢ１２０に記憶されているか否かを判定する。本例では、情報取得部１１０が生成した映像情報と合致する映像情報が認識対象情報ＤＢ１２０に記憶されているか否かを判定する。   The information comparison unit 130 compares the information generated by the information acquisition unit 110 with the information stored in the recognition target information DB 120, and information that matches the information generated by the information acquisition unit 110 is stored in the recognition target information DB 120. It is determined whether or not it is stored. In this example, it is determined whether video information that matches the video information generated by the information acquisition unit 110 is stored in the recognition target information DB 120.

動作情報ＤＢ１４０には、情報比較部１３０における判定結果に応じた動作を示す動作情報が記憶されている。   The operation information DB 140 stores operation information indicating an operation according to the determination result in the information comparison unit 130.

設定部１５０は、認識対象情報ＤＢ１２０に情報を記憶させたり、動作情報ＤＢ１４０に動作情報を記憶させたりする。   The setting unit 150 stores information in the recognition target information DB 120 or stores operation information in the operation information DB 140.

制御部１６０は、情報比較部１３０における判定結果に応じて、動作情報ＤＢ１４０に記憶されている動作情報に基づく処理の実行を処理実行部１７０に指示する。   The control unit 160 instructs the process execution unit 170 to execute a process based on the operation information stored in the operation information DB 140 according to the determination result in the information comparison unit 130.

処理実行部１７０は、制御部１６０の指示に従って、処理を実行する。   The process execution unit 170 executes the process according to instructions from the control unit 160.

次に、本発明の第１の実施形態の情報処理装置１００の動作について説明する。図２は、本発明の第１の実施形態の情報処理装置１００の動作を示すフローチャートである。図２に示すように、本発明の第１の実施形態の情報処理装置１００の設定部１５０は、操作部（図示せず）になされたユーザの操作に応じて、認識対象情報ＤＢ１２０に情報を記憶させる（ステップＳ１０１）。本例では、設定部１５０は、認識対象情報ＤＢ１２０に、所定のテレビジョン放送番組のタイトルが表示された画面の静止画に応じた映像情報を記憶させる。なお、設定部１５０は、他のコンピュータやスマートフォン、携帯電話機等の通信端末になされた操作に応じて送信された動画像データに基づく映像情報を生成する。そして、設定部１５０は、生成した映像情報を認識対象情報ＤＢ１２０に記憶させるように構成されていてもよい。   Next, the operation of the information processing apparatus 100 according to the first embodiment of this invention will be described. FIG. 2 is a flowchart showing the operation of the information processing apparatus 100 according to the first embodiment of this invention. As illustrated in FIG. 2, the setting unit 150 of the information processing apparatus 100 according to the first embodiment of the present invention stores information in the recognition target information DB 120 in accordance with a user operation performed on an operation unit (not illustrated). Store (step S101). In this example, the setting unit 150 causes the recognition target information DB 120 to store video information corresponding to a still image on a screen on which a title of a predetermined television broadcast program is displayed. The setting unit 150 generates video information based on moving image data transmitted in response to an operation performed on a communication terminal such as another computer, a smartphone, or a mobile phone. The setting unit 150 may be configured to store the generated video information in the recognition target information DB 120.

また、設定部１５０は、操作部になされたユーザの操作に応じて、ステップＳ１０１の処理で認識対象情報ＤＢ１２０に記憶された情報に対応する動作情報を動作情報ＤＢ１４０に記憶させる（ステップＳ１０２）。具体的には、動作情報は、例えば、所定の電子メールアドレスに電子メールを送信する動作や、所定の記憶機器に映像信号および音声情報のうち少なくとも一方を記憶開始させたり終了させたりする動作、映像表示機器に所定の告知画面を表示させる動作等を示す情報である。   In addition, the setting unit 150 stores operation information corresponding to the information stored in the recognition target information DB 120 in the process of step S101 in the operation information DB 140 in accordance with a user operation performed on the operation unit (step S102). Specifically, the operation information is, for example, an operation of transmitting an e-mail to a predetermined e-mail address, an operation of starting or ending at least one of a video signal and audio information in a predetermined storage device, This is information indicating an operation for displaying a predetermined notification screen on the video display device.

本例では、設定部１５０は、ステップＳ１０１の処理で認識対象情報ＤＢ１２０に記憶された映像情報に応じて所定の電子メールアドレスに電子メールを送信する動作を示す動作情報を動作情報ＤＢ１４０に記憶させたとする。なお、設定部１５０は、例えば、ステップＳ１０１の処理で認識対象情報ＤＢ１２０に記憶させた情報と、当該情報に対応して動作情報ＤＢ１４０に記憶された動作情報とに、互いを対応付けるための識別子を付して、ＤＢ１２０，１４０にそれぞれ記憶させる。   In this example, the setting unit 150 causes the operation information DB 140 to store operation information indicating an operation of transmitting an e-mail to a predetermined e-mail address according to the video information stored in the recognition target information DB 120 in the process of step S101. Suppose. For example, the setting unit 150 sets an identifier for associating the information stored in the recognition target information DB 120 in the process of step S101 with the operation information stored in the operation information DB 140 corresponding to the information. Attach them to the DB 120 and 140 respectively.

入力機器２００によって映像信号が入力されると、情報取得部１１０が、所定のタイミングにおける映像信号に基づく静止画像に応じた映像情報を生成する（ステップＳ１０３）。なお、情報取得部１１０は、所定の時間間隔で映像情報を生成してもよいし、動画像を構成するフレームごとに映像情報を生成してもよい。   When a video signal is input by the input device 200, the information acquisition unit 110 generates video information corresponding to a still image based on the video signal at a predetermined timing (step S103). Note that the information acquisition unit 110 may generate video information at predetermined time intervals, or may generate video information for each frame constituting a moving image.

そして、情報比較部１３０は、ステップＳ１０３の処理で情報取得部１１０が生成した映像情報と認識対象情報ＤＢ１２０に記憶されている映像情報とを比較する（ステップＳ１０４）。そして、情報比較部１３０は、情報取得部１１０が生成した映像情報と合致する映像情報が認識対象情報ＤＢ１２０に記憶されているか否かを判定する（ステップＳ１０５）。   Then, the information comparison unit 130 compares the video information generated by the information acquisition unit 110 in the process of step S103 with the video information stored in the recognition target information DB 120 (step S104). Then, the information comparison unit 130 determines whether or not video information that matches the video information generated by the information acquisition unit 110 is stored in the recognition target information DB 120 (step S105).

情報比較部１３０は、情報取得部１１０が生成した映像情報と合致する映像情報が認識対象情報ＤＢ１２０に記憶されていると判定した場合に（ステップＳ１０５のＹ）、以下の処理を実行する。すなわち、情報比較部１３０は、判定結果と当該映像情報を識別する情報（例えば、当該映像情報に付された識別子）とを制御部１６０に通知する（ステップＳ１０６）。そうでない場合に（ステップＳ１０５のＮ）、ステップＳ１０３の処理に移行する。   When the information comparison unit 130 determines that the video information that matches the video information generated by the information acquisition unit 110 is stored in the recognition target information DB 120 (Y in step S105), the information comparison unit 130 executes the following processing. That is, the information comparison unit 130 notifies the control unit 160 of the determination result and information for identifying the video information (for example, an identifier attached to the video information) (step S106). When that is not right (N of step S105), it transfers to the process of step S103.

具体的には、例えば、所定のテレビジョン放送番組のタイトルが表示された画面の静止画の映像情報と合致する映像情報を情報取得部１１０が生成した場合に、情報比較部１３０によってステップＳ１０５の処理でＹと判定され、ステップＳ１０６の処理に移行する。   Specifically, for example, when the information acquisition unit 110 generates video information that matches video information of a still image on a screen on which a title of a predetermined television broadcast program is displayed, the information comparison unit 130 performs step S105. The process determines Y, and the process proceeds to step S106.

制御部１６０は、ステップＳ１０６の処理で、情報取得部１１０が生成した映像情報と合致する映像情報が認識対象情報ＤＢ１２０に記憶されていることを示す判定結果を通知された場合に、以下の処理を実行する。すなわち、制御部１６０は、動作情報ＤＢ１４０から当該映像情報に応じた動作情報を読み出す（ステップＳ１０７）。具体的には、例えば、ステップＳ１０６の処理において情報比較部１３０が通知した識別子が付された動作情報を動作情報ＤＢ１４０から読み出す。   When the control unit 160 is notified of the determination result indicating that the video information matching the video information generated by the information acquisition unit 110 is stored in the recognition target information DB 120 in the process of step S106, the control unit 160 performs the following processing. Execute. That is, the control unit 160 reads operation information corresponding to the video information from the operation information DB 140 (step S107). Specifically, for example, the operation information with the identifier notified by the information comparison unit 130 in the process of step S106 is read from the operation information DB 140.

制御部１６０は、ステップＳ１０７の処理で読み出した動作情報に基づく動作が行われるための処理の実行を処理実行部１７０に指示する。具体的には、制御部１６０は、例えば、所定の電子メールアドレスへの電子メールの送信を処理実行部１７０に指示する。   The control unit 160 instructs the process execution unit 170 to execute a process for performing an operation based on the operation information read in the process of step S107. Specifically, for example, the control unit 160 instructs the process execution unit 170 to transmit an e-mail to a predetermined e-mail address.

処理実行部１７０は、制御部１６０による指示に従って処理を実行する（ステップＳ１０８）。具体的には、処理実行部１７０は、例えば、所定の電子メールアドレスへ電子メールを送信する処理を実行する。   The process execution unit 170 executes the process according to the instruction from the control unit 160 (step S108). Specifically, the process execution unit 170 executes a process of sending an e-mail to a predetermined e-mail address, for example.

本実施形態によれば、認識対象情報ＤＢ１２０に所定の映像情報が記憶され、動作情報ＤＢ１４０に当該映像情報に応じた動作を示す動作情報が記憶される。そして、情報取得部１１０が、入力された映像信号に基づいて当該映像情報と合致する映像情報を生成した場合に、処理実行部１７０が、当該動作情報に応じた処理を実行する。   According to the present embodiment, predetermined video information is stored in the recognition target information DB 120, and motion information indicating operations corresponding to the video information is stored in the motion information DB 140. Then, when the information acquisition unit 110 generates video information that matches the video information based on the input video signal, the process execution unit 170 executes a process according to the operation information.

したがって、映像情報に対応した処理を自動的に実行することができる。   Therefore, it is possible to automatically execute processing corresponding to the video information.

なお、本実施形態では、認識対象情報ＤＢ１２０に、所定のテレビジョン放送番組のタイトルが表示された画面の静止画に応じた映像情報が記憶されるが、他の映像情報や音声情報が記憶されてもよい。具体的には、例えば、所定のテレビジョン放送番組の開始時および終了時に表示される画面の映像情報や音声情報が記憶されてもよい。より具体的には、例えば、当該番組のスポンサー名が表示された画面や、当該番組の開始時や終了時に表示される字幕（エンドロール等）が表示された画面、コマーシャルメッセージの放送前後に表示されるアイキャッチが表示された画面等に応じた映像情報が記憶される。   In this embodiment, the recognition target information DB 120 stores video information corresponding to a still image on a screen on which a title of a predetermined television broadcast program is displayed, but other video information and audio information are stored. May be. Specifically, for example, video information and audio information of a screen displayed at the start and end of a predetermined television broadcast program may be stored. More specifically, for example, a screen on which the sponsor name of the program is displayed, a screen on which captions (end rolls, etc.) displayed at the start or end of the program are displayed, and before and after the commercial message is broadcast. Video information corresponding to the screen on which the eye catch is displayed is stored.

そのような構成によれば、所定のテレビジョン放送番組や、当該番組のコマーシャルメッセージの開始時および終了時に、処理実行部１７０が所定の処理を実行することができる。具体的には、処理実行部１７０が、所定のテレビジョン放送番組の開始時にスポンサー名が表示されたことに応じて当該番組を録画するための処理を実行する。そして、処理実行部１７０が、コマーシャルメッセージの放送前に表示されるアイキャッチが表示されたことに応じて録画を停止するための処理を実行する。また、処理実行部１７０が、コマーシャルメッセージの放送後に表示されるアイキャッチが表示されたことに応じて録画を再開するための処理を実行する。そして、処理実行部１７０が、番組の終了時に表示される字幕（エンドロール等）が表示されたことに応じて、録画を終了するための処理を実行する。したがって、コマーシャルメッセージを除いて、処理実行部１７０が、所定のテレビジョン放送番組を録画するための処理を実行することができる。   According to such a configuration, the process execution unit 170 can execute a predetermined process at the start and end of a predetermined television broadcast program or a commercial message of the program. Specifically, the process execution unit 170 executes a process for recording the program in response to the display of the sponsor name at the start of a predetermined television broadcast program. And the process execution part 170 performs the process for stopping recording according to the eye catch displayed before the broadcast of a commercial message being displayed. Further, the process execution unit 170 executes a process for resuming the recording in response to the display of the eye catch displayed after the broadcast of the commercial message. And the process execution part 170 performs the process for complete | finishing recording according to the subtitles (end roll etc.) displayed at the end of a program being displayed. Therefore, except for the commercial message, the process execution unit 170 can execute a process for recording a predetermined television broadcast program.

なお、例えば、入力機器２００において、予め録画されて再生中のテレビジョン放送番組で、処理実行部１７０が、コマーシャルメッセージの放送前に表示されるアイキャッチが表示されたことに応じて再生早送りを開始するための処理を実行する。そして、処理実行部１７０が、コマーシャルメッセージの放送後に表示されるアイキャッチが表示されたことに応じて再生早送りを終了して通常再生するための処理を実行するように構成されていてもよい。そのような構成によれば、コマーシャルメッセージを除いて、処理実行部１７０が、所定のテレビジョン放送番組を再生するための処理を実行することができる。   For example, in the television broadcast program that has been recorded and played back in advance on the input device 200, the process execution unit 170 performs fast playback in response to the display of the eye catch that is displayed before the broadcast of the commercial message. Execute the process to start. And the process execution part 170 may be comprised so that a reproduction | regeneration fast forward may be complete | finished and the process for normal reproduction may be performed according to the eye catch displayed after the broadcast of a commercial message being displayed. According to such a configuration, the process execution unit 170 can execute a process for playing back a predetermined television broadcast program, except for the commercial message.

また、認識対象情報ＤＢ１２０に記憶される情報は、人物を識別可能な画像（例えば、顔や背番号等の画像）等であってもよい。そして、情報比較部１３０は、認識対象情報ＤＢ１２０に記憶されている映像情報と合致する映像情報を、入力機器２００が入力した映像信号に基づいて情報取得部１１０が生成した場合に、処理実行部１７０が、所定の処理を実行してもよい。つまり、認識対象情報ＤＢ１２０に記憶されている映像情報に基づく人物が登場する映像が入力機器２００によって情報取得部１１０に入力された場合に、処理実行部１７０が、所定の処理を実行してもよい。そのような構成によれば、例えば、テレビジョン放送番組において、所定の芸能人が登場したタイミングに応じて、処理実行部１７０が、当該番組を録画するための処理を実行することができる。また、運動会等の学校行事が撮影された映像において、ユーザの子供が登場したタイミングに応じて、処理実行部１７０が、例えば、所定の印を当該映像に重畳して映像表示装置（図示せず）に表示させたり、所定の音声を出力させたりすることができる。そのような構成によれば、所定のタイミングでユーザに注目を促すことができる。
また、当該タイミングに応じて、処理実行部１７０が、例えば、当該映像を録画するための処理を実行して、当該子供が登場する映像集等の作成に役立てることができる。 The information stored in the recognition target information DB 120 may be an image that can identify a person (for example, an image such as a face or a back number). Then, the information comparison unit 130, when the information acquisition unit 110 generates video information that matches the video information stored in the recognition target information DB 120, based on the video signal input by the input device 200, the processing execution unit 170 may execute a predetermined process. That is, when a video in which a person based on the video information stored in the recognition target information DB 120 appears is input to the information acquisition unit 110 by the input device 200, the process execution unit 170 executes a predetermined process. Good. According to such a configuration, for example, in a television broadcast program, the process execution unit 170 can execute a process for recording the program according to the timing when a predetermined entertainer appears. In addition, in the video in which school events such as athletic events are photographed, the processing execution unit 170 superimposes a predetermined mark on the video, for example, in accordance with the timing when the user's child appears. ) Or a predetermined sound can be output. According to such a configuration, attention can be urged to the user at a predetermined timing.
Further, according to the timing, the process execution unit 170 can execute a process for recording the video, for example, and can be used to create a video collection in which the child appears.

また、認識対象情報ＤＢ１２０に記憶される情報は、文字や数字、記号、バーコード等を識別可能な画像等に応じた映像情報であってもよい。そして、認識対象情報ＤＢ１２０に記憶されている映像情報と合致する映像情報を、入力機器２００が入力した映像信号に基づいて情報取得部１１０が生成した場合に、処理実行部１７０が、所定の処理を実行してもよい。   The information stored in the recognition target information DB 120 may be video information corresponding to an image or the like that can identify characters, numbers, symbols, barcodes, and the like. When the information acquisition unit 110 generates video information that matches the video information stored in the recognition target information DB 120 based on the video signal input by the input device 200, the process execution unit 170 performs predetermined processing. May be executed.

認識対象情報ＤＢ１２０に記憶される情報は、音声情報であってもよい。そして、認識対象情報ＤＢ１２０に記憶されている音声情報において、例えば、単語や音程等の特徴量が合致する音声情報を、入力機器２００が入力した音声信号に基づいて情報取得部１１０が生成した場合に、処理実行部１７０が、所定の処理を実行してもよい。   The information stored in the recognition target information DB 120 may be voice information. Then, in the audio information stored in the recognition target information DB 120, for example, when the information acquisition unit 110 generates audio information that matches a feature amount such as a word or a pitch based on the audio signal input by the input device 200. In addition, the process execution unit 170 may execute a predetermined process.

なお、入力機器２００には、映像信号および音声信号が入力され、当該入力機器２００は、入力された映像信号および音声信号のうちいずれか一方を情報処理装置１００に入力する。そして、入力された信号に応じて情報取得部１１０によって生成された映像情報または音声情報に合致する情報が認識対象情報ＤＢ１２０に記憶されている場合に、処理実行部１７０は、以下の処理を実行するように構成されていてもよい。すなわち、当該情報に対応付けられた動作情報に基づき、入力機器２００に入力された映像信号および音声信号のうちの他方または両方を記憶装置に記憶させる処理を実行するように構成されていてもよい。   Note that a video signal and an audio signal are input to the input device 200, and the input device 200 inputs one of the input video signal and audio signal to the information processing apparatus 100. Then, when information matching the video information or audio information generated by the information acquisition unit 110 according to the input signal is stored in the recognition target information DB 120, the process execution unit 170 executes the following process It may be configured to. In other words, based on the operation information associated with the information, it may be configured to execute a process of storing the other or both of the video signal and the audio signal input to the input device 200 in the storage device. .

また、情報取得部１１０は、例えば、映像信号に基づく静止画像に含まれる被写体の特徴量に基づいて、当該被写体に応じた文字情報を含む映像情報を生成してもよい。具体的には、例えば、被写体が芸能人である場合に、芸能人の氏名を示す文字情報を含む映像情報を生成してもよい。さらに、認識対象情報ＤＢ１２０に記憶される情報は、文字情報であってもよい。そして、情報取得部１１０が生成した映像情報に含まれる文字情報と認識対象情報ＤＢ１２０に記憶されている文字情報とが合致した場合に、処理実行部１７０が、所定の処理を実行するように構成されていてもよい。   For example, the information acquisition unit 110 may generate video information including character information corresponding to the subject based on the feature amount of the subject included in the still image based on the video signal. Specifically, for example, when the subject is an entertainer, video information including character information indicating the name of the entertainer may be generated. Further, the information stored in the recognition target information DB 120 may be character information. Then, when the character information included in the video information generated by the information acquisition unit 110 matches the character information stored in the recognition target information DB 120, the process execution unit 170 is configured to execute a predetermined process. May be.

実施形態２．
次に、本発明の第２の実施形態の動作制御装置１０について、図面を参照して説明する。図３は、本発明の第２の実施形態の動作制御装置１０の構成例を示すブロック図である。 Embodiment 2. FIG.
Next, an operation control apparatus 10 according to a second embodiment of the present invention will be described with reference to the drawings. FIG. 3 is a block diagram illustrating a configuration example of the operation control apparatus 10 according to the second exemplary embodiment of the present invention.

図３に示すように、本発明の第２の実施形態の動作制御装置１０は、コンテンツ情報生成手段１１、情報比較手段１３、動作情報記憶手段１４、動作情報読出手段１６、処理実行手段１７を含む。   As shown in FIG. 3, the operation control apparatus 10 according to the second embodiment of the present invention includes a content information generation unit 11, an information comparison unit 13, an operation information storage unit 14, an operation information reading unit 16, and a process execution unit 17. Including.

コンテンツ情報生成手段１１は、図１に示す第１の実施形態の情報取得部１１０に相当する。情報比較手段１３は、図１に示す第１の実施形態の情報比較部１３０に相当する。動作情報記憶手段１４は、図１に示す第１の実施形態の動作情報ＤＢ１４０に相当する。動作情報読出手段１６は、図１に示す第１の実施形態の制御部１６０に相当する。処理実行手段１７は、図１に示す第１の実施形態の処理実行部１７０に相当する。   The content information generation unit 11 corresponds to the information acquisition unit 110 of the first embodiment shown in FIG. The information comparison unit 13 corresponds to the information comparison unit 130 of the first embodiment shown in FIG. The motion information storage unit 14 corresponds to the motion information DB 140 of the first embodiment shown in FIG. The operation information reading unit 16 corresponds to the control unit 160 of the first embodiment shown in FIG. The process execution unit 17 corresponds to the process execution unit 170 of the first embodiment shown in FIG.

コンテンツ情報生成手段１１は、入力されたコンテンツ信号（第１の実施形態における映像信号または音声信号に相当）に応じたコンテンツ情報（第１の実施形態における映像情報または音声情報に相当）を生成する。情報比較手段１３は、コンテンツ情報生成手段１１が生成したコンテンツ情報と合致するコンテンツ情報がコンテンツ情報記憶手段（図１に示す第１の実施形態の認識対象情報ＤＢ１２０に相当）に記憶されているか否かを判定する。   The content information generation unit 11 generates content information (corresponding to video information or audio information in the first embodiment) according to the input content signal (corresponding to video signal or audio signal in the first embodiment). . The information comparison unit 13 stores whether or not content information that matches the content information generated by the content information generation unit 11 is stored in the content information storage unit (corresponding to the recognition target information DB 120 of the first embodiment shown in FIG. 1). Determine whether.

動作情報記憶手段１４には、コンテンツ情報記憶手段に記憶されているコンテンツ情報に対応付けられて、実行する動作を示す動作情報が記憶されている。動作情報読出手段１６は、情報比較手段１３による判定結果に応じて、動作情報記憶手段１４からコンテンツ情報に対応付けられた動作情報を読み出す。処理実行手段１７は、動作情報読出手段１６が読み出した動作情報に応じて、動作情報によって示される動作を行うための処理を実行する。   The operation information storage unit 14 stores operation information indicating an operation to be executed in association with the content information stored in the content information storage unit. The motion information reading unit 16 reads the motion information associated with the content information from the motion information storage unit 14 in accordance with the determination result by the information comparison unit 13. The process execution unit 17 executes a process for performing an operation indicated by the operation information in accordance with the operation information read by the operation information reading unit 16.

本実施形態によれば、映像信号や音声信号に対応した処理を自動的に実行することができる。   According to the present embodiment, it is possible to automatically execute processing corresponding to a video signal and an audio signal.

１０ 動作制御装置
１１ コンテンツ情報生成手段
１３ 情報比較手段
１４ 動作情報記憶手段
１６ 動作情報読出手段
１７ 処理実行手段
１００ 情報処理装置
１１０ 情報取得部
１２０ 認識対象情報ＤＢ
１３０ 情報比較部
１４０ 動作情報ＤＢ
１５０ 設定部
１６０ 制御部
１７０ 処理実行部
２００ 入力機器 DESCRIPTION OF SYMBOLS 10 Operation control apparatus 11 Content information generation means 13 Information comparison means 14 Operation information storage means 16 Operation information reading means 17 Process execution means 100 Information processing apparatus 110 Information acquisition part 120 Recognition object information DB
130 Information Comparison Unit 140 Operation Information DB
150 Setting Unit 160 Control Unit 170 Processing Execution Unit 200 Input Device

Claims (8)

入力されたコンテンツ信号に応じたコンテンツ情報を生成するコンテンツ情報生成手段、
前記コンテンツ情報生成手段が生成した前記コンテンツ情報と合致するコンテンツ情報がコンテンツ情報記憶手段に記憶されているか否かを判定する情報比較手段、
前記コンテンツ情報記憶手段に記憶されている前記コンテンツ情報に対応付けられて、実行する動作を示す動作情報が記憶されている動作情報記憶手段、
前記情報比較手段による判定結果に応じて、前記動作情報記憶手段から前記コンテンツ情報に対応付けられた前記動作情報を読み出す動作情報読出手段、および
前記動作情報読出手段が読み出した前記動作情報に応じて、前記動作情報によって示される動作を行うための処理を実行する処理実行手段を備えた
ことを特徴とする動作制御装置。 Content information generating means for generating content information according to the input content signal;
Information comparing means for determining whether or not content information matching the content information generated by the content information generating means is stored in the content information storage means;
Operation information storage means for storing operation information indicating an operation to be executed in association with the content information stored in the content information storage means;
In accordance with the determination result by the information comparison unit, the operation information reading unit that reads the operation information associated with the content information from the operation information storage unit, and the operation information read by the operation information reading unit An operation control device comprising a process execution means for executing a process for performing an operation indicated by the operation information. 前記動作情報記憶手段には、コンテンツ信号を記憶手段に記憶させる動作を示す動作情報が記憶されている
請求項１に記載の動作制御装置。 The operation control device according to claim 1, wherein the operation information storage unit stores operation information indicating an operation of storing a content signal in the storage unit. 前記動作情報記憶手段には、前記コンテンツ信号を記憶手段に記憶させる動作を停止することを示す動作情報が記憶されている
請求項２記載の動作制御装置。 The operation control device according to claim 2, wherein the operation information storage unit stores operation information indicating that the operation of storing the content signal in the storage unit is stopped. 前記動作情報記憶手段には、映像表示装置に、コンテンツ信号に基づく映像に重畳して所定の印を表示させる動作を示す動作情報が記憶されている
請求項１から請求項３のうちいずれかに記載の動作制御装置。 4. The operation information storage unit stores operation information indicating an operation of displaying a predetermined mark superimposed on an image based on a content signal on the image display device. The operation control device described. 前記動作情報記憶手段には、所定の電子メールアドレスに電子メールを送信する動作を示す動作情報が記憶されている
請求項１から請求項４のうちいずれかに記載の動作制御装置。 The operation control device according to any one of claims 1 to 4, wherein the operation information storage unit stores operation information indicating an operation of transmitting an e-mail to a predetermined e-mail address. 前記動作情報記憶手段に、ユーザの操作に応じた動作情報を記憶させる設定手段を含む
請求項１から請求項５のうちいずれかに記載の動作制御装置。 The operation control device according to claim 1, further comprising a setting unit that stores operation information corresponding to a user operation in the operation information storage unit. 入力されたコンテンツ信号に応じたコンテンツ情報を生成するコンテンツ情報生成ステップ、
前記コンテンツ情報生成ステップで生成した前記コンテンツ情報と合致するコンテンツ情報がコンテンツ情報記憶手段に記憶されているか否かを判定する情報比較ステップ、
前記情報比較ステップにおける判定結果に応じて、前記コンテンツ情報記憶手段に記憶されている前記コンテンツ情報に対応付けられて、実行する動作を示す動作情報が記憶されている動作情報記憶手段から、前記コンテンツ情報に対応付けられた前記動作情報を読み出す動作情報読出ステップ、および
前記動作情報読出ステップで読み出した前記動作情報に応じて、前記動作情報によって示される動作を行うための処理を実行する処理実行ステップを含む
ことを特徴とする動作制御方法。 A content information generation step for generating content information according to the input content signal;
An information comparison step for determining whether content information matching the content information generated in the content information generation step is stored in a content information storage means;
In response to the determination result in the information comparison step, the content information stored in the content information storage unit is associated with the content information, and the operation information indicating the operation to be executed is stored in the content information storage unit. An operation information reading step for reading the operation information associated with information, and a process execution step for executing a process for performing an operation indicated by the operation information in accordance with the operation information read in the operation information reading step The operation control method characterized by including. コンピュータに、
入力されたコンテンツ信号に応じたコンテンツ情報を生成するコンテンツ情報生成処理、
前記コンテンツ情報生成処理で生成した前記コンテンツ情報と合致するコンテンツ情報がコンテンツ情報記憶手段に記憶されているか否かを判定する情報比較処理、
前記情報比較処理における判定結果に応じて、前記コンテンツ情報記憶手段に記憶されている前記コンテンツ情報に対応付けられて、実行する動作を示す動作情報が記憶されている動作情報記憶手段から、前記コンテンツ情報に対応付けられた前記動作情報を読み出す動作情報読出処理、および
前記動作情報読出処理で読み出した前記動作情報に応じて、前記動作情報によって示される動作を行うための処理を実行する実行処理を実行させる
ための動作制御プログラム。 On the computer,
Content information generation processing for generating content information according to the input content signal;
An information comparison process for determining whether content information matching the content information generated in the content information generation process is stored in a content information storage unit;
In accordance with the determination result in the information comparison process, the content information stored in the content information storage unit is associated with the content information, and the operation information indicating the operation to be executed is stored in the content information storage unit. An operation information reading process for reading the operation information associated with the information, and an execution process for executing a process for performing the operation indicated by the operation information in accordance with the operation information read by the operation information reading process. An operation control program to be executed.
JP2014168555A 2014-08-21 2014-08-21 Operation control device, operation control method and operation control program Pending JP2016046636A (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2014168555A JP2016046636A (en) 2014-08-21 2014-08-21 Operation control device, operation control method and operation control program

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2014168555A JP2016046636A (en) 2014-08-21 2014-08-21 Operation control device, operation control method and operation control program

Publications (1)

Publication Number Publication Date
JP2016046636A true JP2016046636A (en) 2016-04-04

Family

ID=55636820

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2014168555A Pending JP2016046636A (en) 2014-08-21 2014-08-21 Operation control device, operation control method and operation control program

Country Status (1)

Country Link
JP (1) JP2016046636A (en)

Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH02139740A (en) * 1988-11-18 1990-05-29 Fujitsu General Ltd Recording and reproducing device
JP3000529U (en) * 1994-01-28 1994-08-09 船井電機株式会社 Recording device integrated TV
JPH07107451A (en) * 1993-10-05 1995-04-21 Matsushita Electric Ind Co Ltd Picture communication terminal equipment
JP2001285787A (en) * 2000-03-31 2001-10-12 Nec Corp Video recording method, system therefor and recording medium therefor
WO2005022913A1 (en) * 2003-08-29 2005-03-10 Access Co., Ltd. Broadcast program scene notification system
JP2007195119A (en) * 2006-01-23 2007-08-02 Namco Bandai Games Inc Mobile terminal device, program, and information storage medium
JP2007241130A (en) * 2006-03-10 2007-09-20 Matsushita Electric Ind Co Ltd System and device using voiceprint recognition
JP2007306485A (en) * 2006-05-15 2007-11-22 Manin:Kk Shop monitoring system
JP2009232250A (en) * 2008-03-24 2009-10-08 Panasonic Corp Program information display apparatus and program information display method
JP2010028715A (en) * 2008-07-24 2010-02-04 Brother Ind Ltd Conference image generation method, conference system, server device, conference device and the like
JP2014132370A (en) * 2012-10-26 2014-07-17 Samsung Electronics Co Ltd Image processing apparatus, control method thereof, and image processing system

Patent Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH02139740A (en) * 1988-11-18 1990-05-29 Fujitsu General Ltd Recording and reproducing device
JPH07107451A (en) * 1993-10-05 1995-04-21 Matsushita Electric Ind Co Ltd Picture communication terminal equipment
JP3000529U (en) * 1994-01-28 1994-08-09 船井電機株式会社 Recording device integrated TV
JP2001285787A (en) * 2000-03-31 2001-10-12 Nec Corp Video recording method, system therefor and recording medium therefor
WO2005022913A1 (en) * 2003-08-29 2005-03-10 Access Co., Ltd. Broadcast program scene notification system
JP2007195119A (en) * 2006-01-23 2007-08-02 Namco Bandai Games Inc Mobile terminal device, program, and information storage medium
JP2007241130A (en) * 2006-03-10 2007-09-20 Matsushita Electric Ind Co Ltd System and device using voiceprint recognition
JP2007306485A (en) * 2006-05-15 2007-11-22 Manin:Kk Shop monitoring system
JP2009232250A (en) * 2008-03-24 2009-10-08 Panasonic Corp Program information display apparatus and program information display method
JP2010028715A (en) * 2008-07-24 2010-02-04 Brother Ind Ltd Conference image generation method, conference system, server device, conference device and the like
JP2014132370A (en) * 2012-10-26 2014-07-17 Samsung Electronics Co Ltd Image processing apparatus, control method thereof, and image processing system

Similar Documents

Publication Publication Date Title
US9786326B2 (en) Method and device of playing multimedia and medium
CN109729420B (en) Picture processing method and device, mobile terminal and computer readable storage medium
US9564174B2 (en) Method and apparatus for processing multimedia
CN110741651A (en) Methods, systems, and media for presenting notifications indicating recommended content
KR20150046619A (en) image outputting device
JP2010021632A (en) Content information reproducing apparatus, content information reproducing system, content information reproducing method, content information reproducing program, recording medium therefor and information processing apparatus
JP2014030153A (en) Information processor, information processing method, and computer program
JP2009225207A (en) Information processor
US20130117464A1 (en) Personalized media filtering based on content
JP2007250097A (en) Contents reproducing device, contents reproduction restarting method, and contents reproducing program
JP6212719B2 (en) Video receiving apparatus, information display method, and video receiving system
JP2015111217A (en) Voice output device and program
JP2007295100A (en) Television receiver
WO2016051534A1 (en) Acoustic system, communication device, and program
JP2016046636A (en) Operation control device, operation control method and operation control program
KR20150048961A (en) System for servicing hot scene, method of servicing hot scene and apparatus for the same
JP2013183280A (en) Information processing device, imaging device, and program
WO2020038290A1 (en) Bookmark display method and device
TWI581626B (en) System and method for processing media files automatically
JP2020129763A (en) Video reproduction device, video reproduction method, and program
US10845984B2 (en) System and a method for sending a touch message
US20230276110A1 (en) Systems and methods to enhance segment during trick play
KR20160041038A (en) System for servicing hot scene, method of servicing hot scene and apparatus for the same
KR101718896B1 (en) Apparatus and method for processing multimedia contents
JP6202998B2 (en) Broadcast receiver

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20170718

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20180411

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20180424

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20180622

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20180828

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20190305