JP2015204506A - camera control system - Google Patents

camera control system Download PDF

Info

Publication number
JP2015204506A
JP2015204506A JP2014082399A JP2014082399A JP2015204506A JP 2015204506 A JP2015204506 A JP 2015204506A JP 2014082399 A JP2014082399 A JP 2014082399A JP 2014082399 A JP2014082399 A JP 2014082399A JP 2015204506 A JP2015204506 A JP 2015204506A
Authority
JP
Japan
Prior art keywords
camera
work
control system
control
pan
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2014082399A
Other languages
Japanese (ja)
Inventor
正宣 有吉
Masanori Ariyoshi
正宣 有吉
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Yokogawa Electric Corp
Yokogawa Solution Service Corp
Original Assignee
Yokogawa Electric Corp
Yokogawa Solution Service Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Yokogawa Electric Corp, Yokogawa Solution Service Corp filed Critical Yokogawa Electric Corp
Priority to JP2014082399A priority Critical patent/JP2015204506A/en
Publication of JP2015204506A publication Critical patent/JP2015204506A/en
Pending legal-status Critical Current

Links

Landscapes

  • Closed-Circuit Television Systems (AREA)
  • Studio Devices (AREA)

Abstract

PROBLEM TO BE SOLVED: To achieve a camera control system having high degree of freedom capable of leaving a detailed video record even with a limited number of installed cameras while detecting deviation from steady work, and capable of relatively easily looking for the detailed video record of an actual problematic work later.SOLUTION: A camera control system configured to perform pan/tilt control of a camera for shooting a monitored object remotely is provided with control means for automatically executing the pan/tilt control of the camera in conjunction with the progress of a series of preset work procedure.

Description

本発明は、カメラ制御システムに関し、詳しくは、作業記録用カメラのパン・チルト制御の改善に関するものである。   The present invention relates to a camera control system, and more particularly to improvement of pan / tilt control of a work recording camera.

従来から、たとえば製造業に携わる工場においては、遠隔地からの作業進捗状況の確認や作業映像の記録などを目的として複数のカメラを設置し、有事が発生した場合の作業内容の確認や証拠映像資料とするために、これらのカメラで撮影された作業映像を録画することが行われている。   Conventionally, for example, in factories engaged in the manufacturing industry, multiple cameras have been installed for the purpose of confirming work progress from a remote location and recording work images, etc., and confirmation of work details and evidence images when an emergency occurs. In order to use it as a document, work images taken with these cameras are recorded.

図3は、従来のカメラ制御システムの一例を示すブロック図である。図3において、カメラ1a、1bは、外部からの遠隔によるパン・チルト制御が行えるように構成されたものであり、カメラ制御装置2から送信出力されるパン・チルト制御信号により、パン・チルト制御が行われる。   FIG. 3 is a block diagram illustrating an example of a conventional camera control system. In FIG. 3, cameras 1 a and 1 b are configured to be able to perform pan / tilt control remotely from the outside, and pan / tilt control is performed by a pan / tilt control signal transmitted from the camera control device 2. Is done.

カメラ制御装置2によるカメラ1a、1bのパン・チルト制御にあたっては、たとえば所定の周期で撮影領域を順次循環しながら撮影するようにあらかじめ設計されたプログラムにしたがって自動スキャンしたり、監視画面を監視している作業者が異常の兆候を認めた時点でより詳細な映像を確認できるように必要に応じて手動操作することが行われている。   When the pan / tilt control of the cameras 1a and 1b by the camera control device 2, for example, automatic scanning is performed according to a program designed in advance so as to circulate through the photographing areas in a predetermined cycle, or the monitoring screen is monitored. A manual operation is performed as necessary so that a more detailed image can be confirmed when a worker who has detected a sign of abnormality.

カメラ1aは主にタンクAの周辺における作業領域を監視対象4aとして撮影するように制御され、カメラ1bは主にタンクBの周辺における作業領域を監視対象4bとして撮影するように制御される。これらカメラ1a、1bにより撮影された映像は、映像監視記録装置3に逐次記録される。   The camera 1a is controlled so that the work area around the tank A is mainly photographed as the monitoring object 4a, and the camera 1b is mainly controlled so as to photograph the work area around the tank B as the monitoring object 4b. Videos taken by these cameras 1a and 1b are sequentially recorded in the video surveillance recording device 3.

特許文献1には、地図上に表示された複数のカメラ制御を実行可能なカメラ制御システムにおいて、パン・チルトのカメラ制御の操作性を向上させ、パンチルト撮影方向の確認が同時に可能なカメラ制御システムに関する技術が記載されている。   Patent Document 1 discloses a camera control system capable of performing control of a plurality of cameras displayed on a map, improving the operability of pan / tilt camera control and simultaneously confirming the pan / tilt shooting direction. The technology about is described.

特開平10−341428号公報Japanese Patent Laid-Open No. 10-341428

しかし、従来の構成によれば、たとえばある作業者が具体的にどのような作業を行ったのかを記録するという観点から記録された映像を評価すると、やや不十分なものとなっている。   However, according to the conventional configuration, for example, when a recorded video is evaluated from the viewpoint of recording what kind of work a certain worker has performed, it is somewhat insufficient.

たとえば、映像監視記録装置3の記録映像として、自動スキャン中に標準化されている定常作業から逸脱したある作業者による作業の状況が記録されていたとしても、監視作業者がリアルタイムでその逸脱作業画面を見過ごしていた場合には、逸脱作業の具体的な作業内容をズームアップして撮影したような詳細な映像記録を残すことは困難である。   For example, even if the status of work by a worker who deviates from the standardized work that has been standardized during automatic scanning is recorded as the recorded video of the video monitoring and recording device 3, the monitoring worker can view the deviation work screen in real time. If the user has overlooked, it is difficult to leave a detailed video record as if the specific work content of the departure work was zoomed in.

これは、カメラ台数を増やすことにより作業者が行う作業について詳細な映像を残すことができるようにはなるものの、カメラの設置台数に比例して設置や維持にかかるコストが増えたり映像記録容量も大きくなることから、カメラの設置台数をある程度制限した状態でかなり広範囲の映像を撮影しなければならないことに起因している。   Although it is possible to leave a detailed video about the work performed by the worker by increasing the number of cameras, the cost for installation and maintenance increases in proportion to the number of cameras installed, and the video recording capacity also increases. This is due to the fact that a fairly wide range of images must be taken with a limited number of cameras installed.

本発明は、このような問題点を解決するものであり、その目的は、限られた設置台数のカメラでも詳細な映像記録を残すとともに定常作業からの逸脱を検知でき、問題のある実際の作業の詳細な映像記録を後から比較的容易に探すことができる自由度の高いカメラ制御システムを実現することにある。   The present invention solves such problems, and its purpose is to leave a detailed video record even with a limited number of installed cameras and to detect deviations from regular work, and to perform actual work with problems. It is to realize a camera control system having a high degree of freedom in which a detailed video recording can be searched relatively easily later.

このような目的を達成するために、本発明のうち請求項1記載の発明は、
遠隔により監視対象を撮影するカメラのパン・チルト制御を行うように構成されたカメラ制御システムにおいて、
あらかじめ設定された一連の作業手順の進捗に連動して前記カメラのパン・チルト制御を自動的に実行処理する制御手段を設けたことを特徴とする。
In order to achieve such an object, the invention described in claim 1 of the present invention is:
In a camera control system configured to perform pan / tilt control of a camera that remotely images a monitoring target,
Control means for automatically executing pan / tilt control of the camera in conjunction with the progress of a series of preset work procedures is provided.

請求項2記載の発明は、請求項1記載のカメラ制御システムにおいて、
前記監視対象にはこの監視対象に発生する機械的な変化を検出するセンサが設けられ、このセンサの出力が前記制御手段に入力されることを特徴とする。
The invention described in claim 2 is the camera control system according to claim 1,
The monitoring target is provided with a sensor for detecting a mechanical change occurring in the monitoring target, and an output of the sensor is input to the control means.

請求項3記載の発明は、請求項2記載のカメラ制御システムにおいて、
前記センサの出力に基づき、所定の作業手順処理からの逸脱を検知することを特徴とする。
A third aspect of the present invention is the camera control system according to the second aspect,
A deviation from a predetermined work procedure process is detected based on the output of the sensor.

請求項4記載の発明は、請求項1から請求項3のいずれかに記載のカメラ制御システムにおいて、
前記制御手段は、前記一連の作業手順の進捗に連動して、前記カメラにより撮影した前記監視対象映像の録画の開始および終了を制御することを特徴とする。
According to a fourth aspect of the present invention, in the camera control system according to any one of the first to third aspects,
The control means controls the start and end of the recording of the monitoring target video imaged by the camera in conjunction with the progress of the series of work procedures.

本発明によれば、限られた設置台数のカメラでも詳細な映像記録を残すとともに定常作業からの逸脱を検知でき、作業手順の進捗に連動してカメラのパン・チルト制御が行われることから、たとえばPH、導電率などのプロセスデータの異常や品質検査などで問題が生じた場合など、問題のある実際の作業の詳細な映像記録を後から比較的容易に探すことができる。   According to the present invention, even with a limited number of cameras, a detailed video recording can be left and deviation from steady work can be detected, and the camera pan / tilt control is performed in conjunction with the progress of the work procedure. For example, when a problem occurs due to an abnormality in process data such as PH and conductivity or a quality inspection, a detailed video recording of the actual work in question can be relatively easily found later.

本発明の一実施例を示すブロック図である。It is a block diagram which shows one Example of this invention. 本発明で用いるデータベースの具体例を示す説明図である。It is explanatory drawing which shows the specific example of the database used by this invention. 従来のカメラ制御システムの一例を示すブロック図である。It is a block diagram which shows an example of the conventional camera control system.

図1は本発明の一実施例を示すブロック図であり、図3と共通する部分には同一の符号を付けている。図1において、制御パソコン5は、カメラ駆動装置2および映像監視記録装置3を介してカメラ1a、1bのパン・チルト制御を行うものである。   FIG. 1 is a block diagram showing an embodiment of the present invention, and the same reference numerals are given to portions common to FIG. In FIG. 1, the control personal computer 5 performs pan / tilt control of the cameras 1 a and 1 b via the camera driving device 2 and the video surveillance recording device 3.

制御パソコン5は、カメラ駆動装置2に対してはカメラ1a、1bのパン・チルト制御による撮影方向やズームを制御する信号を送信し、映像監視記録装置3に対してはカメラ1a、1bで撮影した映像録画の開始/終了を制御する信号を送信する。   The control personal computer 5 transmits a signal for controlling the shooting direction and zooming by pan / tilt control of the cameras 1a and 1b to the camera driving device 2, and the camera 1a and 1b for the video surveillance recording device 3. A signal for controlling the start / end of the recorded video is transmitted.

この制御パソコン5には、作業手順格納部51、作業進捗管理部52、カメラ駆動制御部53、監視記録制御部54、通信部55などが設けられている。   The control personal computer 5 is provided with a work procedure storage unit 51, a work progress management unit 52, a camera drive control unit 53, a monitoring record control unit 54, a communication unit 55, and the like.

また、制御パソコン5には、データベース6が接続されている。このデータベース6には、たとえば図2(A)に示すように、あらかじめ標準作業に対応する作業の場所が登録されて互いに関連付けられているとともに、図2(B)に示すように、各カメラの記録状態と向きとの対応関係も互いに関連付けられているものとする。   A database 6 is connected to the control personal computer 5. In the database 6, for example, as shown in FIG. 2A, work locations corresponding to standard work are registered in advance and associated with each other, and as shown in FIG. It is assumed that the correspondence between the recording state and the direction is also associated with each other.

まず、図2(A)には、
1)原材料の投入開始作業を所定の設定時刻「**:**:**」にタンクAに対して行うこと
2)原材料の投入終了後は所定の設定時刻「**:**:**」に初期位置にもどること
3)調合作業は所定の設定時刻「**:**:**」に混合タンクBまたはCで行うが未指定であること
が登録されている。
First, in FIG.
1) Carrying out the starting operation of raw materials for tank A at a predetermined set time “**: **: **” 2) After completing the input of raw materials, the predetermined setting time “**: **: *” Return to the initial position at “*” 3) The blending operation is performed in the mixing tank B or C at the predetermined set time “**: **: **”, but it is registered that it is not specified.

一方、図2(B)には、
1)カメラAは録画状態にありタンクAの方向を向いていること
2)カメラBは停止状態にあり初期位置であること
が登録されている。
On the other hand, FIG.
1) Camera A is in a recording state and faces the direction of tank A. 2) Camera B is in a stopped state and registered as an initial position.

さらに、制御パソコン5には、監視対象4aの中心となるタンクAの投入口の開口部に設置された開閉リミットスイッチ7aおよび監視対象4bの中心となるタンクBの投入口の開口部に設置された開閉リミットスイッチ7bも接続されている。   Further, the control personal computer 5 has an open / close limit switch 7a installed at the opening of the inlet of the tank A which is the center of the monitoring object 4a and an opening of the inlet of the tank B which is the center of the monitoring object 4b. The open / close limit switch 7b is also connected.

監視対象4aの中心となるタンクAの近傍には表示操作端末8aが設けられ、監視対象4bの中心となるタンクBの近傍には表示操作端末8bが設けられている。これら表示操作端末8a、8bは、作業者が制御パソコン5にアクセスするためのタブレット端末のようなマン・マシーン・インタフェースであり、制御パソコン5との間で無線通信を介してデータの授受を行う機能を有している。   A display operation terminal 8a is provided in the vicinity of the tank A serving as the center of the monitoring object 4a, and a display operation terminal 8b is provided in the vicinity of the tank B serving as the center of the monitoring object 4b. These display operation terminals 8a and 8b are man-machine interfaces such as a tablet terminal for an operator to access the control personal computer 5, and exchange data with the control personal computer 5 through wireless communication. It has a function.

このような構成において、制御パソコン5の制御に基づいて作業手順格納部51に格納されているプログラムによる一連の処理が開始実行されると、作業進捗管理部52は作業手順処理の進行状況を逐次確認管理する。   In such a configuration, when a series of processing by the program stored in the work procedure storage unit 51 is started and executed based on the control of the control personal computer 5, the work progress management unit 52 sequentially indicates the progress of the work procedure processing. Check and manage.

そして、一連の処理の中にカメラ1a、1bのパン・チルト制御信号が関連付けられている場合には、カメラ駆動制御部53にパン・チルト制御信号を出力する。   When the pan / tilt control signals of the cameras 1 a and 1 b are associated in the series of processing, the pan / tilt control signals are output to the camera drive control unit 53.

カメラ駆動制御部53は、作業進捗管理部52からパン・チルト制御信号が入力されると、カメラ駆動装置2に対して該当するカメラ1a、1bの少なくともいずれかをパン・チルト制御信号に従って、所定量パン・チルトさせる。   When the pan / tilt control signal is input from the work progress management unit 52, the camera drive control unit 53 determines at least one of the cameras 1a and 1b corresponding to the camera drive device 2 according to the pan / tilt control signal. Perform a fixed pan / tilt.

監視記録制御部54は、映像監視記録装置3に対して、パン・チルト制御されたカメラ1a、1bによる撮影映像を録画記録するように制御する。   The monitoring / recording control unit 54 controls the video monitoring / recording apparatus 3 to record and record the video shot by the cameras 1a and 1b subjected to pan / tilt control.

通信部55は、制御パソコン5とたとえば表示操作端末8a、8bなどの外部端末との間で所定のデータ授受を行うための通信処理を実行する。   The communication unit 55 executes communication processing for exchanging predetermined data between the control personal computer 5 and external terminals such as the display operation terminals 8a and 8b.

ここで、作業進捗管理部52は、所定の作業手順処理の進行状況と開閉リミットスイッチ7a、7bの出力とを関連づけることにより、たとえば原材料投入の作業指示がないのにもかかわらず調合用タンクの開口部が開いている場合には警告を発するとともに、カメラをタンクの開口部を撮影するように旋回させる。   Here, the work progress management unit 52 associates the progress status of the predetermined work procedure process with the outputs of the open / close limit switches 7a and 7b, so that, for example, there is no work instruction for charging raw materials, but the preparation tank If the opening is open, a warning is issued and the camera is swung to take a picture of the tank opening.

このように作業指示および実績管理機能と連動させることで、少ないカメラを有効に活用することができ、監視に必要なカメラ台数を少なくできる。   In this way, by linking with the work instruction and the performance management function, it is possible to effectively use a small number of cameras and reduce the number of cameras necessary for monitoring.

少ないカメラでも、それぞれのカメラを個別に自動旋回させたりズームアップすることにより詳細で鮮明な作業記録を残すことができる。   Even with a small number of cameras, detailed and clear work records can be kept by automatically turning and zooming up each camera individually.

カメラの台数を少なくできることで、カメラ設置や維持にかかるコストを抑えることができる。   By reducing the number of cameras, the cost for installing and maintaining the cameras can be reduced.

作業指示および実績管理機能と監視対象設備に取り付けられたセンサとを関連付けることで、定常作業からの逸脱を早期に発見できる。   By associating the work instruction and results management function with the sensors attached to the monitored equipment, it is possible to detect deviations from the regular work at an early stage.

作業手順と映像の関連付けが容易に行えるため、撮影後の映像検索にかかる時間を短くできる。   Since the work procedure and the video can be easily associated with each other, the time required for the video search after shooting can be shortened.

さらに、一連の作業進捗に合わせて録画の開始および終了を適切に行うことができ、撮影映像の記録容量を少なく抑えることができる。   Furthermore, it is possible to appropriately start and end the recording in accordance with the progress of a series of work, and to reduce the recording capacity of the captured video.

なお、上記実施例では、一連の作業を遠隔監視する例について説明したが、製造業における生産管理システムの作業指示および実績管理機能とカメラとの連動にも有効である。   In the above-described embodiment, an example of remotely monitoring a series of operations has been described. However, the present invention is also effective for interlocking a camera with a work management and performance management function of a production management system in the manufacturing industry.

以上の説明から明らかなように、本発明によれば、設定方法が固定化されていないことから、作業者は、必要な時に最適な設定方法で作業記録システムの設定作業が行える自由度の高い作業記録システムを提供できる。   As is clear from the above description, according to the present invention, since the setting method is not fixed, the operator has a high degree of freedom to perform the setting operation of the work recording system with the optimum setting method when necessary. Work record system can be provided.

1a、1b カメラ
2 カメラ駆動装置
3 映像監視記録装置
4a、4b 監視対象
5 制御パソコン
6 データベース
7a、7b 開閉リミットスイッチ
8a、8b 表示操作端末(タブレット)
DESCRIPTION OF SYMBOLS 1a, 1b Camera 2 Camera drive device 3 Image | video monitoring recording device 4a, 4b Monitoring object 5 Control personal computer 6 Database 7a, 7b Open / close limit switch 8a, 8b Display operation terminal (tablet)

Claims (4)

遠隔により監視対象を撮影するカメラのパン・チルト制御を行うように構成されたカメラ制御システムにおいて、
あらかじめ設定された一連の作業手順の進捗に連動して前記カメラのパン・チルト制御を自動的に実行処理する制御手段を設けたことを特徴とするカメラ制御システム。
In a camera control system configured to perform pan / tilt control of a camera that remotely images a monitoring target,
A camera control system comprising control means for automatically executing pan / tilt control of the camera in conjunction with progress of a series of preset work procedures.
前記監視対象にはこの監視対象に発生する機械的な変化を検出するセンサが設けられ、このセンサの出力が前記制御手段に入力されることを特徴とする請求項1記載のカメラ制御システム。   2. The camera control system according to claim 1, wherein the monitoring target is provided with a sensor for detecting a mechanical change occurring in the monitoring target, and an output of the sensor is input to the control means. 前記センサの出力に基づき、所定の作業手順処理からの逸脱を検知することを特徴とする請求項2記載のカメラ制御システム。   The camera control system according to claim 2, wherein a deviation from a predetermined work procedure process is detected based on an output of the sensor. 前記制御手段は、前記一連の作業手順の進捗に連動して、前記カメラにより撮影した前記監視対象映像の録画の開始および終了を制御することを特徴とする請求項1から請求項3のいずれかに記載のカメラ制御システム。   4. The control unit according to claim 1, wherein the control unit controls start and end of recording of the monitoring target video imaged by the camera in conjunction with progress of the series of work procedures. 5. The camera control system described in.
JP2014082399A 2014-04-14 2014-04-14 camera control system Pending JP2015204506A (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2014082399A JP2015204506A (en) 2014-04-14 2014-04-14 camera control system

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2014082399A JP2015204506A (en) 2014-04-14 2014-04-14 camera control system

Publications (1)

Publication Number Publication Date
JP2015204506A true JP2015204506A (en) 2015-11-16

Family

ID=54597734

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2014082399A Pending JP2015204506A (en) 2014-04-14 2014-04-14 camera control system

Country Status (1)

Country Link
JP (1) JP2015204506A (en)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2019153886A (en) * 2018-03-01 2019-09-12 清水建設株式会社 Surveillance camera control system and surveillance camera control method

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0365795A (en) * 1989-08-03 1991-03-20 Toshiba Corp Process monitoring device
JPH0863133A (en) * 1994-08-23 1996-03-08 Yokogawa Electric Corp Plant monitoring device
JPH10148694A (en) * 1996-11-20 1998-06-02 Toshiba Corp Information communication system in plant
JP2013170739A (en) * 2012-02-20 2013-09-02 Miura Co Ltd Drain recovery system

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0365795A (en) * 1989-08-03 1991-03-20 Toshiba Corp Process monitoring device
JPH0863133A (en) * 1994-08-23 1996-03-08 Yokogawa Electric Corp Plant monitoring device
JPH10148694A (en) * 1996-11-20 1998-06-02 Toshiba Corp Information communication system in plant
JP2013170739A (en) * 2012-02-20 2013-09-02 Miura Co Ltd Drain recovery system

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2019153886A (en) * 2018-03-01 2019-09-12 清水建設株式会社 Surveillance camera control system and surveillance camera control method

Similar Documents

Publication Publication Date Title
US11328162B2 (en) System for transmission and digitization of machine telemetry
JP5026067B2 (en) Elevator remote inspection system
JP4965004B2 (en) Access restriction area intruder detection system, intruder detection apparatus, access restriction area intruder detection method, and program thereof
LT6062B (en) Operation management system and operation management method
WO2015045851A1 (en) Work-assisting system and work-assisting method
US9091904B2 (en) Camera device with rotary base
KR20090026937A (en) Integrated surveillance system diplaying a plural of event images and method using the same
KR101685950B1 (en) CCTV recording system having self-diagnosis function
JP2018207349A (en) Control method of production system, production cell, and production system
JPWO2021199230A5 (en) REMOTE MONITORING AND CONTROLLER, SYSTEM, METHOD AND PROGRAM
US8692879B2 (en) Image capturing system, image capturing device, information processing device, and image capturing method
JP2015229224A (en) Industrial robot
JP5293270B2 (en) Imaging object selection device, imaging object selection device control method, imaging object selection device control program, and computer-readable recording medium recording the program
KR101989461B1 (en) Safety system and Method for Robot working environment using vision system
TW201617725A (en) 360-degree panoramic driving video recorder
JP2015204506A (en) camera control system
JP2017034511A (en) Moving body detection system
JP5734238B2 (en) Plant monitoring device
JP2008217608A (en) Remote monitoring system and method of industrial machine
JP2017156928A (en) Video monitoring device, video monitoring method, and video monitoring system
JP2006129218A (en) Monitoring system
JP5435804B2 (en) Camera for FA equipment
JP2011079598A (en) Field angle adjusting device of camera in elevator car
KR20130097286A (en) Movable camera control device using fixed camera and method thereof
JP6564487B1 (en) Video surveillance device

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20161205

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20170725

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20170808

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20170928

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20180306

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20180425

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20180821