JP2016032258A - Video transmission device, video transmission method, and video transmission program - Google Patents

Video transmission device, video transmission method, and video transmission program Download PDF

Info

Publication number
JP2016032258A
JP2016032258A JP2014154950A JP2014154950A JP2016032258A JP 2016032258 A JP2016032258 A JP 2016032258A JP 2014154950 A JP2014154950 A JP 2014154950A JP 2014154950 A JP2014154950 A JP 2014154950A JP 2016032258 A JP2016032258 A JP 2016032258A
Authority
JP
Japan
Prior art keywords
video data
video
priority
unit
video transmission
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2014154950A
Other languages
Japanese (ja)
Other versions
JP6293013B2 (en
Inventor
宣秀 小塚
Nobuhide Kozuka
宣秀 小塚
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
KDDI Corp
Original Assignee
KDDI Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by KDDI Corp filed Critical KDDI Corp
Priority to JP2014154950A priority Critical patent/JP6293013B2/en
Publication of JP2016032258A publication Critical patent/JP2016032258A/en
Application granted granted Critical
Publication of JP6293013B2 publication Critical patent/JP6293013B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Time Recorders, Dirve Recorders, Access Control (AREA)
  • Studio Devices (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Traffic Control Systems (AREA)
  • Transmitters (AREA)

Abstract

PROBLEM TO BE SOLVED: To provide a video transmission device, a video transmission method, and a video transmission program that can efficiently transmit video data to an external device while reducing a load on a mobile communication network.SOLUTION: A video transmission device 1 comprises: a mobile radio communication unit 20; a short-range radio communication unit 21; an analysis unit 15 for obtaining sensor information including a video signal produced by a camera 11; a determination unit 16 for determining priority in transmitting video data generated from the video signal to the outside on the basis of the sensor information; a storage unit 18 for storing the video data together with the priority; and a communication control unit 19 that, when the video transmission device transmits the video data to the outside, has the mobile radio communication unit 20 transmit the video data if the corresponding priority is a prescribed level or above, and has the short-range radio communication unit 21 transmit the video data if the corresponding priority is below the prescribed level.SELECTED DRAWING: Figure 1

Description

本発明は、カメラで撮影した映像データを外部へ送信する映像送信装置、映像送信方法及び映像送信プログラムに関する。   The present invention relates to a video transmission apparatus, a video transmission method, and a video transmission program for transmitting video data captured by a camera to the outside.

従来、自動車の前方をカメラで撮影して映像データを記録するドライブレコーダが知られている。ドライブレコーダで撮影された映像は、事故が発生した際の証拠又は参考情報として用いられるため、特に商用車への搭載が進んでいる。また、ドライブレコーダは、偶然に遭遇した出来事を記録した映像を共有するためにも使用され、一般車両へも搭載されている。   2. Description of the Related Art Conventionally, drive recorders that record video data by photographing the front of a car with a camera are known. Since the video imaged by the drive recorder is used as evidence or reference information when an accident occurs, it is particularly being installed in commercial vehicles. Drive recorders are also used to share images that record incidents that happened by chance, and are also installed in ordinary vehicles.

これらのドライブレコーダは、撮影した映像データをSDメモリ等の外部記憶に記録しているが、外部記憶の容量に制限があるため、長期間の映像データを記録し続けることはできなかった。そこで、例えば、大きな加速度が生じた瞬間の前後一定時間を記録したり、古いデータを上書きして循環的に記録したりする方法が取られている。このため、必要な映像データが記録されていない、又は消去されてしまう場合があった。   These drive recorders record captured video data in an external storage such as an SD memory. However, since the capacity of the external storage is limited, video data for a long period of time cannot be continuously recorded. Therefore, for example, a method of recording a fixed time before and after the moment when a large acceleration occurs or overwriting old data and recording it cyclically is taken. For this reason, necessary video data may not be recorded or deleted.

このような状況において、例えば、特許文献1には、ドライブレコーダに無線通信機を備え、事業者からの要求を受信した場合に通信を用いて静止画像をセンタ端末へ送信するシステムが提案されている。   In such a situation, for example, Patent Document 1 proposes a system in which a drive recorder is equipped with a wireless communication device and transmits a still image to a center terminal using communication when a request from an operator is received. Yes.

特開2009−020877号公報JP 2009-020877 A

ところで、自動車事故等の緊急時には運転手の意思にかかわらず運行を管理する事業者へ直ちに映像データが通知されることが望ましく、さらに、動画像であれば静止画像に比べてより多くの情報が得られるため、緊急時の適切な対応が期待できる。また、自動車の運転中に偶然に遭遇した珍しい映像を動画共有サイト等へ投稿する等のニーズもある。   By the way, in the event of an emergency such as a car accident, it is desirable that the video data is immediately notified to the operator managing the operation regardless of the driver's intention, and more information is available for moving images than for still images. As a result, appropriate response in an emergency can be expected. In addition, there is a need to post rare videos that were accidentally encountered while driving a car to a video sharing site or the like.

しかしながら、これらの残しておくべき映像データを効率的に判断して外部へ送信することは難しかった。
また、映像データを送信する場合、静止画像又は他のセンサ情報等に比べてデータ容量が大きいため、3G又はLTE等の移動通信網を経由すると、無線帯域が圧迫されてしまうという課題があった。
However, it is difficult to efficiently determine the video data to be left and transmit it to the outside.
In addition, when transmitting video data, since the data capacity is larger than that of still images or other sensor information, there is a problem that the wireless band is compressed through a mobile communication network such as 3G or LTE. .

本発明は、移動通信網の負荷を低減しつつ、映像データを外部装置へ効率的に送信できる映像送信装置、映像送信方法及び映像送信プログラムを提供することを目的とする。   It is an object of the present invention to provide a video transmission device, a video transmission method, and a video transmission program that can efficiently transmit video data to an external device while reducing the load on a mobile communication network.

本発明に係る映像送信装置は、移動無線通信部と、近距離無線通信部と、カメラにより撮影された映像信号を含むセンサ情報を取得する取得部と、前記センサ情報に基づいて、前記映像信号から生成された映像データを外部へ送信する優先度を決定する決定部と、前記映像データを、前記優先度と共に記憶する記憶部と、前記映像データを外部へ送信する際、対応する前記優先度が所定以上の場合、前記移動無線通信部により送信させ、対応する前記優先度が所定未満の場合、前記近距離無線通信部により送信させる通信制御部と、を備える。   The video transmission device according to the present invention includes a mobile wireless communication unit, a short-range wireless communication unit, an acquisition unit that acquires sensor information including a video signal captured by a camera, and the video signal based on the sensor information. A determination unit for determining a priority for transmitting the video data generated from the outside, a storage unit for storing the video data together with the priority, and the corresponding priority when transmitting the video data to the outside Is transmitted by the mobile radio communication unit when it is greater than or equal to a predetermined value, and is transmitted by the short-range radio communication unit when the corresponding priority is less than a predetermined value.

前記映像送信装置は、第1のセンサ情報に基づいて緊急度を判定する緊急度判定部と、第2のセンサ情報に基づいて重要度を判定する重要度判定部と、を備え、前記決定部は、前記緊急度及び前記重要度に基づいて、前記優先度を決定してもよい。   The video transmission device includes an urgency level determination unit that determines an urgency level based on first sensor information, and an importance level determination unit that determines an importance level based on second sensor information, and the determination unit May determine the priority based on the urgency and the importance.

前記第1のセンサ情報は、加速度情報であってもよい。   The first sensor information may be acceleration information.

前記第2のセンサ情報は、前記映像信号又は音声信号であってもよい。   The second sensor information may be the video signal or the audio signal.

前記取得部は、前記センサ情報の少なくとも一部を、ネットワークを介して外部から取得してもよい。   The acquisition unit may acquire at least part of the sensor information from outside via a network.

前記通信制御部は、送信に成功した映像データを識別するデータを記憶し、前記近距離無線通信部による通信が切断された場合、次に通信が回復すると、前記送信に成功した映像データを除く映像データのうち、前記優先度の高い映像データから送信を開始してもよい。   The communication control unit stores data for identifying video data that has been successfully transmitted. When communication by the short-range wireless communication unit is disconnected, when communication is recovered next, the video data that has been successfully transmitted is excluded. Transmission may be started from the video data having the higher priority among the video data.

前記映像送信装置は、前記映像データを変換してデータ容量を圧縮する変換部を備え、前記決定部は、前記変換部により変換された後の映像データの優先度を、変換前の映像データの優先度よりも高く決定してもよい。   The video transmission device includes a conversion unit that converts the video data and compresses the data capacity, and the determination unit determines the priority of the video data after conversion by the conversion unit of the video data before conversion. You may determine higher than a priority.

前記映像送信装置は、前記優先度の指定入力を受け付ける入力部を備え、前記決定部は、前記センサ情報の解析結果に優先して、前記指定入力に基づいて、前記優先度を決定してもよい。   The video transmission device includes an input unit that receives the priority designation input, and the determination unit may prioritize the analysis result of the sensor information and determine the priority based on the designation input. Good.

本発明に係る映像送信方法は、コンピュータの制御部が、カメラにより撮影された映像信号を含むセンサ情報を取得する取得ステップと、前記センサ情報に基づいて、前記映像信号から生成された映像データを外部へ送信する優先度を決定する決定ステップと、前記映像データを、前記優先度と共に記憶する記憶ステップと、前記映像データを外部へ送信する際、対応する前記優先度が所定以上の場合、移動無線通信により送信させ、対応する前記優先度が所定未満の場合、近距離無線通信により送信させる通信制御ステップと、を実行する。   The video transmission method according to the present invention includes an acquisition step in which a control unit of a computer acquires sensor information including a video signal captured by a camera, and video data generated from the video signal based on the sensor information. A determination step of determining a priority level to be transmitted to the outside, a storing step of storing the video data together with the priority level, and movement when the corresponding priority level is greater than or equal to a predetermined value when transmitting the video data to the outside A communication control step of transmitting by wireless communication and transmitting by short-range wireless communication when the corresponding priority is less than a predetermined value.

本発明に係る映像送信プログラムは、前記映像送信方法の各ステップを前記コンピュータに実行させる。   The video transmission program according to the present invention causes the computer to execute each step of the video transmission method.

本発明によれば、移動通信網の負荷を低減しつつ、映像データを外部装置へ効率的に送信できる。   According to the present invention, video data can be efficiently transmitted to an external device while reducing the load on the mobile communication network.

実施形態に係る映像送信装置の機能構成を示すブロック図である。It is a block diagram which shows the function structure of the video transmission apparatus which concerns on embodiment. 実施形態に係る映像データを送信する第1の処理を示すフローチャートである。It is a flowchart which shows the 1st process which transmits the video data which concerns on embodiment. 実施形態に係る映像データを送信する第2の処理を示すフローチャートである。It is a flowchart which shows the 2nd process which transmits the video data which concerns on embodiment. 実施形態に係る映像データの優先度に応じた送信順序の決定方法を例示する図である。It is a figure which illustrates the determination method of the transmission order according to the priority of the video data which concerns on embodiment. 実施形態に係る映像データが近距離無線で送信される場合の手順を例示する図である。It is a figure which illustrates the procedure in case the video data which concern on embodiment are transmitted by near field radio.

以下、本発明の実施形態の一例について説明する。
本実施形態の映像送信装置1は、自動車に搭載されるドライブレコーダであり、撮影した映像及び音声を記憶すると共に、決定した優先度に応じて無線通信手段によって外部サーバへ送信する。
Hereinafter, an example of an embodiment of the present invention will be described.
The video transmission device 1 according to the present embodiment is a drive recorder mounted on an automobile, stores captured video and audio, and transmits the video and audio to an external server by wireless communication means according to the determined priority.

図1は、本実施形態に係る映像送信装置1の機能構成を示すブロック図である。
映像送信装置1は、カメラ11(カメラ部)と、マイク12と、加速度センサ13と、入力部14と、解析部15(取得部)と、決定部16と、符号化部17(変換部)と、記憶部18と、通信制御部19と、移動無線通信部20と、近距離無線通信部21とを備える。
FIG. 1 is a block diagram illustrating a functional configuration of a video transmission device 1 according to the present embodiment.
The video transmission device 1 includes a camera 11 (camera unit), a microphone 12, an acceleration sensor 13, an input unit 14, an analysis unit 15 (acquisition unit), a determination unit 16, and an encoding unit 17 (conversion unit). A storage unit 18, a communication control unit 19, a mobile radio communication unit 20, and a short-range radio communication unit 21.

カメラ11は、運転中の自動車の周囲、特に前方を撮影して映像信号を第2のセンサ情報として出力する。カメラ11は、エンジンの始動から停止までの間、又は指定された期間において、撮影を継続し、映像信号を出力し続ける。   The camera 11 captures the surroundings of the driving car, particularly the front, and outputs a video signal as second sensor information. The camera 11 continues shooting and outputs a video signal from the start to the stop of the engine or in a designated period.

マイク12は、カメラ11と同期して、運転中の自動車の周囲、又は車内の音声を音声信号に変換し、第2のセンサ情報として出力する。   In synchronization with the camera 11, the microphone 12 converts the sound around the driving car or in the car into a sound signal and outputs the sound signal as second sensor information.

加速度センサ13は、自動車の加速度を計測し、測定データを第1のセンサ情報として出力する。   The acceleration sensor 13 measures the acceleration of the automobile and outputs measurement data as first sensor information.

入力部14は、映像データを外部サーバへ送信する優先度の指定を、ユーザの操作入力によって受け付ける。   The input unit 14 accepts designation of priority for transmitting video data to an external server by a user operation input.

解析部15は、映像信号、音声信号及び加速度データ等のセンサ情報を取得する。さらに、解析部15は、センサ情報の少なくとも一部を、ネットワークを介して外部から取得してもよい。具体的には、解析部15は、センサ情報として、例えば緊急速報、VICS(登録商標)情報、あるいは周辺の自動車等から直接又はネットワークを介して、付近で緊急性又は重要性が高い事象が発生したことを通信により取得する。   The analysis unit 15 acquires sensor information such as a video signal, an audio signal, and acceleration data. Furthermore, the analysis unit 15 may acquire at least part of the sensor information from the outside via a network. Specifically, the analysis unit 15 generates an event of high urgency or importance in the vicinity as sensor information, for example, from an emergency bulletin, VICS (registered trademark) information, or a nearby vehicle directly or via a network. Acquired by communication.

また、解析部15は、緊急度判定部151と重要度判定部152とを備え、センサ情報に基づいて映像データの緊急性及び重要性を解析する。   The analysis unit 15 includes an urgency determination unit 151 and an importance determination unit 152, and analyzes the urgency and importance of the video data based on the sensor information.

緊急度判定部151は、加速度センサ13による測定データ(第1のセンサ情報)に基づいて緊急度を判定する。具体的には、例えば、所定以上に大きな加速度等の異常値が測定された場合に、緊急度判定部151は、事故等の緊急性が高い事象が発生したと判定し、この前後の時間帯における映像データの緊急度を高く設定する。   The urgency level determination unit 151 determines the urgency level based on measurement data (first sensor information) from the acceleration sensor 13. Specifically, for example, when an abnormal value such as acceleration greater than a predetermined value is measured, the urgency level determination unit 151 determines that an event with high urgency such as an accident has occurred, and the time zones before and after this Set the video data urgency level to high.

重要度判定部152は、映像及び音声の信号(第2のセンサ情報)に基づいて、この映像又は音声の重要度を判定する。具体的には、重要度判定部152は、例えば、所定以上に大きな音声が検出された、又は通常と異なる物体が撮影された等の異常を検出した場合に、重要度が高い事象が発生したと判定し、この前後の時間帯における映像データの重要度を高く設定する。   The importance level determination unit 152 determines the importance level of the video or audio based on the video and audio signals (second sensor information). Specifically, when the degree of importance determination unit 152 detects an abnormality such as, for example, a sound that is louder than a predetermined level is detected or an object that is different from the normal is photographed, an event having a high degree of importance has occurred. And the importance of the video data in the time zone before and after this is set high.

決定部16は、センサ情報により判定された緊急度及び重要度に基づいて、映像データを外部へ送信する優先度を決定する。具体的には、決定部16は、緊急度が高い映像データは、優先度を最も高く決定し、以下、重要度の高さに応じて優先度を段階的に決定する。
また、決定部16は、入力部によりユーザから指定入力を受け付けた場合には、センサ情報に優先して、この指定入力に基づいて優先度を決定する。
The determination unit 16 determines the priority for transmitting the video data to the outside based on the urgency and importance determined by the sensor information. Specifically, the determination unit 16 determines the highest priority for video data with a high degree of urgency, and subsequently determines the priority step by step according to the level of importance.
Further, when receiving a designation input from the user by the input unit, the determination unit 16 prioritizes the sensor information and determines the priority based on the designation input.

符号化部17は、カメラ11及びマイク12から入力された信号を一定時間毎に、符号化し、記録及び送信可能な映像データとする。
また、符号化部17は、高解像度の映像データを低解像度化又は一部を切り出す等によって変換し、データ容量を圧縮した映像データを生成してもよい。この場合、決定部16は、変換された後の映像データの優先度を、変換前の映像データの優先度よりも高く決定することにより、早期に変換後の映像データが送信されるように設定する。なお、変換前の高解像度の映像データは、優先度を最低に設定し、外部へ送信されなくてもよい。
The encoding unit 17 encodes the signals input from the camera 11 and the microphone 12 at regular time intervals to obtain video data that can be recorded and transmitted.
The encoding unit 17 may convert the high-resolution video data by reducing the resolution or cutting out a part of the video data, and may generate video data with a compressed data capacity. In this case, the determination unit 16 sets the priority of the converted video data to be higher than the priority of the video data before the conversion, so that the converted video data is transmitted early. To do. Note that the high-resolution video data before conversion does not have to be transmitted to the outside with the priority set to the lowest.

記憶部18は、カメラ11により撮影されて符号化部17により符号化された映像データを、決定された優先度と共に記憶する。記憶された映像データは、優先度に応じて通信制御部19により抽出される。また、映像データは、ユーザ操作に基づき、有線又は無線により取り出し可能である。   The storage unit 18 stores video data shot by the camera 11 and encoded by the encoding unit 17 together with the determined priority. The stored video data is extracted by the communication control unit 19 according to the priority. The video data can be taken out by wire or wireless based on user operation.

通信制御部19は、映像データを外部へ送信する際、対応する優先度が所定以上の場合、移動無線通信部20により送信させ、対応する優先度が所定未満の場合、近距離無線通信部21により送信させる。
このとき、通信制御部19は、映像データの優先度が高い順に送信を試みる。
When transmitting the video data to the outside, the communication control unit 19 causes the mobile radio communication unit 20 to transmit if the corresponding priority is greater than or equal to a predetermined level, and if the corresponding priority is less than the predetermined level, the short-range radio communication unit 21 To send.
At this time, the communication control unit 19 attempts transmission in descending order of the priority of the video data.

また、通信制御部19は、送信に成功した映像データを識別するデータを記憶し、近距離無線通信部による通信が切断された場合、次に通信が回復すると、送信に成功した映像データを除く映像データのうち、優先度の高い映像データから送信を開始する。   In addition, the communication control unit 19 stores data for identifying video data that has been successfully transmitted. When communication by the short-range wireless communication unit is disconnected, when the communication is recovered next, the video data that has been successfully transmitted is excluded. Transmission is started from video data with high priority among the video data.

移動無線通信部20は、例えば、3G又はLTE等、携帯端末用の移動通信網を利用する通信システムによって外部サーバとデータの送受信を行う。
近距離無線通信部21は、例えば、Wi−Fi又はBluetooth(登録商標)等、近距離の無線通信システムを経由して、外部サーバとデータの送受信を行う。
The mobile radio communication unit 20 transmits / receives data to / from an external server by a communication system using a mobile communication network for mobile terminals such as 3G or LTE.
The short-range wireless communication unit 21 transmits and receives data to and from an external server via a short-range wireless communication system such as Wi-Fi or Bluetooth (registered trademark).

図2は、本実施形態に係る映像データを送信する第1の処理を示すフローチャートである。
本処理では、映像送信装置1は、生成した映像データを緊急度に応じて即時に外部へ送信する。
FIG. 2 is a flowchart showing a first process for transmitting video data according to the present embodiment.
In this process, the video transmission device 1 immediately transmits the generated video data to the outside according to the degree of urgency.

ステップS1において、映像送信装置1は、センサ情報として、カメラ11及びマイク12から映像及び音声の信号を、加速度センサ13から加速度情報を取得する。   In step S <b> 1, the video transmission device 1 acquires video and audio signals from the camera 11 and the microphone 12 and acceleration information from the acceleration sensor 13 as sensor information.

ステップS2において、映像送信装置1は、解析部15により、加速度情報に基づいて衝突、急加速、急ブレーキ等の事象を検出し、映像送信の緊急度を判定する。   In step S <b> 2, the video transmission device 1 uses the analysis unit 15 to detect an event such as a collision, sudden acceleration, or sudden braking based on the acceleration information, and determines the urgency of video transmission.

ステップS3において、映像送信装置1は、解析部15により、映像及び音声の信号を解析し、映像データの重要度を判定する。   In step S <b> 3, the video transmission device 1 analyzes video and audio signals by the analysis unit 15 and determines the importance of the video data.

ステップS4において、映像送信装置1は、緊急度及び重要度に基づいて、映像データを外部へ送信する優先度と共に、送信手段(移動無線通信部20又は近距離無線通信部21)を決定する。   In step S <b> 4, the video transmission device 1 determines a transmission unit (the mobile wireless communication unit 20 or the short-range wireless communication unit 21) along with the priority of transmitting the video data to the outside based on the urgency level and the importance level.

ステップS5において、映像送信装置1は、符号化部17により映像及び音声の信号を符号化し、映像データを生成する。   In step S <b> 5, the video transmission device 1 encodes video and audio signals by the encoding unit 17 to generate video data.

ステップS6において、映像送信装置1は、生成した映像データを記憶部18に記憶する。   In step S <b> 6, the video transmission device 1 stores the generated video data in the storage unit 18.

ステップS7において、映像送信装置1は、生成した映像データの優先度が最上位、すなわち緊急性の高い映像であるか否かを判定する。この判定がYESの場合、処理はステップS8に移り、判定がNOの場合、処理は終了する。   In step S <b> 7, the video transmission device 1 determines whether or not the generated video data has the highest priority, that is, a video with high urgency. If this determination is YES, the process proceeds to step S8, and if the determination is NO, the process ends.

ステップS8において、映像送信装置1は、送信手段として移動無線通信部20を選択し、映像データを送信する。   In step S8, the video transmission apparatus 1 selects the mobile radio communication unit 20 as a transmission unit, and transmits video data.

なお、映像送信装置1は、センサ情報から優先度を決定するステップS2〜S4と、映像データを記録するステップS5〜S6とを、並列して実行してもよい。   Note that the video transmission device 1 may execute steps S2 to S4 for determining priority from the sensor information and steps S5 to S6 for recording video data in parallel.

図3は、本実施形態に係る映像データを送信する第2の処理を示すフローチャートである。
本処理は、映像送信装置1により繰り返し実行され、近距離無線の圏内において、記憶されている映像データを優先度に応じて順次外部へ送信する。
FIG. 3 is a flowchart showing a second process of transmitting video data according to the present embodiment.
This process is repeatedly executed by the video transmission device 1, and the stored video data is sequentially transmitted to the outside in accordance with the priority within the short-range wireless range.

ステップS11において、映像送信装置1は、近距離無線の圏内にあるか否かを判定する。この判定がYESの場合、処理はステップS12に移り、判定がNOの場合、処理は終了する。   In step S <b> 11, the video transmission device 1 determines whether or not it is within a short-range wireless range. If this determination is YES, the process proceeds to step S12, and if the determination is NO, the process ends.

ステップS12において、映像送信装置1は、未送信の映像データのうち最も優先度が高いものを、次に送信する映像データとして記憶部18から抽出する。   In step S <b> 12, the video transmission device 1 extracts from the storage unit 18 the video data having the highest priority among the untransmitted video data as video data to be transmitted next.

ステップS13において、映像送信装置1は、送信手段として近距離無線通信部21を選択し、抽出した映像データを送信する。   In step S13, the video transmission device 1 selects the short-range wireless communication unit 21 as a transmission unit and transmits the extracted video data.

ステップS14において、映像送信装置1は、送信した映像データに対して、送信済みを示すフラグを付加して記録する。   In step S <b> 14, the video transmission device 1 records the transmitted video data with a flag indicating that the transmission has been completed.

図4は、本実施形態に係る映像データの優先度に応じた送信順序の決定方法を例示する図である。   FIG. 4 is a diagram illustrating a transmission order determination method according to the priority of video data according to the present embodiment.

映像データ1〜8が撮影順に生成されると、それぞれに対応した優先度が設定される。この例では、優先度の一例として「高」、「中」、「低」の3段階が映像データ毎に設定されている。   When the video data 1 to 8 are generated in the shooting order, the priority corresponding to each is set. In this example, three levels of “high”, “medium”, and “low” are set for each video data as an example of priority.

まず、優先度が「高」の映像データ3が送信(アップロード)順序の1番となる。次に、優先度が「中」の映像データ4,8が撮影された順に送信され、最後に優先度が「低」の映像データ1,2,5,6,7が撮影された順に送信される。   First, the video data 3 having a high priority is the first in the transmission (upload) order. Next, the video data 4 and 8 with the medium priority are transmitted in the order in which they were photographed, and finally the video data 1, 2, 5, 6, and 7 with the low priority are transmitted in the order in which they were photographed. The

図5は、本実施形態に係る映像データが近距離無線で送信される場合の手順を例示する図である。   FIG. 5 is a diagram illustrating a procedure when video data according to the present embodiment is transmitted by short-range wireless communication.

自動車に搭載された映像送信装置1は、自動車の走行に従って順に、近距離無線のアクセスポイント2a、2b、2cの通信エリア圏内に入る。各アクセスポイント2(a〜c)は、通信エリアが近距離に限られるため、移動する映像送信装置1から送信可能な映像データの量も限られる。   The video transmission device 1 mounted on the automobile enters the communication area of the short-range wireless access points 2a, 2b, and 2c in order according to the traveling of the automobile. Since each access point 2 (ac) has a communication area limited to a short distance, the amount of video data that can be transmitted from the moving video transmission device 1 is also limited.

そこで、映像送信装置1は、各アクセスポイント2(a〜c)の通信エリア圏内に入る度に、未送信の映像データを優先度に従った順序で送信する。送信された映像データは、ネットワーク3を介して外部サーバ4にアップロードされる。
この例では、映像送信装置1は、決定された送信順序に従って、アクセスポイント2aの圏内で映像データ3,4を、アクセスポイント2bの圏内で映像データ8,1,2を、アクセスポイント2cの圏内で映像データ5,6を送信している。
なお、送信が完了する前に圏外となった場合、映像送信装置1は、次に圏内となった際に送信が未完了の映像データから送信を試みる。
Therefore, every time the video transmission device 1 enters the communication area range of each access point 2 (ac), the video transmission device 1 transmits untransmitted video data in the order according to the priority. The transmitted video data is uploaded to the external server 4 via the network 3.
In this example, the video transmission device 1 follows the determined transmission order, the video data 3, 4 within the access point 2a, the video data 8, 1, 2 within the access point 2b, and the access point 2c. The video data 5 and 6 are transmitted.
When the transmission is out of range before the transmission is completed, the video transmission device 1 attempts transmission from video data that has not been transmitted when the next transmission is completed.

本実施形態によれば、映像送信装置1は、撮影された映像データを送信する優先度を決定し、優先度が高く緊急性が高い映像データのみを移動無線通信により送信し、この他の映像データを近距離無線通信により送信する。したがって、映像送信装置1は、優先度によって複数の通信手段を切り替えることにより、移動通信網の負荷を低減しつつ、映像データを外部装置へ効率的に送信できる。   According to the present embodiment, the video transmission device 1 determines the priority for transmitting the captured video data, transmits only the video data with high priority and high urgency by mobile wireless communication, and other video Data is transmitted by short-range wireless communication. Therefore, the video transmission device 1 can efficiently transmit the video data to the external device while reducing the load on the mobile communication network by switching the plurality of communication means according to the priority.

映像送信装置1は、複数のセンサ情報に基づいて緊急度及び重要度を独立して判定し、これらを統合して優先度を決定する。したがって、映像送信装置1は、複数の入力情報を効率的に使い分け、適切な送信手段及び送信順順序を決定できる。   The video transmission device 1 independently determines the urgency level and the importance level based on a plurality of sensor information, and determines the priority by integrating them. Therefore, the video transmission apparatus 1 can use a plurality of pieces of input information efficiently and determine an appropriate transmission means and transmission order.

映像送信装置1は、加速度情報に基づいて緊急度を判定するので、加速度値の異常を検出したことによって事故等の緊急性が高い事象が発生したことを効率的に精度良く判定できる。   Since the video transmission apparatus 1 determines the degree of urgency based on the acceleration information, it can efficiently and accurately determine that a highly urgent event such as an accident has occurred by detecting an abnormality in the acceleration value.

映像送信装置1は、映像又は音声に基づいて重要度を判定するので、偶然に遭遇した稀な出来事等、ユーザにとっての映像データの重要度を精度良く判定できる。   Since the video transmission apparatus 1 determines the importance based on the video or the audio, the video transmission apparatus 1 can accurately determine the importance of the video data for the user, such as a rare event that is accidentally encountered.

映像送信装置1は、センサ情報を、ネットワークを介して外部から取得できるので、外部情報を含めたより多くの情報に基づいて、映像データの優先度を精度良く判定できる。   Since the video transmission device 1 can acquire the sensor information from the outside via the network, the video transmission device 1 can accurately determine the priority of the video data based on more information including the external information.

映像送信装置1は、近距離無線通信を用いて、通信エリア圏内に入る度に複数の映像データを順に送信するよう制御する。このとき、映像送信装置1は、送信済みを示す識別フラグを付与するので、映像データが重複して送信されることを抑制できる。   The video transmission device 1 controls to transmit a plurality of video data in order each time the communication area is entered using short-range wireless communication. At this time, since the video transmission device 1 provides an identification flag indicating that transmission has been completed, it is possible to prevent the video data from being transmitted redundantly.

映像送信装置1は、高解像度の映像データ等、データ容量が大きい映像データを変換し、変換後のデータ容量が小さい映像データを優先して送信できるので、通信網を圧迫することなく、重要な映像データを早期に外部へ送信できる。   The video transmission device 1 can convert video data having a large data capacity, such as high-resolution video data, and can preferentially transmit video data having a small data capacity after conversion. Video data can be transmitted to the outside at an early stage.

映像送信装置1は、ユーザ又は外部サーバ等、外部から優先度の指定入力を受け付けるので、映像の利用者の意図に従った適切な映像データを外部へ送信できる。   Since the video transmission device 1 receives a priority designation input from the outside, such as a user or an external server, the video transmission device 1 can transmit appropriate video data according to the intention of the video user to the outside.

以上、本発明の実施形態について説明したが、本発明は前述した実施形態に限るものではない。また、本実施形態に記載された効果は、本発明から生じる最も好適な効果を列挙したに過ぎず、本発明による効果は、本実施形態に記載されたものに限定されるものではない。   As mentioned above, although embodiment of this invention was described, this invention is not restricted to embodiment mentioned above. Further, the effects described in the present embodiment are merely a list of the most preferable effects resulting from the present invention, and the effects of the present invention are not limited to those described in the present embodiment.

本実施形態の映像送信装置1は、ドライブレコーダであるとして説明したが、ドライブレコーダ機能を提供するアプリケーションがインストールされた移動端末、例えばスマートフォン又はウェアラブルデバイス等であってもよい。
さらに、機能ブロックの一部が別のデバイスとして構成されてもよい。例えば、無線通信手段(移動無線通信部20及び近距離無線通信部21)は、携帯電話機、スマートフォン又は通信専用端末等が接続されることにより提供されてもよい。
Although the video transmission apparatus 1 of the present embodiment has been described as being a drive recorder, it may be a mobile terminal installed with an application that provides a drive recorder function, such as a smartphone or a wearable device.
Furthermore, a part of the functional block may be configured as another device. For example, the wireless communication means (the mobile wireless communication unit 20 and the short-range wireless communication unit 21) may be provided by connecting a mobile phone, a smartphone, a communication dedicated terminal, or the like.

映像送信装置1に入力されるセンサ情報は、前述の映像信号、音声信号及び加速度情報等には限られない。また、映像及び音声等の解析には、画像認識又は音声認識等の既存の技術を適用し、通常と異なる重要な事象の発生を検出する精度を向上させることができる。   The sensor information input to the video transmission device 1 is not limited to the above-described video signal, audio signal, acceleration information, and the like. In addition, existing techniques such as image recognition or voice recognition can be applied to the analysis of video and audio, etc., and the accuracy of detecting the occurrence of important events different from normal can be improved.

また、映像送信装置1は、音声を含む映像データと共に、速度又は加速度等の各種のセンサ情報を送信してもよい。   In addition, the video transmission device 1 may transmit various sensor information such as speed or acceleration together with video data including sound.

映像送信装置1による映像送信方法は、ソフトウェアにより実現される。ソフトウェアによって実現される場合には、このソフトウェアを構成するプログラムが、情報処理装置(映像送信装置1)にインストールされる。また、これらのプログラムは、CD−ROMのようなリムーバブルメディアに記録されてユーザに配布されてもよいし、ネットワークを介してコンピュータにダウンロードされることにより配布されてもよい。さらに、これらのプログラムは、ダウンロードされることなくネットワークを介したWebサービスとしてコンピュータに提供されてもよい。   The video transmission method by the video transmission device 1 is realized by software. When realized by software, a program constituting the software is installed in the information processing apparatus (video transmission apparatus 1). These programs may be recorded on a removable medium such as a CD-ROM and distributed to users, or may be distributed by downloading to a computer via a network. Furthermore, these programs may be provided to a computer as a Web service via a network without being downloaded.

1 映像送信装置
11 カメラ
12 マイク
13 加速度センサ
14 入力部
15 解析部(取得部)
16 決定部
17 符号化部
18 記憶部
19 通信制御部
20 移動無線通信部
21 近距離無線通信部
151 緊急度判定部
152 重要度判定部
DESCRIPTION OF SYMBOLS 1 Video transmission device 11 Camera 12 Microphone 13 Acceleration sensor 14 Input part 15 Analysis part (acquisition part)
DESCRIPTION OF SYMBOLS 16 Determining part 17 Encoding part 18 Storage part 19 Communication control part 20 Mobile radio | wireless communication part 21 Near field communication part 151 Urgency determination part 152 Importance determination part

Claims (10)

移動無線通信部と、
近距離無線通信部と、
カメラにより撮影された映像信号を含むセンサ情報を取得する取得部と、
前記センサ情報に基づいて、前記映像信号から生成された映像データを外部へ送信する優先度を決定する決定部と、
前記映像データを、前記優先度と共に記憶する記憶部と、
前記映像データを外部へ送信する際、対応する前記優先度が所定以上の場合、前記移動無線通信部により送信させ、対応する前記優先度が所定未満の場合、前記近距離無線通信部により送信させる通信制御部と、を備える映像送信装置。
A mobile radio communication unit;
A near field communication unit;
An acquisition unit for acquiring sensor information including a video signal photographed by the camera;
A determination unit that determines the priority of transmitting the video data generated from the video signal to the outside based on the sensor information;
A storage unit for storing the video data together with the priority;
When transmitting the video data to the outside, if the corresponding priority is equal to or higher than a predetermined value, the mobile radio communication unit transmits the video data. If the corresponding priority is lower than a predetermined value, the video data is transmitted by the short-range wireless communication unit. And a communication control unit.
第1のセンサ情報に基づいて緊急度を判定する緊急度判定部と、
第2のセンサ情報に基づいて重要度を判定する重要度判定部と、を備え、
前記決定部は、前記緊急度及び前記重要度に基づいて、前記優先度を決定する請求項1に記載の映像送信装置。
An urgency determination unit that determines the urgency based on the first sensor information;
An importance determination unit that determines the importance based on the second sensor information,
The video transmission device according to claim 1, wherein the determination unit determines the priority based on the urgency level and the importance level.
前記第1のセンサ情報は、加速度情報である請求項2に記載の映像送信装置。   The video transmission device according to claim 2, wherein the first sensor information is acceleration information. 前記第2のセンサ情報は、前記映像信号又は音声信号である請求項2又は請求項3に記載の映像送信装置。   The video transmission device according to claim 2 or 3, wherein the second sensor information is the video signal or an audio signal. 前記取得部は、前記センサ情報の少なくとも一部を、ネットワークを介して外部から取得する請求項1から請求項4のいずれかに記載の映像送信装置。   The video transmission device according to claim 1, wherein the acquisition unit acquires at least a part of the sensor information from outside via a network. 前記通信制御部は、送信に成功した映像データを識別するデータを記憶し、前記近距離無線通信部による通信が切断された場合、次に通信が回復すると、前記送信に成功した映像データを除く映像データのうち、前記優先度の高い映像データから送信を開始する請求項1から請求項5のいずれかに記載の映像送信装置。   The communication control unit stores data for identifying video data that has been successfully transmitted. When communication by the short-range wireless communication unit is disconnected, when communication is recovered next, the video data that has been successfully transmitted is excluded. 6. The video transmission apparatus according to claim 1, wherein transmission is started from video data having a high priority among video data. 前記映像データを変換してデータ容量を圧縮する変換部を備え、
前記決定部は、前記変換部により変換された後の映像データの優先度を、変換前の映像データの優先度よりも高く決定する請求項1から請求項6のいずれかに記載の映像送信装置。
A conversion unit that converts the video data and compresses the data capacity;
The video transmission device according to claim 1, wherein the determination unit determines a priority of the video data after being converted by the conversion unit to be higher than a priority of the video data before the conversion. .
前記優先度の指定入力を受け付ける入力部を備え、
前記決定部は、前記センサ情報の解析結果に優先して、前記指定入力に基づいて、前記優先度を決定する請求項1から請求項7のいずれかに記載の映像送信装置。
An input unit for receiving the priority designation input;
The video transmission device according to claim 1, wherein the determination unit determines the priority based on the designation input in preference to the analysis result of the sensor information.
コンピュータの制御部が、
カメラにより撮影された映像信号を含むセンサ情報を取得する取得ステップと、
前記センサ情報に基づいて、前記映像信号から生成された映像データを外部へ送信する優先度を決定する決定ステップと、
前記映像データを、前記優先度と共に記憶する記憶ステップと、
前記映像データを外部へ送信する際、対応する前記優先度が所定以上の場合、移動無線通信により送信させ、対応する前記優先度が所定未満の場合、近距離無線通信により送信させる通信制御ステップと、を実行する映像送信方法。
The computer controller
An acquisition step of acquiring sensor information including a video signal photographed by the camera;
A determination step of determining a priority of transmitting the video data generated from the video signal to the outside based on the sensor information;
Storing the video data together with the priority;
A communication control step of transmitting the video data to the outside if the corresponding priority is greater than or equal to a predetermined value, transmitting by mobile wireless communication, and if the corresponding priority is less than the predetermined, transmitting by short-range wireless communication; , Execute video transmission method.
請求項9に記載の映像送信方法の各ステップを前記コンピュータに実行させるための映像送信プログラム。   A video transmission program for causing a computer to execute each step of the video transmission method according to claim 9.
JP2014154950A 2014-07-30 2014-07-30 Video transmission device, video transmission method, and video transmission program Active JP6293013B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2014154950A JP6293013B2 (en) 2014-07-30 2014-07-30 Video transmission device, video transmission method, and video transmission program

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2014154950A JP6293013B2 (en) 2014-07-30 2014-07-30 Video transmission device, video transmission method, and video transmission program

Publications (2)

Publication Number Publication Date
JP2016032258A true JP2016032258A (en) 2016-03-07
JP6293013B2 JP6293013B2 (en) 2018-03-14

Family

ID=55442390

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2014154950A Active JP6293013B2 (en) 2014-07-30 2014-07-30 Video transmission device, video transmission method, and video transmission program

Country Status (1)

Country Link
JP (1) JP6293013B2 (en)

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2018055574A (en) * 2016-09-30 2018-04-05 Kddi株式会社 Communication terminal, communication method, and communication program
DE112017000946T5 (en) 2016-02-23 2018-10-31 Denso Corporation HEAD-UP DISPLAY DEVICE
JP2019215869A (en) * 2018-06-12 2019-12-19 ドコモ・システムズ株式会社 Management server and management method
WO2020090285A1 (en) * 2018-10-31 2020-05-07 日本電気株式会社 Communication device, communication control method, and non-transitory computer readable medium
JP2020141283A (en) * 2019-02-28 2020-09-03 株式会社Ihi Mobile object management device, mobile object management system, and mobile object monitoring data transmission method
JPWO2019151427A1 (en) * 2018-02-02 2021-01-28 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカPanasonic Intellectual Property Corporation of America Information transmission method and client device
CN112396725A (en) * 2020-11-13 2021-02-23 陈穗 Airplane flight big data storage management method and system
US10945160B2 (en) 2016-09-30 2021-03-09 Kddi Corporation Management device, communication terminal, and method for communication terminal
WO2021131305A1 (en) * 2019-12-25 2021-07-01 パナソニックIpマネジメント株式会社 Communication device and communication method

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003317193A (en) * 2002-04-23 2003-11-07 Denso Corp Apparatus
JP2004056443A (en) * 2002-07-19 2004-02-19 Fujitsu Ltd Monitor image pickup terminal equipment and monitoring system
JP2004096378A (en) * 2002-08-30 2004-03-25 Ntt Docomo Inc Mobile machine, information communication system, and information communication method
JP2006270607A (en) * 2005-03-24 2006-10-05 Victor Co Of Japan Ltd Portable imaging apparatus and videorecording system
WO2007032384A1 (en) * 2005-09-13 2007-03-22 Kddi Corporation Information sending apparatus, information receiving apparatus, and information transmitting method
JP2007076404A (en) * 2005-09-12 2007-03-29 Sony Ericsson Mobilecommunications Japan Inc Vehicle data obtaining system, and vehicle data obtaining device
JP2007293536A (en) * 2006-04-24 2007-11-08 Denso Corp Accident information collecting system and accident information recording device
JP2008268149A (en) * 2007-04-25 2008-11-06 Xanavi Informatics Corp Navigation apparatus and route guidance method
JP2012089989A (en) * 2010-10-18 2012-05-10 Hitachi Kokusai Electric Inc Video monitoring system

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003317193A (en) * 2002-04-23 2003-11-07 Denso Corp Apparatus
JP2004056443A (en) * 2002-07-19 2004-02-19 Fujitsu Ltd Monitor image pickup terminal equipment and monitoring system
JP2004096378A (en) * 2002-08-30 2004-03-25 Ntt Docomo Inc Mobile machine, information communication system, and information communication method
JP2006270607A (en) * 2005-03-24 2006-10-05 Victor Co Of Japan Ltd Portable imaging apparatus and videorecording system
JP2007076404A (en) * 2005-09-12 2007-03-29 Sony Ericsson Mobilecommunications Japan Inc Vehicle data obtaining system, and vehicle data obtaining device
WO2007032384A1 (en) * 2005-09-13 2007-03-22 Kddi Corporation Information sending apparatus, information receiving apparatus, and information transmitting method
JP2007293536A (en) * 2006-04-24 2007-11-08 Denso Corp Accident information collecting system and accident information recording device
JP2008268149A (en) * 2007-04-25 2008-11-06 Xanavi Informatics Corp Navigation apparatus and route guidance method
JP2012089989A (en) * 2010-10-18 2012-05-10 Hitachi Kokusai Electric Inc Video monitoring system

Cited By (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE112017000946T5 (en) 2016-02-23 2018-10-31 Denso Corporation HEAD-UP DISPLAY DEVICE
JP2018055574A (en) * 2016-09-30 2018-04-05 Kddi株式会社 Communication terminal, communication method, and communication program
US10945160B2 (en) 2016-09-30 2021-03-09 Kddi Corporation Management device, communication terminal, and method for communication terminal
US11683725B2 (en) 2016-09-30 2023-06-20 Kddi Corporation Communication terminal and communication method for transmitting device data
JPWO2019151427A1 (en) * 2018-02-02 2021-01-28 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカPanasonic Intellectual Property Corporation of America Information transmission method and client device
JP7402695B2 (en) 2018-02-02 2023-12-21 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ Information transmission method and client device
JP2019215869A (en) * 2018-06-12 2019-12-19 ドコモ・システムズ株式会社 Management server and management method
JPWO2020090285A1 (en) * 2018-10-31 2021-10-14 日本電気株式会社 Communication equipment, communication control methods, and programs
WO2020090285A1 (en) * 2018-10-31 2020-05-07 日本電気株式会社 Communication device, communication control method, and non-transitory computer readable medium
JP7147867B2 (en) 2018-10-31 2022-10-05 日本電気株式会社 Communication device, communication control method, and program
JP2020141283A (en) * 2019-02-28 2020-09-03 株式会社Ihi Mobile object management device, mobile object management system, and mobile object monitoring data transmission method
JP7314529B2 (en) 2019-02-28 2023-07-26 株式会社Ihi Mobile object management device, mobile object management system, and mobile object monitoring data transmission method
CN114930419A (en) * 2019-12-25 2022-08-19 松下知识产权经营株式会社 Communication device and communication method
JP2021103437A (en) * 2019-12-25 2021-07-15 パナソニックIpマネジメント株式会社 Communication apparatus and communication method
JP7236677B2 (en) 2019-12-25 2023-03-10 パナソニックIpマネジメント株式会社 Communication device and communication method
WO2021131305A1 (en) * 2019-12-25 2021-07-01 パナソニックIpマネジメント株式会社 Communication device and communication method
CN112396725A (en) * 2020-11-13 2021-02-23 陈穗 Airplane flight big data storage management method and system

Also Published As

Publication number Publication date
JP6293013B2 (en) 2018-03-14

Similar Documents

Publication Publication Date Title
JP6293013B2 (en) Video transmission device, video transmission method, and video transmission program
US10755498B2 (en) Drive recorder
US9852553B2 (en) Apparatus and method of requesting emergency call for vehicle accident by using travelling information about vehicle
KR102087073B1 (en) Image-processing Apparatus for Car and Method of Sharing Data Using The Same
JP6079705B2 (en) Emergency call device for vehicles
JP2018173688A (en) Road side machine
US20200076895A1 (en) Data collection apparatus, on-vehicle device, data collection system, and data collection method
JP6978247B2 (en) Operation monitoring system
JP7340678B2 (en) Data collection method and data collection device
KR20140042389A (en) Smart blackbox system for reporting illegal activity
WO2019146488A1 (en) Driving state monitoring device, driving state monitoring method, and driving state monitoring system
US20230351823A1 (en) Information processing device, information processing method and program
JP7436061B2 (en) Driving support devices, methods and programs
US20210056329A1 (en) Driving state monitoring device, driving state monitoring system, driving state monitoring method and recording medium
US20150079923A1 (en) Communications device based analytics for a traveler
JP2021039485A (en) Collection method
TW201741898A (en) System and method for UBI or fleet management by utilizing cloud driving video recording information
JP5926978B2 (en) Drive recorder
JP2011150405A (en) On-vehicle device and method of recording warning output in vehicle
JP6569460B2 (en) Information collection system
KR101687656B1 (en) Method and system for controlling blackbox using mobile
JP2019016227A (en) Information processing method, information processing apparatus and information processing program
KR20140068312A (en) Method of managing traffic accicident information using electronic recording device of vehicle and apparatus for the same
JP2016133963A (en) Communication type drive recorder and emergency notification system
US20150070497A1 (en) Recording apparatus for vehicles and method of recording

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20170118

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20171005

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20171107

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20171218

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20180206

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20180213

R150 Certificate of patent or registration of utility model

Ref document number: 6293013

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150