JP2016189097A - Abnormal driving detection device - Google Patents

Abnormal driving detection device Download PDF

Info

Publication number
JP2016189097A
JP2016189097A JP2015068599A JP2015068599A JP2016189097A JP 2016189097 A JP2016189097 A JP 2016189097A JP 2015068599 A JP2015068599 A JP 2015068599A JP 2015068599 A JP2015068599 A JP 2015068599A JP 2016189097 A JP2016189097 A JP 2016189097A
Authority
JP
Japan
Prior art keywords
moving body
vehicle
abnormal operation
control unit
interval
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2015068599A
Other languages
Japanese (ja)
Inventor
浩司 新戸
Koji Shinto
浩司 新戸
高橋 優
Masaru Takahashi
優 高橋
将一 五十嵐
Shoichi Igarashi
将一 五十嵐
豊大 酒井
Toyohiro Sakai
豊大 酒井
康平 向田
Kohei Mukoda
康平 向田
啓輔 安仲
Keisuke Yasunaka
啓輔 安仲
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Pioneer Corp
Original Assignee
Pioneer Electronic Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Pioneer Electronic Corp filed Critical Pioneer Electronic Corp
Priority to JP2015068599A priority Critical patent/JP2016189097A/en
Publication of JP2016189097A publication Critical patent/JP2016189097A/en
Pending legal-status Critical Current

Links

Images

Landscapes

  • Traffic Control Systems (AREA)

Abstract

PROBLEM TO BE SOLVED: To provide an abnormal driving detection device that can accurately detect abnormal driving of another movable body.SOLUTION: A control part 2 photographs another vehicle and its surroundings with cameras 3 to 6, specifies a reference object on the basis of a photographed image, measures the degree of driving on the basis of a change in relative position between the reference object and the another vehicle, and outputs reminder information indicating abnormal driving of the another vehicle on the basis of the degree of driving from a speaker 7 and a display part 8. The control part measures the degree of driving with the reference object as a reference so as to accurately detect abnormal driving of the another vehicle.SELECTED DRAWING: Figure 4

Description

本発明は、他移動体の運転度を測定して注意喚起情報を出力する異常運転検出装置に関する。   The present invention relates to an abnormal operation detection device that measures the driving degree of another moving body and outputs warning information.

従来、自車両(自移動体)の前方や側方に位置する自転車等を対象物(他移動体)として、対象物のふらつきを検出する運転支援装置(異常運転検出装置)が提案されている(例えば、特許文献1参照)。特許文献1に記載された従来の運転支援装置では、対象物のふらつき幅が所定値を越えた回数を計測し、運転者に警報を発生することにより、対象物との接触を回避するようになっている。   Conventionally, a driving support device (abnormal driving detection device) for detecting a wobbling of an object has been proposed with a bicycle or the like positioned in front of or on the side of the own vehicle (own moving body) as an object (another moving body). (For example, refer to Patent Document 1). In the conventional driving support device described in Patent Document 1, the number of times the fluctuation width of the object exceeds a predetermined value is measured, and a warning is issued to the driver so as to avoid contact with the object. It has become.

特開2012−194863号公報JP 2012-194863 A

しかしながら、特許文献1の運転支援装置では、自車両と対象物とが同一方向に走行しているため、ふらつき幅を決定するための基準が明確でなく、対象物の異常運転の検出精度が低いという不都合があった。   However, in the driving support device of Patent Document 1, since the host vehicle and the object are traveling in the same direction, the criterion for determining the wobbling width is not clear, and the detection accuracy of the abnormal operation of the object is low. There was an inconvenience.

したがって、本発明の課題は、他移動体の異常運転を精度良く検出することができる異常運転検出装置を提供することが一例として挙げられる。   Therefore, an object of the present invention is to provide an abnormal operation detection device that can accurately detect abnormal operation of another moving body.

前述した課題を解決し目的を達成するために、請求項1に記載の本発明の異常運転検出装置は、自移動体の周辺に位置する他移動体を含む、当該他移動体周辺を撮影する撮影部と、前記撮影部によって撮影された撮影画像に基づき、基準物を特定し、当該基準物と前記他移動体との相対位置の変化を示す運転度を測定する測定部と、前記運転度に基づき、前記他移動体の異常運転を示す注意喚起情報を出力する出力部と、を備えることを特徴としている。   In order to solve the above-described problem and achieve the object, the abnormal operation detection device according to the present invention according to claim 1 shoots the periphery of the other moving body including the other moving body located around the own moving body. An imaging unit, a measurement unit that specifies a reference object based on a captured image captured by the imaging unit, and measures a driving degree indicating a change in a relative position between the reference object and the other moving body, and the driving degree And an output unit for outputting alert information indicating abnormal operation of the other moving body.

請求項5に記載の本発明の異常運転検出方法は、自移動体の周辺に位置する他移動体を含む、当該他移動体周辺を撮影する撮影工程と、前記撮影工程において撮影された撮影画像に基づき、基準物を特定し、当該基準物と前記他移動体との相対位置の変化を示す運転度を測定する測定工程と、前記運転度に基づき、前記他移動体の異常運転を示す注意喚起情報を出力する出力工程と、を含むことを特徴としている。   The abnormal operation detection method of the present invention according to claim 5 includes a photographing step of photographing the periphery of the other moving body including the other moving body located in the vicinity of the own moving body, and a photographed image photographed in the photographing step. Based on the above, a reference object is specified, and a measurement process for measuring a driving degree indicating a change in a relative position between the reference object and the other moving body, and a caution indicating an abnormal operation of the other moving body based on the driving degree. And an output process for outputting the arousal information.

本発明の実施例に係る異常運転検出装置の概略を示すブロック図である。It is a block diagram which shows the outline of the abnormal operation detection apparatus which concerns on the Example of this invention. 前記異常運転検出装置が実行する異常検出処理の手順の一例を示すフローチャートである。It is a flowchart which shows an example of the procedure of the abnormality detection process which the said abnormal driving | running | working detection apparatus performs. 前記異常検出処理における他車両検知処理の手順の一例を示すフローチャートである。It is a flowchart which shows an example of the procedure of the other vehicle detection process in the said abnormality detection process. 前記異常検出処理における振れ検知処理の手順の一例を示すフローチャートである。It is a flowchart which shows an example of the procedure of the shake detection process in the said abnormality detection process. 前記異常検出処理における速度変化検知処理の手順の一例を示すフローチャートである。It is a flowchart which shows an example of the procedure of the speed change detection process in the said abnormality detection process. 前記異常検出処理における測定終了判定処理の手順の一例を示すフローチャートである。It is a flowchart which shows an example of the procedure of the measurement end determination process in the said abnormality detection process.

以下、本発明の実施形態を説明する。本発明の実施形態に係る異常運転検出装置は、自移動体の周辺に位置する他移動体を含む、他移動体周辺を撮影する撮影部と、撮影部によって撮影された撮影画像に基づき、基準物を特定し、基準物と他移動体との相対位置の変化を示す運転度を測定する測定部と、運転度に基づき、他移動体の異常運転を示す注意喚起情報を出力する出力部と、を備える。   Embodiments of the present invention will be described below. The abnormal operation detection device according to the embodiment of the present invention is based on an imaging unit that images the periphery of another moving body, including other moving bodies that are located around the moving body, and a captured image that is captured by the imaging unit. A measurement unit that identifies an object and measures a driving degree indicating a change in a relative position between the reference object and another moving body, and an output unit that outputs warning information indicating an abnormal driving of the other moving body based on the driving degree; .

このような本実施形態の異常運転検出装置によれば、撮影部による撮影画像に基づいて基準物を特定し、基準物と他移動体との相対位置の変化を示す運転度を測定することで、基準物を基準として他移動体の異常運転を精度良く検出することができる。尚、運転度は複数のパラメータを含んでいてもよく、各パラメータについて独立に基準値が設定されてもよいし、複数のパラメータを総合的に判定するように基準値が設定されてもよい。また、出力部は、自移動体に対して注意喚起情報を出力してもよいし、他移動体の周辺の移動体に対して注意喚起情報を出力してもよい。   According to such an abnormal operation detection device of the present embodiment, the reference object is specified based on the captured image by the imaging unit, and the driving degree indicating the change in the relative position between the reference object and the other moving body is measured. The abnormal operation of the other moving body can be accurately detected with reference to the reference object. Note that the driving degree may include a plurality of parameters, and a reference value may be set independently for each parameter, or a reference value may be set so as to comprehensively determine the plurality of parameters. In addition, the output unit may output the alert information for the mobile body or may output the alert information for a mobile body around another mobile body.

自移動体の状態を示す自移動体情報と、他移動体の状態を示す他移動体情報と、自移動体及び他移動体が走行している道路の状態を示す道路情報と、のうち少なくとも1つを含む環境情報を取得する環境取得部と、環境情報に基づいた基準値を取得する基準値取得部と、をさらに備え、出力部は、運転度が基準値以上となる場合、注意喚起情報を出力することが好ましい。それにより、他移動体の運転度を測定するだけでなく、環境情報に基づいた基準値を取得することで、正常走行からのずれが発生しやすい場合や接触の可能性が低い場合には基準値を高くし、ずれが発生しにくい場合や接触の可能性が高いには基準値を低くすることにより、他移動体の異常運転を適切に検出することができる。尚、正常走行とは、走行時に速度の変化が小さく且つ左右へのふらつきが小さいことを意味する。さらに、環境情報が、自移動体の状態を示す自移動体情報と、他移動体の状態を示す他移動体情報と、自移動体及び前記他移動体が走行している道路の状態を示す道路情報と、のうち少なくとも1つを含むことで、自移動体や他移動体、道路の状態に応じて、運転度についての基準値を適切に設定することができる。尚、自移動体情報は、自移動体の走行速度を含むことがより好ましい。また、他移動体情報は、他移動体の走行速度と、他移動体に取り付けられている標識情報(例えば初心運転者標識や高齢運転者標識)と、のうち少なくとも1つを含むことがより好ましい。また、道路情報は、路面状態と、車線幅と、道路上の障害物の有無と、車線の曲率と、カーブの連続数と、のうち少なくとも1つを含むことがより好ましい。   At least one of: self-moving body information indicating a state of the self-moving body; other moving body information indicating a state of the other moving body; and road information indicating a state of the road on which the moving body and the other moving body are traveling. An environment acquisition unit that acquires environmental information including one and a reference value acquisition unit that acquires a reference value based on the environmental information, and the output unit alerts the driver when the driving degree exceeds the reference value It is preferable to output information. As a result, in addition to measuring the driving degree of other moving objects, by acquiring a reference value based on environmental information, the standard is used when deviation from normal driving is likely to occur or the possibility of contact is low. When the value is increased and deviation is difficult to occur or when the possibility of contact is high, abnormal operation of other moving bodies can be appropriately detected by decreasing the reference value. The normal running means that the speed change is small and the left / right wobbling is small. Furthermore, environmental information shows the own mobile body information which shows the state of the own mobile body, the other mobile body information which shows the state of another mobile body, and the state of the road on which the mobile body and the other mobile body are traveling. By including at least one of the road information, the reference value for the driving degree can be appropriately set according to the state of the own mobile body, the other mobile body, and the road. In addition, it is more preferable that the self-moving body information includes the traveling speed of the self-moving body. In addition, the other mobile body information may include at least one of the traveling speed of the other mobile body and the sign information (for example, the initial driver sign or the old driver sign) attached to the other mobile body. preferable. More preferably, the road information includes at least one of a road surface state, a lane width, the presence / absence of an obstacle on the road, the curvature of the lane, and the number of continuous curves.

運転度は、他移動体の左右への振れ幅を含み、測定部は、道路に沿って設けられた設置物又は自移動体を基準物として特定し、基準物と他移動体との相対位置に基づいて振れ幅を測定することが好ましい。それにより、他移動体が左右に振れた場合に、異常運転であると判断することができる。さらに、測定部が設置物を基準物として特定した場合には、設置物と他移動体との相対位置(即ち間隔)に基づいて振れ幅を精度良く測定し、他移動体が左右に振れたかを検出することができる。一方、測定部が自車両を基準物として特定した場合には、自移動体が左右に振れずに走行していると仮定すれば、他移動体が左右に振れたかを検出することができる。尚、他移動体が自移動体の前後に位置し、自車両を基準物とする場合には、自移動体及び他移動体の任意の部位を基準位置とし、左右方向における基準位置同士の相対位置の変化に基づいて、振れ幅を測定することができる。また、他移動体が自移動体の左右に位置し、自車両を基準物とする場合には、他移動体との相対位置(即ち左右方向における移動体間隔)に基づいて、振れ幅を測定することができる。尚、測定部は、車線を区切る白線と、ガードレールと、歩道と、道路の幅方向端部に設けられる壁部と、のうち少なくとも1つを設置物(基準物)として特定することがより好ましい。   The driving degree includes the width of the other moving body to the left and right, and the measurement unit identifies the installed object or the moving object provided along the road as the reference object, and the relative position between the reference object and the other moving object. It is preferable to measure the deflection width based on the above. Thereby, when the other moving body swings left and right, it can be determined that the operation is abnormal. In addition, when the measurement unit identifies an installation as a reference object, the swing width is accurately measured based on the relative position (that is, the interval) between the installation and the other moving body, and the other moving body has swung from side to side. Can be detected. On the other hand, when the measuring unit specifies the host vehicle as a reference object, it can be detected whether the other moving body has swung left and right, assuming that the own moving body is traveling without swinging left and right. When the other moving body is positioned before and after the own moving body and the own vehicle is used as a reference object, any part of the own moving body and the other moving body is used as the reference position, and the relative positions of the reference positions in the left-right direction are relative to each other. Based on the change in position, the swing width can be measured. In addition, when the other moving body is positioned on the left and right of the own moving body and the own vehicle is used as a reference object, the swing width is measured based on the relative position with respect to the other moving body (that is, the moving body interval in the left-right direction). can do. In addition, it is more preferable that the measurement unit specifies at least one of a white line that separates the lane, a guard rail, a sidewalk, and a wall portion provided at an end in the width direction of the road as an installation object (reference object). .

運転度は、他移動体の速度変化量を含み、測定部は、自移動体を基準物として特定し、自移動体と他移動体との相対位置に基づいて速度変化量を測定することが好ましい。それにより、他移動体が加減速した場合に、異常運転であると判断することができる。さらに、相対位置の時間変化に基づいて自移動体と他移動体との相対速度を算出することができ、自移動体が一定速度で走行していると仮定すれば、他移動体が加減速したかを検出することができる。尚、他移動体が自移動体の前後に位置する場合には、他移動体との相対位置(即ち移動体間隔)の時間変化を算出することにより、相対速度を算出することができる。また、他移動体が自移動体の左右に位置する場合には、自移動体及び他移動体の任意の部位を基準位置とし、前後方向における基準位置同士の相対位置の時間変化を算出することにより、相対速度を算出することができる。   The driving degree includes the speed change amount of the other moving body, and the measurement unit can identify the own moving body as a reference object and measure the speed change amount based on the relative position between the own moving body and the other moving body. preferable. As a result, when the other moving body is accelerated or decelerated, it can be determined that the operation is abnormal. Furthermore, the relative speed between the moving body and the other moving body can be calculated based on the change in relative position over time, and assuming that the moving body is traveling at a constant speed, the other moving body is accelerated or decelerated. Can be detected. When the other moving body is positioned before and after the own moving body, the relative speed can be calculated by calculating the time change of the relative position with respect to the other moving body (that is, the moving body interval). In addition, when the other moving body is located on the left and right of the own moving body, the time change of the relative position between the reference positions in the front-rear direction is calculated using the arbitrary position of the own moving body and the other moving body as the reference position. Thus, the relative speed can be calculated.

尚、撮影部は、自移動体の前後左右のうち少なくとも1方向に位置する他移動体の周辺を撮影すればよい。それにより、自移動体に対して適宜な方向に位置する他移動体の異常運転を検出することで、接触を回避しやすくすることができる。   Note that the photographing unit may photograph the periphery of another moving body that is located in at least one of the front, rear, left, and right sides of the moving body. Thereby, it is possible to easily avoid contact by detecting abnormal operation of another moving body located in an appropriate direction with respect to the own moving body.

また、本発明の実施形態に係る異常運転検出方法は、自移動体の周辺に位置する他移動体を含む、他移動体周辺を撮影する撮影工程と、撮影工程において撮影された撮影画像に基づき、基準物を特定し、基準物と他移動体との相対位置の変化を示す運転度を測定する測定工程と、運転度に基づき、他移動体の異常運転を示す注意喚起情報を出力する出力工程と、を含む。このような本実施形態の異常運転検出方法によれば、上記の異常運転検出装置と同様に、基準物と他移動体との相対位置の変化を示す運転度を測定することで、基準物を基準として他移動体の異常運転を精度良く検出することができる。   In addition, the abnormal operation detection method according to the embodiment of the present invention is based on a photographing process for photographing the periphery of another moving body, including other moving bodies positioned around the own moving body, and a photographed image photographed in the photographing process. , A reference process to identify the reference object, measure the driving degree indicating the change in the relative position of the reference object and the other moving object, and output warning information indicating abnormal operation of the other moving object based on the driving degree And a process. According to such an abnormal operation detection method of the present embodiment, similarly to the above-described abnormal operation detection device, the reference object is measured by measuring the driving degree indicating the change in the relative position between the reference object and the other moving body. As a reference, it is possible to accurately detect abnormal operation of other moving bodies.

また、上述した異常運転検出方法をコンピュータにより実行させる異常運転検出プログラムとしてもよい。このようにすることにより、コンピュータを用いて、他移動体の異常運転を精度良く検出することができる。   Moreover, it is good also as an abnormal operation detection program which performs the abnormal operation detection method mentioned above by computer. By doing so, it is possible to detect an abnormal operation of another moving body with high accuracy using a computer.

また、上述した異常運転検出プログラムをコンピュータ読み取り可能な記録媒体に格納してもよい。このようにすることにより、当該プログラムを機器に組み込む以外に単体でも流通させることができ、バージョンアップ等も容易に行える。   Further, the abnormal operation detection program described above may be stored in a computer-readable recording medium. In this way, the program can be distributed as a single unit in addition to being incorporated in the device, and version upgrades can be easily performed.

以下、本発明の実施例について具体的に説明する。図1は、本発明の実施例に係る異常運転検出装置1の概略を示すブロック図であり、図2は、異常運転検出装置1が実行する異常検出処理の手順の一例を示すフローチャートであり、図3は、異常検出処理における他車両検知処理の手順の一例を示すフローチャートであり、図4は、異常検出処理における振れ検知処理の手順の一例を示すフローチャートであり、図5は、異常検出処理における速度変化検知処理の手順の一例を示すフローチャートであり、図6は、異常検出処理における測定終了判定処理の手順の一例を示すフローチャートである。   Examples of the present invention will be specifically described below. FIG. 1 is a block diagram illustrating an outline of an abnormal operation detection device 1 according to an embodiment of the present invention, and FIG. 2 is a flowchart illustrating an example of an abnormality detection process performed by the abnormal operation detection device 1. FIG. 3 is a flowchart showing an example of the procedure of the other vehicle detection process in the abnormality detection process, FIG. 4 is a flowchart showing an example of the procedure of the shake detection process in the abnormality detection process, and FIG. FIG. 6 is a flowchart illustrating an example of a procedure of a measurement end determination process in the abnormality detection process.

本実施例の異常運転検出装置1は、自移動体としての自車両に搭載されて他移動体としての他車両の異常運転を検出するものであって、図1に示すように、制御部2と、前方カメラ3と、後方カメラ4と、左方カメラ5と、右方カメラ6と、スピーカ7と、表示部8と、車両通信部9と、を備える。   The abnormal operation detection device 1 of the present embodiment is mounted on the own vehicle as the own moving body and detects an abnormal operation of the other vehicle as the other moving body. As shown in FIG. A front camera 3, a rear camera 4, a left camera 5, a right camera 6, a speaker 7, a display unit 8, and a vehicle communication unit 9.

制御部2は、例えばRAM(Random Access Memory)やROM(Read Only Memory)などのメモリを備えたCPU(Central Processing Unit)で構成され、異常運転検出装置1の全体制御を司る。尚、制御部2は、例えばナビゲーション装置やメータ等の車載装置に設けられた制御部であってもよいし、車載装置とは独立に異常運転検出装置1専用の制御部であってもよい。また、制御部2は、後述するように、カメラ3〜6の撮影画像に基づいて運転度を測定することで測定部として機能するとともに、運転度についての基準値を取得することで基準値取得部として機能する。   The control unit 2 is configured by a CPU (Central Processing Unit) having a memory such as a RAM (Random Access Memory) and a ROM (Read Only Memory), for example, and governs overall control of the abnormal operation detection device 1. The control unit 2 may be a control unit provided in an in-vehicle device such as a navigation device or a meter, or may be a control unit dedicated to the abnormal operation detection device 1 independently of the in-vehicle device. Further, as will be described later, the control unit 2 functions as a measurement unit by measuring the driving degree based on the captured images of the cameras 3 to 6 and acquires a reference value for the driving degree. It functions as a part.

カメラ3〜6は、それぞれ前後左右を撮影するように構成され、自車両の周辺に位置する他車両及びこの他車両の周辺を撮影し、撮影画像を制御部2に送信することにより、撮影部として機能する。制御部2は、カメラ3〜6から送信された撮影画像に基づき、基準物を特定し、基準物と他車両との相対位置の相対位置の変化を示す運転度を測定するように構成されている。また、カメラ3〜6は、道路に沿って延びて車線を区切る白線も撮影するように構成されている。制御部2は、道路に沿って延びて車線を区切る白線(設置物)を基準物として特定した場合には、白線と他車両との左右方向(幅方向)における間隔の変化を測定し、自車両を基準物として特定した場合には、自車両に対して前後に位置する他車両(前後車両)との前後方向(進行方向)における車両間隔、左右に位置する他車両(左右車両)との左右方向における車両間隔、前後車両との左右方向における相対位置の変化を測定する。尚、前後車両との左右方向における相対位置の変化を測定する際には、自車両の中心線(左右方向における略中心位置)と他車両の中心線とを比較する。   The cameras 3 to 6 are configured to shoot front, rear, left, and right, respectively, and shoot the other vehicle located in the vicinity of the host vehicle and the periphery of the other vehicle, and transmit the photographed image to the control unit 2. Function as. The control unit 2 is configured to identify the reference object based on the captured images transmitted from the cameras 3 to 6 and measure the driving degree indicating the change in the relative position of the relative position between the reference object and the other vehicle. Yes. Moreover, the cameras 3-6 are comprised so that the white line which extends along a road and divides a lane may also be image | photographed. When the white line (installed object) that extends along the road and divides the lane is specified as the reference object, the control unit 2 measures the change in the distance between the white line and the other vehicle in the left-right direction (width direction). When a vehicle is specified as a reference object, a vehicle interval in the front-rear direction (traveling direction) with another vehicle (front-rear vehicle) positioned forward and backward with respect to the host vehicle, and with another vehicle (left-right vehicle) positioned left and right Measure the vehicle spacing in the left-right direction and the change in relative position in the left-right direction with the front and rear vehicles. When measuring the change in the relative position in the left-right direction with respect to the front and rear vehicles, the center line of the host vehicle (substantially the center position in the left-right direction) is compared with the center line of the other vehicle.

スピーカ7は、注意喚起情報を音声によって自車両内に出力するように構成され、出力部として機能する。尚、スピーカ7は、例えば車両に搭載された音楽再生用のスピーカであればよい。また、表示部8は、例えばナビゲーション装置等の表示画面で構成され、周囲換気情報を画像によって出力するように構成されている。このようなスピーカ7及び表示部8が出力部として機能する。尚、出力部は、画像と音声とのうち少なくとも一方を出力するものであればよい。   The speaker 7 is configured to output warning information into the own vehicle by voice and functions as an output unit. Note that the speaker 7 may be a speaker for music reproduction mounted on a vehicle, for example. The display unit 8 is configured by a display screen such as a navigation device, for example, and is configured to output ambient ventilation information as an image. Such a speaker 7 and the display part 8 function as an output part. The output unit only needs to output at least one of an image and sound.

車両通信部9は、車両のメータと通信して自車両の走行速度(自車両速度)を取得するとともに、ステアリングホイールに接続されて操舵角(即ち、自車両の車輪の舵角)を取得し、制御部2に信号を送信する。また、本実施例では、自車両速度を自移動体情報としての自車両情報(環境情報)とし、車両通信部9は環境取得部として機能する。   The vehicle communication unit 9 communicates with the vehicle meter to acquire the traveling speed of the host vehicle (own vehicle speed) and is connected to the steering wheel to acquire the steering angle (that is, the steering angle of the wheels of the host vehicle). Then, a signal is transmitted to the control unit 2. In the present embodiment, the own vehicle speed is set as own vehicle information (environment information) as own vehicle information, and the vehicle communication unit 9 functions as an environment acquisition unit.

本実施例では、他車両における正常走行からの程度を示す運転度は、他車両の左右への振れ幅と、他車両の速度変化量と、を含み、振れ幅についての基準値である振れ基準値と、速度変化量についての基準値である間隔基準値と、がそれぞれ決定される。   In the present embodiment, the driving degree indicating the degree from the normal running in the other vehicle includes the deflection width to the left and right of the other vehicle and the speed change amount of the other vehicle, and is a deflection reference that is a reference value for the deflection width. A value and an interval reference value that is a reference value for the speed change amount are respectively determined.

ここで、制御部2が図2に示す異常検出処理を実行する手順について説明する。車両が走行を開始して所定時間が経過すると、制御部2は、図2に示す異常検出処理を開始する。異常検出処理において、制御部2は、まず他車両検知処理を実行する(S1)。図3に示すように、他車両検知処理において、制御部2は、車両通信部9によって自車両速度を取得し(S20)、自車両速度が開始閾値(例えば20km/h)以上であるか否かを判定する(S21)。自車両速度が開始閾値未満である場合(S21でN)、制御部2は他車両検知処理を終了する。一方、自車両速度が開始閾値以上である場合(S21でY)、制御部2は、カメラ3〜6に自車両の周辺を撮影させるとともに(撮影工程)、撮影画像に基づいて他車両としての前方車両との前後方向における車両間隔を測定し(S22)、測定した車両間隔が間隔閾値(例えば50m)以下であるか否かを判定する(S23)。尚、間隔閾値は、一定の値であってもよいし、自車両速度に基づいて変動してもよい。また、他車両が検知されない場合には、車両間隔を無限大とする。制御部2は、測定した車両間隔が間隔閾値以下である場合(S23でY)、検知対象となる前方車両があると判断し(S24)、測定した車両間隔が間隔閾値よりも大きい場合(S23でN)、S24を経ずに次工程へ進む。   Here, the procedure in which the control unit 2 executes the abnormality detection process shown in FIG. 2 will be described. When a predetermined time elapses after the vehicle starts running, the control unit 2 starts the abnormality detection process shown in FIG. In the abnormality detection process, the control unit 2 first executes another vehicle detection process (S1). As shown in FIG. 3, in the other vehicle detection process, the control unit 2 acquires the host vehicle speed by the vehicle communication unit 9 (S20), and whether or not the host vehicle speed is equal to or higher than a start threshold (for example, 20 km / h). Is determined (S21). If the host vehicle speed is less than the start threshold (N in S21), the control unit 2 ends the other vehicle detection process. On the other hand, when the own vehicle speed is equal to or higher than the start threshold (Y in S21), the control unit 2 causes the cameras 3 to 6 to photograph the surroundings of the own vehicle (photographing process), and as another vehicle based on the photographed image. A vehicle interval in the front-rear direction with respect to the preceding vehicle is measured (S22), and it is determined whether or not the measured vehicle interval is equal to or less than an interval threshold value (for example, 50 m) (S23). The interval threshold value may be a constant value or may vary based on the host vehicle speed. If no other vehicle is detected, the vehicle interval is set to infinity. When the measured vehicle interval is equal to or less than the interval threshold (Y in S23), the control unit 2 determines that there is a front vehicle to be detected (S24), and when the measured vehicle interval is greater than the interval threshold (S23). N), and proceeds to the next step without passing through S24.

次に、制御部2は、他車両としての後方車両との前後方向における車両間隔を測定し(S25)、測定した車両間隔が間隔閾値以下であるか否かを判定する(S26)。この間隔閾値は、S23における間隔閾値と等しい値であってもよいし異なる値であってもよい。制御部2は、測定した車両間隔が間隔閾値以下である場合(S26でY)、検知対象となる後方車両があると判断し(S27)、測定した車両間隔が間隔閾値よりも大きい場合(S26でN)、S27を経ずに次工程へ進む。   Next, the control part 2 measures the vehicle space | interval in the front-back direction with the back vehicle as another vehicle (S25), and determines whether the measured vehicle space | interval is below an interval threshold value (S26). This interval threshold value may be equal to or different from the interval threshold value in S23. When the measured vehicle interval is equal to or smaller than the interval threshold (Y in S26), the control unit 2 determines that there is a rear vehicle to be detected (S27), and when the measured vehicle interval is larger than the interval threshold (S26). N), the process proceeds to the next step without passing through S27.

次に、制御部2は、他車両としての左右車両との左右方向における車両間隔を測定し(S28)、測定した車両間隔が間隔閾値以下であるか否かを判定する(S29)。制御部2は、測定した車両間隔が間隔閾値以下である場合(S29でY)、検知対象となる左右車両があると判断し(S30)、他車両検知処理を終了し、測定した車両間隔が間隔閾値よりも大きい場合(S29でN)、S30を経ずに他車両検知処理を終了する。尚、S28〜S30の工程は、左右のうち他車両が存在し得る方向について実施されればよく、例えば、自車両が最も左側の車線を走行している場合には右方の車両を対象とすればよい。また、自車両が三車線のうち中央の車線を走行している場合には、左右両方の他車両を対象としてS28〜S30の工程を実施するものとする。また、左右車両に対する間隔閾値は、前後車両に対する間隔閾値とは異なる値(例えば1車線分の幅程度)に設定されている。また、S28、S29に代えて、自車両と左右車両との前後方向における相対位置を測定し、自車両と左右車両とが前後方向において離れていないかを判定することによって他車両の有無を判断してもよい。   Next, the control unit 2 measures the vehicle interval in the left-right direction with respect to the left and right vehicles as other vehicles (S28), and determines whether or not the measured vehicle interval is equal to or less than the interval threshold value (S29). When the measured vehicle interval is equal to or less than the interval threshold (Y in S29), the control unit 2 determines that there are left and right vehicles to be detected (S30), ends the other vehicle detection process, and the measured vehicle interval is If it is larger than the interval threshold (N in S29), the other vehicle detection process is terminated without passing through S30. In addition, the process of S28-S30 should just be implemented about the direction where another vehicle can exist among right and left, for example, when the own vehicle is drive | working the leftmost lane, object for the right side is made into object. do it. Further, when the host vehicle is traveling in the center lane of the three lanes, the steps S28 to S30 are performed for both the left and right other vehicles. Further, the interval threshold for the left and right vehicles is set to a value different from the interval threshold for the front and rear vehicles (for example, the width of one lane). Further, instead of S28 and S29, the relative position in the front-rear direction of the host vehicle and the left and right vehicles is measured, and the presence or absence of another vehicle is determined by determining whether the host vehicle and the left and right vehicles are separated in the front-rear direction. May be.

制御部2は、再び異常検出処理に戻り、検知対象となる他車両があるか否かを判定する(S2)。検知対象となる他車両がない場合(S2でN)、制御部2は異常検出処理を終了する。一方、検知対象となる他車両がある場合(S2でY)、制御部2は、異常運転検出装置1がオン状態(即ち動作している状態)であるか否かを判定する(S3)。異常運転検出装置1がオフ状態の場合(S3でN)、制御部2は異常検出処理を終了する。一方、異常運転検出装置1がオン状態の場合(S3でY)、制御部2は、検知対象となる前後車両があるか否かを判定する(S4)。検知対象となる前後車両がある場合(S4でY)、制御部2は、振れ検知処理を実行する(S5)。一方、検知対象となる前後車両がない場合(S4でN)、制御部2は、後述するS11に進む。   The control unit 2 returns to the abnormality detection process again and determines whether there is another vehicle to be detected (S2). When there is no other vehicle to be detected (N in S2), the control unit 2 ends the abnormality detection process. On the other hand, when there is another vehicle to be detected (Y in S2), the control unit 2 determines whether or not the abnormal operation detection device 1 is in an on state (that is, an operating state) (S3). When the abnormal operation detection device 1 is in the off state (N in S3), the control unit 2 ends the abnormality detection process. On the other hand, when the abnormal operation detection device 1 is in the on state (Y in S3), the control unit 2 determines whether there are front and rear vehicles to be detected (S4). When there are front and rear vehicles to be detected (Y in S4), the control unit 2 executes a shake detection process (S5). On the other hand, when there are no front and rear vehicles to be detected (N in S4), the control unit 2 proceeds to S11 described later.

振れ検知処理において、制御部2は図4に示すように、まず対象となる他車両の走行状態を予め定められた一定時間(例えば10s)だけ監視し(S40)、検知時間の測定を開始する(S41)。次に、制御部2は、前後のカメラ3、4によって白線が検知されたか否かを判定する(S42)。白線が検知された場合(S42でY)、制御部2は、白線を基準物として特定し、その白線と他車両との左右方向における間隔を、振れパラメータとする(S43)。この間隔が大きくなると振れパラメータが増加し、小さくなると減少するものとする。一方、白線が検知されない場合(S42でN)、制御部2は、自車両を基準物として特定し、自車両の中心線に対する他車両の中心線の左右方向における相対位置を振れパラメータとする(S44)。自車両の中心線に対して他車両の中心線が右側に移動すると振れパラメータが増加し、左側に移動すると減少するものとする。また、相対位置を測定するための基準は、中心線に限定されず、車両の適宜な位置に設定されていればよい。   In the shake detection process, as shown in FIG. 4, the control unit 2 first monitors the running state of the target other vehicle for a predetermined time (for example, 10 s) (S40) and starts measuring the detection time. (S41). Next, the control unit 2 determines whether or not a white line is detected by the front and rear cameras 3 and 4 (S42). When a white line is detected (Y in S42), the control unit 2 identifies the white line as a reference object, and sets the distance between the white line and the other vehicle in the left-right direction as a shake parameter (S43). It is assumed that the shake parameter increases as this interval increases and decreases as it decreases. On the other hand, when the white line is not detected (N in S42), the control unit 2 identifies the host vehicle as a reference object, and uses the relative position in the left-right direction of the center line of the other vehicle with respect to the center line of the host vehicle as a shake parameter ( S44). It is assumed that the shake parameter increases when the center line of the other vehicle moves to the right side with respect to the center line of the host vehicle, and decreases when the center line moves to the left side. Moreover, the reference | standard for measuring a relative position is not limited to a center line, What is necessary is just to be set to the appropriate position of the vehicle.

次に、制御部2は、振れパラメータの初期値を取得し(S45)、測定している検知時間が第1測定時間(例えば30s)以内であるかを判定する(S46)。検知時間が第1測定時間以内である場合(S46でY)、制御部2は、自車両の操舵角を取得し(S47)、自車両が左右に振れているか否かを判定する(S48)。このとき、例えば操舵角が短時間で大きな変化を繰り返している場合に、自車両が左右に振れていると判断すればよい。自車両が左右に振れていない場合(S48でN)、制御部2は、自車両速度を取得し(S49、環境取得工程)、自車両速度が開始閾値以上であるか否かを判定する(S50)。検知時間が第1測定時間を超過した場合(S46でN)、自車両が左右に振れている場合(S48でY)、及び、自車両速度が開始閾値未満である場合(S50でN)、制御部2は、振れ検知処理を終了する。   Next, the control unit 2 acquires an initial value of the shake parameter (S45), and determines whether the detection time being measured is within a first measurement time (for example, 30 s) (S46). When the detection time is within the first measurement time (Y in S46), the control unit 2 acquires the steering angle of the host vehicle (S47) and determines whether the host vehicle is swinging left and right (S48). . At this time, for example, when the steering angle repeats a large change in a short time, it may be determined that the host vehicle is swinging left and right. When the host vehicle is not swinging left and right (N in S48), the control unit 2 acquires the host vehicle speed (S49, environment acquisition step) and determines whether the host vehicle speed is equal to or higher than the start threshold ( S50). If the detection time exceeds the first measurement time (N in S46), if the host vehicle is swinging left and right (Y in S48), and if the host vehicle speed is less than the start threshold (N in S50), The control unit 2 ends the shake detection process.

一方、自車両速度が開始閾値以上である場合(S50でY)、制御部2は、その時点での振れパラメータを取得し(S51、測定工程)、環境情報としての自車両速度に基づいて振れ基準値を決定する(S52、基準値取得工程)。振れ基準値は、例えば自車両速度が高いほど振れ基準値が低くなるように決定されればよい。次に、制御部2は、S51で取得した振れパラメータから初期値を減じた差分(振れ差分値)の絶対値が、予め設定された振れ上限値以内であるか否かを判定する(S53)。この絶対値が振れ上限値よりも大きい場合(S53でN)、制御部2は、振れ検知処理を終了する。即ち、対象とする他車両が車線変更等を行った場合、振れ差分値の絶対値が振れ上限値よりも大きくなり、この他車両は検知対象から外れるようになっている。   On the other hand, when the own vehicle speed is equal to or higher than the start threshold (Y in S50), the control unit 2 acquires the shake parameter at that time (S51, measurement process), and shakes based on the own vehicle speed as environment information. A reference value is determined (S52, reference value acquisition step). The shake reference value may be determined so that, for example, the shake reference value decreases as the host vehicle speed increases. Next, the control unit 2 determines whether or not the absolute value of the difference (shake difference value) obtained by subtracting the initial value from the shake parameter acquired in S51 is within a preset shake upper limit value (S53). . When the absolute value is larger than the shake upper limit value (N in S53), the control unit 2 ends the shake detection process. That is, when the target other vehicle changes lanes or the like, the absolute value of the swing difference value becomes larger than the swing upper limit value, and the other vehicle is excluded from the detection target.

一方、振れ差分値の絶対値が振れ上限値以内の場合(S53でY)、制御部2は、振れ差分値の絶対値が振れ基準値以上であるか否かを判定する(S54)。振れ差分値の絶対値が振れ基準値未満である場合(S54でN)、制御部2は、再びS46に戻る。一方、振れ差分値の絶対値が振れ基準値以上である場合(S54でY)、制御部2は、前回測定した振れ差分値と、今回測定した振れ差分値と、の積が負の値であるか否かを判定する(S55)。即ち、他車両が前回移動した方向と今回移動した方向とが異なっているか否かを判定する。制御部2は、この積が負の値である場合(S55でY)、振れ回数のカウンタ値を1増加させ(S56)、一方、この積が正の値又は0である場合(S55でN)、S46に戻る。S56に次いで、制御部2は、振れ回数が予め定められた振れ判定回数以上であるか否かを判定する(S57)。振れ回数が振れ判定回数未満である場合(S57でN)、制御部2はS46に戻る。一方、振れ回数が振れ判定回数以上である場合(S57でY)、制御部2は、対象とする前後車両の左右への振れを確定し(S58)、振れ検知処理を終了する。   On the other hand, when the absolute value of the shake difference value is within the shake upper limit value (Y in S53), the control unit 2 determines whether or not the absolute value of the shake difference value is equal to or greater than the shake reference value (S54). When the absolute value of the shake difference value is less than the shake reference value (N in S54), the control unit 2 returns to S46 again. On the other hand, when the absolute value of the shake difference value is equal to or larger than the shake reference value (Y in S54), the control unit 2 has a negative product of the shake difference value measured last time and the shake difference value measured this time. It is determined whether or not there is (S55). That is, it is determined whether the direction in which the other vehicle has moved last time is different from the direction in which the other vehicle has moved this time. When the product is a negative value (Y in S55), the control unit 2 increments the counter value of the number of shakes by 1 (S56). On the other hand, when the product is a positive value or 0 (N in S55) ), Return to S46. Following S56, the controller 2 determines whether or not the number of shakes is equal to or greater than a predetermined number of shake determinations (S57). When the number of shakes is less than the number of shake determinations (N in S57), the control unit 2 returns to S46. On the other hand, when the number of shakes is equal to or greater than the number of shake determinations (Y in S57), the control unit 2 determines the left and right shakes of the target front and rear vehicles (S58) and ends the shake detection process.

振れ検知処理を終了すると、制御部2は再び異常検出処理に戻り、振れ検知処理において前後車両の左右の振れが確定したか否かを判定する(S6)。振れが確定していない場合(S6でN)、制御部2は、速度変化検知処理を実行する(S7)。   When the shake detection process ends, the control unit 2 returns to the abnormality detection process again, and determines whether or not the left and right shakes of the front and rear vehicles have been determined in the shake detection process (S6). When the shake is not fixed (N in S6), the control unit 2 executes a speed change detection process (S7).

速度変化検知処理において、制御部2は図5に示すように、まず自車両速度の初期値を取得し(S60)、自車両を基準物として特定して前後車両との車両間隔の初期値を取得する(S61)。次に、制御部2は、検知時間の測定を開始する(S62)。制御部2は、測定している検知時間が第2測定時間以内であるかを判定する(S63)。尚、第2測定時間は第1測定時間と等しくてもよいし、異なる値に設定されていてもよい。検知時間が第2測定時間以内である場合(S63でY)、制御部2は、自車両速度を取得し(S64、環境取得工程)、自車両速度が一定であるか否かを判定する(S65)。このとき、自車両速度が初期値に対して所定の誤差範囲内であれば自車両速度が一定であると判断すればよい。自車両速度が一定である場合(S65でY)、制御部2は、自車両速度が開始閾値以上であるか否かを判定する(S66)。検知時間が第2測定時間を超過した場合(S63でN)、自車両速度が一定でない場合(S65でN)、及び、自車両速度が開始閾値未満である場合(S66でN)、制御部2は、速度変化検知処理を終了する。   In the speed change detection process, as shown in FIG. 5, the control unit 2 first acquires an initial value of the own vehicle speed (S60), specifies the own vehicle as a reference object, and sets an initial value of the vehicle interval between the preceding and following vehicles. Obtain (S61). Next, the control unit 2 starts measuring the detection time (S62). The control unit 2 determines whether the detection time being measured is within the second measurement time (S63). The second measurement time may be equal to the first measurement time, or may be set to a different value. When the detection time is within the second measurement time (Y in S63), the control unit 2 acquires the host vehicle speed (S64, environment acquisition step) and determines whether the host vehicle speed is constant ( S65). At this time, if the host vehicle speed is within a predetermined error range with respect to the initial value, it may be determined that the host vehicle speed is constant. When the host vehicle speed is constant (Y in S65), the control unit 2 determines whether or not the host vehicle speed is equal to or higher than the start threshold (S66). When the detection time exceeds the second measurement time (N in S63), the own vehicle speed is not constant (N in S65), and the own vehicle speed is less than the start threshold (N in S66), the control unit 2 ends the speed change detection process.

一方、自車両速度が開始閾値以上である場合(S66でY)、制御部2は、その時点での自車両と他車両との車両間隔を取得し(S67、測定工程)、環境情報としての自車両速度に基づいて間隔基準値を決定する(S68、基準値取得工程)。尚、間隔基準値は、例えば自車両速度が高いほど低くなるように決定されればよい。次に、制御部2は、車両間隔が間隔閾値以下であるか否かを判定する(S69)。車両間隔が間隔閾値よりも大きい場合(S69でN)、制御部2は、速度変化検知処理を終了する。即ち、対象とする他車両が充分に遠ざかった場合、この他車両は検知対象から外れるようになっている。   On the other hand, when the host vehicle speed is equal to or higher than the start threshold value (Y in S66), the control unit 2 acquires the vehicle interval between the host vehicle and the other vehicle at that time (S67, measurement process), and serves as environmental information. An interval reference value is determined based on the host vehicle speed (S68, reference value acquisition step). Note that the interval reference value may be determined so as to decrease as the host vehicle speed increases, for example. Next, the control unit 2 determines whether or not the vehicle interval is equal to or less than the interval threshold (S69). When the vehicle interval is larger than the interval threshold (N in S69), the control unit 2 ends the speed change detection process. That is, when the target other vehicle is sufficiently distant, the other vehicle is excluded from the detection target.

一方、車両間隔が間隔閾値以下の場合(S69でY)、制御部2は、S67で取得した車両間隔から初期値を減じた差分(間隔差分値)の絶対値が間隔基準値以上であるか否かを判定する(S70)。間隔差分値の絶対値が間隔基準値未満である場合(S70でN)、制御部2は、再びS63に戻る。一方、間隔差分値の絶対値が間隔基準値以上である場合(S70でY)、制御部2は、前回測定した間隔差分値と、今回測定した間隔差分値と、の積が負の値であるか否かを判定する(S71)。即ち、自車両が他車両に対して近づいたり離れたりを繰り返したか判定する。制御部2は、この積が負の値である場合(S71でY)、変化回数のカウンタ値を1増加させ(S72)、この積が正の値又は0である場合(S71でN)、S63に戻る。S72に次いで、制御部2は、変化回数が予め定められた変化判定回数以上であるか否かを判定する(S73)。変化回数が変化判定回数未満である場合(S73でN)、制御部2はS63に戻る。一方、変化回数が変化判定回数以上である場合(S73でY)、制御部2は、対象とする前後車両の速度変化を確定し(S74)、速度変化検知処理を終了する。   On the other hand, when the vehicle interval is equal to or smaller than the interval threshold (Y in S69), the control unit 2 determines whether the absolute value of the difference (interval difference value) obtained by subtracting the initial value from the vehicle interval acquired in S67 is equal to or greater than the interval reference value. It is determined whether or not (S70). When the absolute value of the interval difference value is less than the interval reference value (N in S70), the control unit 2 returns to S63 again. On the other hand, when the absolute value of the interval difference value is equal to or larger than the interval reference value (Y in S70), the control unit 2 has a negative product of the product of the interval difference value measured last time and the interval difference value measured this time. It is determined whether or not there is (S71). That is, it is determined whether the host vehicle has repeatedly approached or separated from other vehicles. When the product is a negative value (Y in S71), the control unit 2 increases the counter value of the number of changes by 1 (S72), and when the product is a positive value or 0 (N in S71), Return to S63. Following S72, the control unit 2 determines whether or not the number of changes is equal to or greater than a predetermined number of change determinations (S73). When the number of changes is less than the number of change determinations (N in S73), the control unit 2 returns to S63. On the other hand, when the number of changes is equal to or greater than the number of change determinations (Y in S73), the control unit 2 determines the speed change of the target front and rear vehicles (S74) and ends the speed change detection process.

速度変化検知処理において、自車両速度が一定であることを判定した後に他車両との車両間隔の変化を測定していることから、この車両間隔が変化するということは、他車両の速度が変化していることと等しい。従って、車両間隔を測定することによって他車両の速度変化を検出する処理となっている。   In the speed change detection process, since the change in the vehicle interval with the other vehicle is measured after it is determined that the host vehicle speed is constant, the change in the vehicle interval means that the speed of the other vehicle changes. Is equivalent to Therefore, it is the process which detects the speed change of another vehicle by measuring a vehicle space | interval.

速度変化検知処理を終了すると、制御部2は再び異常検出処理に戻り、速度変化検知処理において前後車両の速度変化が確定したか否かを判定する(S8)。前後車両の速度変化が確定していない場合(S8でN)、制御部2は後述するS10に進む。前後車両の振れが確定している場合(S6でY)、及び、速度変化が確定している場合(S8でY)、制御部2は、スピーカ7及び表示部8に注意喚起情報を出力させる(S9、出力工程)。次に、制御部2は、検知対象であり、且つ、振れ検知処理及び速度変化検知処理が未処理の前後車両があるか否かを判定する(S10)。未処理の前後車両がある場合、制御部2は再びS5に戻る。一方、未処理の前後車両がない場合(S10でN)、制御部2は、検知対象となる左右車両があるか否かを判定する(S11)。検知対象となる左右車両がある場合(S11でY)、制御部2は、左右車両振れ検知処理を実行する(S12)。一方、検知対象となる左右車両がない場合(S11でN)、制御部2は、後述するS16に進む。   When the speed change detection process is completed, the control unit 2 returns to the abnormality detection process again, and determines whether or not the speed change of the preceding and following vehicles is confirmed in the speed change detection process (S8). When the speed change of the front and rear vehicles is not fixed (N in S8), the control unit 2 proceeds to S10 described later. When the shake of the front and rear vehicles is fixed (Y in S6) and when the speed change is fixed (Y in S8), the control unit 2 causes the speaker 7 and the display unit 8 to output alert information. (S9, output step). Next, the control unit 2 determines whether there are front and rear vehicles that are detection targets and have not been subjected to the shake detection process and the speed change detection process (S10). When there are unprocessed front and rear vehicles, the control unit 2 returns to S5 again. On the other hand, when there are no unprocessed front and rear vehicles (N in S10), the control unit 2 determines whether there are left and right vehicles to be detected (S11). When there are left and right vehicles to be detected (Y in S11), the control unit 2 executes left and right vehicle shake detection processing (S12). On the other hand, when there are no left and right vehicles to be detected (N in S11), the control unit 2 proceeds to S16 described later.

左右車両振れ検知処理は、図4の振れ検知処理と略同様の処理であって、自車両を基準物として特定するとともに、自車両と他車両との左右方向における車両間隔を振れパラメータとする。即ち、S42〜S44の工程は省略される。また、左右車両振れ検知処理において判定に用いる値(測定時間、振れ上限値、振れ基準値、振れ判定回数)は、図4の振れ検知処理で用いる値と等しくてもよいし、異なる値であってもよい。   The left and right vehicle shake detection process is substantially the same process as the shake detection process of FIG. 4, and specifies the own vehicle as a reference object and uses a vehicle interval in the left and right direction between the own vehicle and another vehicle as a shake parameter. That is, steps S42 to S44 are omitted. Further, the values used for the determination in the left and right vehicle shake detection processing (measurement time, shake upper limit value, shake reference value, and shake determination frequency) may be the same as or different from the values used in the shake detection process of FIG. May be.

左右車両振れ検知処理を終了すると、制御部2は再び異常検出処理に戻り、左右車両の振れが確定したか否かを判定する(S13)。左右車両の振れが確定していない場合(S13でN)、制御部2は後述するS15に進む。一方、左右車両の振れが確定している場合(S13でY)、制御部2は、スピーカ7及び表示部8に注意喚起情報を出力させる(S14、出力工程)。次に、制御部2は、検知対象であり、且つ、左右車両振れ検知処理が未処理の左右車両があるか否かを判定する(S15)。未処理の左右車両がある場合、制御部2は再びS12に戻る。一方、未処理の左右車両がない場合(S15でN)、制御部2は、測定終了判定処理を実行する(S16)。   When the left / right vehicle shake detection process is completed, the control unit 2 returns to the abnormality detection process again, and determines whether or not the left / right vehicle shake has been determined (S13). When the left and right vehicle shake is not fixed (N in S13), the control unit 2 proceeds to S15 described later. On the other hand, when the shake of the left and right vehicles is confirmed (Y in S13), the control unit 2 causes the speaker 7 and the display unit 8 to output alert information (S14, output process). Next, the control unit 2 determines whether there is a left and right vehicle that is a detection target and that has not been subjected to left and right vehicle shake detection processing (S15). When there is an unprocessed left and right vehicle, the control unit 2 returns to S12 again. On the other hand, when there is no unprocessed left and right vehicle (N in S15), the control unit 2 executes a measurement end determination process (S16).

測定終了判定処理において、制御部2は図6に示すように、まず自車両速度を取得し(S80)、自車両速度が開始閾値以上であるか否かを判定する(S81)。自車両速度が開始閾値未満である場合(S81でN)、制御部2は、測定終了状態として全ての注意喚起を停止させ(S82)、測定終了判定処理を終了する。一方、自車両速度が開始閾値以上である場合(S81でY)、制御部2は、前方車両との車両間隔を測定し(S83)、測定した車両間隔が間隔閾値以下であるか否かを判定する(S84)。制御部2は、測定した車両間隔が間隔閾値よりも大きい場合(S84でN)、検知対象となる前方車両なしと判断して前方車両についての注意喚起を停止させ(S85)、測定した車両間隔が間隔閾値以下である場合(S84でY)、S85を経ずに次工程へ進む。   In the measurement end determination process, as shown in FIG. 6, the control unit 2 first acquires the host vehicle speed (S80), and determines whether the host vehicle speed is equal to or higher than the start threshold (S81). When the host vehicle speed is less than the start threshold value (N in S81), the control unit 2 stops all alerts as a measurement end state (S82), and ends the measurement end determination process. On the other hand, when the host vehicle speed is equal to or higher than the start threshold value (Y in S81), the control unit 2 measures the vehicle interval with the preceding vehicle (S83), and determines whether the measured vehicle interval is equal to or less than the interval threshold value. Determine (S84). When the measured vehicle interval is larger than the interval threshold (N in S84), the control unit 2 determines that there is no preceding vehicle to be detected, stops alerting the preceding vehicle (S85), and measures the measured vehicle interval. Is equal to or smaller than the interval threshold value (Y in S84), the process proceeds to the next step without passing through S85.

次に、制御部2は、後方車両との車両間隔を測定し(S86)、測定した車両間隔が間隔閾値以下であるか否かを判定する(S87)。制御部2は、測定した車両間隔が間隔閾値よりも大きい場合(S87でN)、検知対象となる後方車両なしと判断して後方車両についての注意喚起を停止させ(S88)、測定した車両間隔が間隔閾値以下である場合(S87でY)、S88を経ずに次工程へ進む。   Next, the control part 2 measures the vehicle space | interval with a back vehicle (S86), and determines whether the measured vehicle space | interval is below a space | interval threshold value (S87). When the measured vehicle interval is larger than the interval threshold (N in S87), the control unit 2 determines that there is no rear vehicle to be detected, stops alerting the rear vehicle (S88), and measures the measured vehicle interval. Is equal to or less than the interval threshold (Y in S87), the process proceeds to the next step without passing through S88.

次に、制御部2は、左右車両との車両間隔を測定し(S89)、測定した車両間隔が間隔閾値以下であるか否かを判定する(S90)。制御部2は、測定した車両間隔が間隔閾値よりも大きい場合(S90でN)、検知対象となる左右車両なしと判断して左右車両についての注意喚起を停止させ(S91)、測定終了判定処理を終了し、測定した車両間隔が間隔閾値以下である場合(S90でY)、S91を経ずに測定終了判定処理を終了する。   Next, the control part 2 measures the vehicle space | interval with a right-and-left vehicle (S89), and determines whether the measured vehicle space | interval is below a space | interval threshold value (S90). When the measured vehicle interval is larger than the interval threshold (N in S90), the control unit 2 determines that there is no left and right vehicles to be detected, stops the alerting for the left and right vehicles (S91), and ends the measurement determination process. When the measured vehicle interval is equal to or smaller than the interval threshold (Y in S90), the measurement end determination process is terminated without passing through S91.

上記の構成により、カメラ3〜6による撮影画像に基づいて基準物を特定し、基準物と他車両との相対位置の変化に基づいて運転度を測定することで、基準物を基準として他車両の異常運転を精度良く検出することができる。   With the above configuration, the reference object is specified based on the images taken by the cameras 3 to 6, and the driving degree is measured based on the change in the relative position between the reference object and the other vehicle. The abnormal operation can be detected with high accuracy.

さらに、他車両の運転度としての振れ幅及び速度変化量を測定するだけでなく、環境情報としての自車両速度に基づき、振れ幅及び速度変化量についての基準値を決定することで、正常走行からのずれが発生しやすい場合や接触の可能性が低い場合には基準値を高くし、ずれが発生しにくい場合や接触の可能性が高いには基準値を低くすることにより、他車両の異常運転を適切に検出することができる。   In addition to measuring the swing width and speed change amount as the driving degree of other vehicles, the standard value for the swing width and speed change amount is determined based on the own vehicle speed as the environmental information, so that normal driving is performed. When the deviation from the vehicle is likely to occur or when the possibility of contact is low, the reference value is increased.When the deviation is difficult or the possibility of contact is high, the reference value is decreased. Abnormal operation can be detected appropriately.

さらに、環境情報が自車両速度を含むことで、運転度についての基準値を適切に設定することができる。即ち、自車両速度が高い場合には、低速時に比べて他車両と接触しやすくなると考えられ、自車両速度が高いほど振れ基準値及び間隔基準値を低く設定することにより、他車両の異常運転を適切に検出することができる。   Furthermore, since the environmental information includes the own vehicle speed, the reference value for the driving degree can be appropriately set. That is, when the host vehicle speed is high, it is likely that the vehicle will come into contact with other vehicles more easily than when the host vehicle is at low speed, and the higher the host vehicle speed, the lower the shake reference value and the interval reference value. Can be detected appropriately.

さらに、運転度が他車両の左右への振れ幅及び速度変化量を含むことで、他車両が左右に振れたり加減速したりした場合に、異常運転を検出することができる。   Furthermore, when the driving degree includes the left and right swing width and speed change amount of the other vehicle, abnormal driving can be detected when the other vehicle swings left and right or accelerates or decelerates.

なお、本発明は、前記実施例に限定されるものではなく、本発明の目的が達成できる他の構成等を含み、以下に示すような変形等も本発明に含まれる。   In addition, this invention is not limited to the said Example, The other deformation | transformation etc. which can achieve the objective of this invention are included in this invention.

例えば、前記実施例では、運転度についての基準値を決定するための環境情報として、自車両情報である自車両速度を例示したが、環境情報は、自車両速度に限定されず、他車両の状態を示す他車両情報(他移動体情報)や、自車両及び他車両が走行している道路の状態を示す道路情報を含んでいてもよく、これらのうち1つであってもよいし、適宜なものが複数組み合わされてもよい。また、取得する環境情報に応じて、適宜な環境取得部が異常運転検出装置1に設けられればよい。   For example, in the above-described embodiment, the host vehicle speed that is host vehicle information is exemplified as the environment information for determining the reference value for the driving degree. However, the environment information is not limited to the host vehicle speed, Other vehicle information indicating the state (other moving body information) and road information indicating the state of the road on which the host vehicle and the other vehicle are traveling may be included, or one of them may be included. A plurality of appropriate ones may be combined. In addition, an appropriate environment acquisition unit may be provided in the abnormal operation detection device 1 according to the environment information to be acquired.

他車両情報は、例えば、他車両の走行速度や、他車両に取り付けられている標識情報(例えば初心運転者標識や高齢運転者標識)であればよい。他車両の走行速度が高い場合や、初心運転者標識又は高齢運転者標識が取り付けられている場合には、接触しやすくなると考えられ、基準値を低く設定すればよい。また、道路情報は、例えば、路面状態や、車線幅、道路上の障害物の有無、車線の曲率、カーブの連続数、であればよい。路面が濡れていたり凍結していたりする場合や、車線幅が狭い場合には、接触しやすくなると考えられ、基準値を低く設定すればよい。また、道路上に障害物が存在する場合や、車線の曲率が小さい場合、カーブが連続する場合には、正常に走行していても左右への振れが発生しやすいと考えられ、基準値を高く設定すればよい。   The other vehicle information may be, for example, the traveling speed of the other vehicle or sign information attached to the other vehicle (for example, an initial driver sign or an elderly driver sign). When the traveling speed of other vehicles is high, or when an initial driver sign or an elderly driver sign is attached, it is considered that the vehicle is likely to come into contact, and the reference value may be set low. The road information may be, for example, the road surface state, the lane width, the presence / absence of an obstacle on the road, the curvature of the lane, and the continuous number of curves. When the road surface is wet or frozen, or when the lane width is narrow, it is considered that contact is likely to occur, and the reference value may be set low. Also, if there are obstacles on the road, the lane curvature is small, or if the curve is continuous, it is considered that left and right runout is likely to occur even if the vehicle is running normally. Set it high.

また、前記実施例では、運転度として、前後車両の左右への振れ幅と、前後車両の速度変化と、左右車両の左右への振れ幅と、を測定するものとしたが、左右車両の速度変化を測定し、左右車両の異常運転を検出してもよい。即ち、自車両を基準物として特定するとともに、自車両と左右車両とにおけるそれぞれ適宜な部位(例えば車両の前方端部や運転席位置等)を基準位置とし、基準位置同士の相対位置の時間変化を測定することで左右車両との相対速度を測定してもよい。また、検知対象とする他車両は、前方車両と後方車両と左右車両とのうち少なくとも1つであればよい。さらに、測定する運転度は、左右への振れ幅と速度変化量とのうち少なくとも一方を含めばよい。   In the above embodiment, as the driving degree, the lateral swing width of the front and rear vehicles, the speed change of the front and rear vehicles, and the lateral swing width of the left and right vehicles are measured. The change may be measured to detect abnormal driving of the left and right vehicles. In other words, the host vehicle is specified as a reference object, and an appropriate portion of the host vehicle and the left and right vehicles (for example, the front end portion of the vehicle, the driver's seat position, etc.) is used as the reference position, and the time variation of the relative position between the reference positions is determined. The relative speed with respect to the left and right vehicles may be measured by measuring. Further, the other vehicle to be detected may be at least one of the front vehicle, the rear vehicle, and the left and right vehicles. Furthermore, the driving degree to be measured may include at least one of a lateral swing width and a speed change amount.

また、前記実施例では、設置物として車線を区切る白線を例示したが、設置物は、道路に沿って設けられていればよく、例えばガードレールや縁石等であってもよい。   Moreover, in the said Example, although the white line which divides a lane was illustrated as an installation thing, the installation object should just be provided along the road, for example, a guardrail, a curb, etc. may be sufficient.

また、前記実施例では、自車両が左右に振れていない場合に他車両の振れ幅を測定し、自車両速度が一定の場合に他車両の速度変化量を測定するものとしたが、自車両に対する他車両の相対的な振れ幅と、自車両の舵角と、に基づいて他車両の絶対的な振れ幅を算出してもよい。また、自車両に対する他車両の相対的な速度と、自車両速度と、に基づいて他車両の絶対的な速度を算出してもよい。   Further, in the above embodiment, when the own vehicle is not swinging left and right, the other vehicle's swing width is measured, and when the own vehicle speed is constant, the speed change amount of the other vehicle is measured. The absolute swing width of the other vehicle may be calculated based on the relative swing width of the other vehicle with respect to the steering angle of the host vehicle. Further, the absolute speed of the other vehicle may be calculated based on the relative speed of the other vehicle with respect to the own vehicle and the own vehicle speed.

また、前記実施例では、他車両の異常運転を検出した場合に、自車両において注意喚起情報を出力するものとしたが、他車両の周辺を走行する車両と通信することにより、異常運転についての情報を共有する構成としてもよい。また、異常運転についての情報を自車両からサーバに送信し、異常運転状態にある他車両の周辺を走行する車両に対し、サーバから情報を配信してもよい。   Moreover, in the said Example, when abnormal driving | running | working of the other vehicle was detected, it was supposed that warning information was output in the own vehicle, but by communicating with the vehicle that runs around the other vehicle, It is good also as a structure which shares information. Moreover, the information about abnormal driving may be transmitted from the own vehicle to the server, and the information may be distributed from the server to a vehicle traveling around another vehicle in the abnormal driving state.

その他、本発明を実施するための最良の構成、方法などは、以上の記載で開示されているが、本発明は、これに限定されるものではない。すなわち、本発明は、主に特定の実施例に関して特に図示され、且つ、説明されているが、本発明の技術的思想および目的の範囲から逸脱することなく、以上述べた実施例に対し、形状、材質、数量、その他の詳細な構成において、当業者が様々な変形を加えることができるものである。従って、上記に開示した形状、材質などを限定した記載は、本発明の理解を容易にするために例示的に記載したものであり、本発明を限定するものではないから、それらの形状、材質などの限定の一部、もしくは全部の限定を外した部材の名称での記載は、本発明に含まれるものである。   In addition, the best configuration, method and the like for carrying out the present invention have been disclosed in the above description, but the present invention is not limited to this. That is, although the present invention has been particularly illustrated and described with respect to particular embodiments, it will be understood that the present invention is not limited in shape to the embodiments described above without departing from the scope and spirit of the invention. Various modifications can be made by those skilled in the art in terms of materials, quantity, and other detailed configurations. Therefore, the description limiting the shape, material, etc. disclosed above is an example for easy understanding of the present invention, and does not limit the present invention. The description by the name of the member which remove | excluded the limitation of one part or all of such is included in this invention.

1 異常運転検出装置
2 制御部(測定部、基準値取得部)
3 前方カメラ(撮影部)
4 後方カメラ(撮影部)
5 左方カメラ(撮影部)
6 右方カメラ(撮影部)
7 スピーカ(出力部)
8 表示部(出力部)
9 車両通信部(環境取得部)
1 Abnormal operation detection device 2 Control unit (measurement unit, reference value acquisition unit)
3 Front camera (shooting unit)
4 Rear camera (shooting unit)
5 Left camera (shooting unit)
6 Right camera (shooting unit)
7 Speaker (output unit)
8 Display section (output section)
9 Vehicle communication department (environment acquisition department)

Claims (7)

自移動体の周辺に位置する他移動体を含む、当該他移動体周辺を撮影する撮影部と、
前記撮影部によって撮影された撮影画像に基づき、基準物を特定し、当該基準物と前記他移動体との相対位置の変化を示す運転度を測定する測定部と、
前記運転度に基づき、前記他移動体の異常運転を示す注意喚起情報を出力する出力部と、を備えることを特徴とする異常運転検出装置。
An imaging unit that captures the area around the other moving body, including other moving bodies located around the own moving body,
A measurement unit that identifies a reference object based on a captured image captured by the imaging unit and measures a driving degree indicating a change in relative position between the reference object and the other moving body;
And an output unit that outputs warning information indicating abnormal operation of the other moving body based on the driving degree.
前記自移動体の状態を示す自移動体情報と、前記他移動体の状態を示す他移動体情報と、前記自移動体及び前記他移動体が走行している道路の状態を示す道路情報と、のうち少なくとも1つを含む環境情報を取得する環境取得部と、
前記環境情報に基づいた基準値を取得する基準値取得部と、をさらに備え、
前記出力部は、前記運転度が前記基準値以上となる場合、前記注意喚起情報を出力することを特徴とする請求項1に記載の異常運転検出装置。
Self-moving body information indicating a state of the self-moving body, other moving body information indicating a state of the other moving body, road information indicating a state of a road on which the self-moving body and the other moving body are traveling, and , An environment acquisition unit that acquires environment information including at least one of
A reference value acquisition unit that acquires a reference value based on the environmental information, and
The abnormal operation detection device according to claim 1, wherein the output unit outputs the alert information when the driving degree is equal to or higher than the reference value.
前記運転度は、前記他移動体の左右への振れ幅を含み、
前記測定部は、道路に沿って設けられた設置物又は前記自移動体を前記基準物として特定し、該基準物と前記他移動体との相対位置に基づいて前記振れ幅を測定することを特徴とする請求項1又は2に記載の異常運転検出装置。
The driving degree includes a lateral swing width of the other moving body,
The measuring unit identifies an installation or a moving object provided along a road as the reference object, and measures the deflection width based on a relative position between the reference object and the other moving object. The abnormal operation detection device according to claim 1, wherein the abnormal operation detection device is provided.
前記運転度は、前記他移動体の速度変化量を含み、
前記測定部は、前記自移動体を前記基準物として特定し、前記自移動体と前記他移動体との相対位置に基づいて前記速度変化量を測定することを特徴とする請求項1〜3のいずれか1項に記載の異常運転検出装置。
The driving degree includes a speed change amount of the other moving body,
The said measurement part specifies the said mobile body as the said reference | standard thing, and measures the said amount of speed changes based on the relative position of the said mobile body and the said other mobile body. The abnormal operation detection device according to any one of the above.
自移動体の周辺に位置する他移動体を含む、当該他移動体周辺を撮影する撮影工程と、
前記撮影工程において撮影された撮影画像に基づき、基準物を特定し、当該基準物と前記他移動体との相対位置の変化を示す運転度を測定する測定工程と、
前記運転度に基づき、前記他移動体の異常運転を示す注意喚起情報を出力する出力工程と、を含むことを特徴とする異常運転検出方法。
A photographing step for photographing the periphery of the other moving body, including other moving bodies located around the own moving body,
A measurement step for identifying a reference object based on the photographed image photographed in the photographing step and measuring a driving degree indicating a change in relative position between the reference object and the other moving body,
And an output step of outputting alert information indicating abnormal operation of the other moving body based on the driving degree.
請求項5に記載の異常運転検出方法を、コンピュータにより実行させることを特徴とする異常運転検出プログラム。   6. An abnormal operation detection program according to claim 5, wherein the abnormal operation detection method according to claim 5 is executed by a computer. 請求項6に記載の異常運転検出プログラムを格納したことを特徴とするコンピュータ読み取り可能な記録媒体。   A computer-readable recording medium in which the abnormal operation detection program according to claim 6 is stored.
JP2015068599A 2015-03-30 2015-03-30 Abnormal driving detection device Pending JP2016189097A (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2015068599A JP2016189097A (en) 2015-03-30 2015-03-30 Abnormal driving detection device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2015068599A JP2016189097A (en) 2015-03-30 2015-03-30 Abnormal driving detection device

Publications (1)

Publication Number Publication Date
JP2016189097A true JP2016189097A (en) 2016-11-04

Family

ID=57240631

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2015068599A Pending JP2016189097A (en) 2015-03-30 2015-03-30 Abnormal driving detection device

Country Status (1)

Country Link
JP (1) JP2016189097A (en)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11217100B2 (en) * 2017-02-07 2022-01-04 Samsung Electronics Co., Ltd. Electronic device and method for assisting in vehicle driving

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH05310058A (en) * 1992-05-08 1993-11-22 Omron Corp Collision preventing device
JPH09150647A (en) * 1995-09-27 1997-06-10 Mazda Motor Corp Travelling state detection method of vehicle and detection device
JPH10181487A (en) * 1996-12-27 1998-07-07 Fuji Heavy Ind Ltd Collision preventing device for vehicle
JPH1145398A (en) * 1997-07-25 1999-02-16 Toyota Motor Corp Self-lane object detection device and vehicle travel controller provided with the device
JP2007072641A (en) * 2005-09-06 2007-03-22 Equos Research Co Ltd Dangerous vehicle detection device
JP2014089557A (en) * 2012-10-30 2014-05-15 Micware Co Ltd In-vehicle device, danger prediction method and program

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH05310058A (en) * 1992-05-08 1993-11-22 Omron Corp Collision preventing device
JPH09150647A (en) * 1995-09-27 1997-06-10 Mazda Motor Corp Travelling state detection method of vehicle and detection device
JPH10181487A (en) * 1996-12-27 1998-07-07 Fuji Heavy Ind Ltd Collision preventing device for vehicle
JPH1145398A (en) * 1997-07-25 1999-02-16 Toyota Motor Corp Self-lane object detection device and vehicle travel controller provided with the device
JP2007072641A (en) * 2005-09-06 2007-03-22 Equos Research Co Ltd Dangerous vehicle detection device
JP2014089557A (en) * 2012-10-30 2014-05-15 Micware Co Ltd In-vehicle device, danger prediction method and program

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11217100B2 (en) * 2017-02-07 2022-01-04 Samsung Electronics Co., Ltd. Electronic device and method for assisting in vehicle driving

Similar Documents

Publication Publication Date Title
JP5939357B2 (en) Moving track prediction apparatus and moving track prediction method
CN103718224B (en) Three-dimensional body pick-up unit and three-dimensional body detection method
JP6416293B2 (en) Method of tracking a target vehicle approaching a car by a car camera system, a camera system, and a car
JP5022272B2 (en) Driving support device
JP5574789B2 (en) Vehicle periphery monitoring device and vehicle periphery monitoring method
JP7069539B2 (en) Driving support device
JP2004220348A (en) Vehicle running condition detection system and vehicle running control device
JP2014078056A (en) Area identification device for vehicle, program thereof and method thereof
JP2020047174A (en) Pedestrian notification device, pedestrian notification method, and program
JP5510611B2 (en) Driver status determination device
JP2010146478A (en) Object detection device
KR101625413B1 (en) Lane change guiding method and apparatus performing the same
JP5454983B2 (en) Obstacle measurement method, obstacle measurement device, and obstacle measurement system
JP2020087140A (en) Image processing device, imaging device, mobile body, and image processing method
JP2013161202A (en) Vehicle periphery monitoring device
JP2007066003A (en) Stop-line detection device
JP2013054702A (en) Vehicle approach information notification device, vehicle approach information notification method, and program
JP5040851B2 (en) Wakimi driving judgment device
JP2009276906A (en) Travelling information providing device
JP2016189097A (en) Abnormal driving detection device
KR101701050B1 (en) Method and system for alarming a wheel alignment of driving vehicle
JP3729005B2 (en) Vehicle rear monitoring device
JP2020201766A (en) Lane deviation driving alert system and lane deviation driving alert method
WO2022059289A1 (en) Vehicle orientation estimation system and vehicle orientation estimation method
WO2021176825A1 (en) Sensing system

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20180208

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20180226

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20180815

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20181127

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20181130

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20190604