JP2009143494A - Warning device, warning method, and warning program - Google Patents
Warning device, warning method, and warning program Download PDFInfo
- Publication number
- JP2009143494A JP2009143494A JP2007325069A JP2007325069A JP2009143494A JP 2009143494 A JP2009143494 A JP 2009143494A JP 2007325069 A JP2007325069 A JP 2007325069A JP 2007325069 A JP2007325069 A JP 2007325069A JP 2009143494 A JP2009143494 A JP 2009143494A
- Authority
- JP
- Japan
- Prior art keywords
- warning
- vehicle
- moving body
- output
- determination
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Landscapes
- Traffic Control Systems (AREA)
Abstract
Description
この発明は、警告を運転手に出力する警告装置およびその警告方法に関し、特に、運転手に不快感を与えることなく、適切なタイミングで運転手に注意喚起することができる警告装置、警告方法および警告プログラムに関するものである。 The present invention relates to a warning device that outputs a warning to a driver and a warning method thereof, and more particularly to a warning device, a warning method, and a warning method that can alert a driver at an appropriate timing without causing discomfort to the driver. It relates to warning programs.
近年、車両の外に設けたカメラにより、運転手から見えない位置の画像を取得し、該画像を運転手に提示することで交通事故を防止すべくブラインドコーナモニタ(Blind Corner Monitor;BCM)などの製品が用いられている。 In recent years, a blind corner monitor (BCM) or the like has been used to prevent a traffic accident by acquiring an image of a position that is not visible to the driver by a camera provided outside the vehicle and presenting the image to the driver. Products are used.
そして、このBCMが撮影した画像等から移動体を検出して、運転者に通知する各種の技術が考案されている。例えば、特許文献1では、自車両の速度が所定速度以下となる条件下で、画像から接近する移動体を検出し、自車両の正面を移動体が通過する時間を求め、予想通過時刻に応じて警告音等により運転手へ移動体の接近を通知するという技術が公開されている。 Various techniques have been devised for detecting moving bodies from images taken by the BCM and notifying the driver. For example, in Patent Document 1, a moving body approaching from an image is detected under the condition that the speed of the host vehicle is equal to or lower than a predetermined speed, the time for the moving body to pass through the front of the host vehicle is obtained, and the expected passing time is determined A technique for notifying the driver of the approach of a moving body using a warning sound or the like has been disclosed.
しかしながら、上述した従来の技術では、自車両が移動体に接近中であるか否かといった警告すべきタイミング等を一切評価せず、一様に運転者に警告を出力しているため、運転者は仮に危険な状態であったとしてもその状況を認識しづらいという問題があった。 However, in the above-described conventional technology, the driver does not evaluate any warning timing such as whether or not the host vehicle is approaching the moving body, and outputs a warning to the driver uniformly. There was a problem that even if it was in a dangerous state, it was difficult to recognize the situation.
また、上記の従来技術では、運転手がモニタ等を通して自車両の状況を十分認知できている場合にも、警告音による通知が行われるため、運転手に不快感を与えてしまう恐れもあった。 Further, in the above-described conventional technology, even when the driver can sufficiently recognize the situation of the host vehicle through a monitor or the like, since the notification by the warning sound is performed, there is a possibility that the driver may feel uncomfortable. .
すなわち、画像から検出した移動体および自車両の運転状況に応じて、適切なタイミングで運転手に注意喚起することが極めて重要な課題となっている。 That is, it is an extremely important issue to alert the driver at an appropriate timing according to the moving object detected from the image and the driving situation of the host vehicle.
この発明は、上述した従来技術による問題点を解消するためになされたものであり、画像から検出した移動体および自車両の運転状況に応じて、適切なタイミングで運転手に注意喚起することが出来る警告装置、警告方法および警告プログラムを提供することを目的とする。 The present invention has been made to solve the above-described problems caused by the prior art, and can alert the driver at an appropriate timing in accordance with the moving object detected from the image and the driving situation of the host vehicle. An object is to provide a warning device, a warning method, and a warning program.
上述した課題を解決し、目的を達成するため、この警告装置は、車両に搭載したカメラにより撮影された画像に基づいて、移動体を検出する移動体検出手段と、前記車両が停止状態にあるか否かを判定する判定手段と、前記移動体検出手段が移動体を検出し、かつ、前記判定手段が停止状態ではないと判定した場合に、音または光を出力する出力手段と、を備えたことを要件とする。 In order to solve the above-described problems and achieve the object, the warning device includes a moving body detecting means for detecting a moving body based on an image taken by a camera mounted on the vehicle, and the vehicle is in a stopped state. Determining means for determining whether or not the moving body detection means detects a moving body and the determination means determines that the determination means is not in a stopped state, and an output means for outputting sound or light. Is a requirement.
また、この警告装置は、上記警告装置において、前記判定手段は、前記車両のアクセルおよびブレーキの操作状態を判定し、前記アクセルが踏まれている場合、あるいは、前記ブレーキが踏まれていない場合に、前記車両が停止状態ではないと判定し、前記出力手段は、前記判定手段により前記アクセルが踏まれておらず、かつ、前記ブレーキが踏まれていない場合に第1の種類の音または光を出力し、前記アクセルが踏まれている場合には、第2の種類の音または光を出力すること要件とする。 Further, the warning device according to the above warning device, wherein the determination means determines an operation state of an accelerator and a brake of the vehicle, and when the accelerator is stepped on or when the brake is not stepped on. Determining that the vehicle is not in a stopped state, and the output means outputs a first type of sound or light when the accelerator is not stepped on by the determination means and the brake is not stepped on. If the accelerator is stepped on, the second type of sound or light is required to be output.
また、この警告装置は、上記警告装置において、前記判定手段は更に、ギアの操作状態を判定し、前記出力手段は、前記移動体検出手段により移動体により検出され、かつ前記アクセルが踏まれており、かつギアが走行状態になっていると判定された場合に前記第2の種類の音または光を出力することを要件とする。 Further, this warning device is the above warning device, wherein the determining means further determines the operation state of the gear, the output means is detected by the moving body by the moving body detecting means, and the accelerator is stepped on. And the second type of sound or light is output when it is determined that the gear is in the running state.
また、この警告装置は、上記警告装置において、前記判定手段は、前記カメラの方位および前記ギアの操作状態を基にして、前記車両が画像の撮影方向に移動しているか否かを判定し、前記出力手段は、前記移動体検出手段が移動体を検出し、かつ前記アクセルが踏まれており、かつ前記車両が画像の撮影方向に移動していると判定された場合に前記第2の種類の音または光を出力することを要件とする。 Further, the warning device according to the above warning device, wherein the determination means determines whether or not the vehicle is moving in an image capturing direction based on a direction of the camera and an operation state of the gear. The output means is the second type when the moving body detecting means detects the moving body, the accelerator is stepped on, and it is determined that the vehicle is moving in the image capturing direction. It is a requirement to output sound or light.
また、この警告方法は、車両の運転手に対して警告を出力する警告装置の警告方法であって、前記警告装置は、前記車両に搭載したカメラにより撮影された画像を記憶装置に記憶する記憶ステップと、前記記憶装置に記憶された画像に基づいて、移動体を検出する移動体検出ステップと、前記車両が停止状態にあるか否かを判定する判定ステップと、前記移動体検出ステップが移動体を検出し、かつ、前記判定ステップが停止状態ではないと判定した場合に、出力装置から音または光を出力する出力ステップと、を含んでいることを要件とする。 The warning method is a warning method of a warning device that outputs a warning to the driver of the vehicle, and the warning device stores an image taken by a camera mounted on the vehicle in a storage device. A moving body detecting step for detecting a moving body based on an image stored in the storage device; a determining step for determining whether or not the vehicle is in a stopped state; and the moving body detecting step is moved. And an output step of outputting sound or light from the output device when the body is detected and it is determined that the determination step is not in a stopped state.
また、この警告プログラムは、コンピュータに、前記車両に搭載したカメラにより撮影された画像を記憶装置に記憶する記憶手順と、前記記憶装置に記憶された画像に基づいて、移動体を検出する移動体検出手順と、前記車両が停止状態にあるか否かを判定する判定手順と、前記移動体検出手順が移動体を検出し、かつ、前記判定手順が停止状態ではないと判定した場合に、出力装置から音または光を出力する出力手順と、を実行させることを要件とする。 Further, the warning program stores in a computer a storage procedure for storing an image captured by a camera mounted on the vehicle in a storage device, and a mobile body that detects the mobile body based on the image stored in the storage device. A detection procedure, a determination procedure for determining whether or not the vehicle is in a stopped state, and an output when the moving body detection procedure detects a moving body and the determination procedure determines that the vehicle is not in a stopped state. And an output procedure for outputting sound or light from the apparatus.
この警告装置によれば、車両に搭載したカメラにより撮影された画像に基づいて、移動体を検出した場合に、一様に音または光を出力するのではなく、自車両の運転状況情報応じて音または光の種類を判定し、判定結果に応じて音または光を出力するので、運転手に不快感を与えることなく、適切なタイミングで運転手に注意喚起することができる。 According to this warning device, when a moving body is detected based on an image photographed by a camera mounted on the vehicle, sound or light is not output uniformly, but according to driving state information of the own vehicle. Since the type of sound or light is determined and the sound or light is output according to the determination result, the driver can be alerted at an appropriate timing without causing discomfort to the driver.
また、この警告装置は、車両のアクセルおよびブレーキの操作状態を判定し、アクセルが踏まれている場合、あるいは、ブレーキが踏まれていない場合に、車両が停止状態ではないと判定する。そして、アクセルが踏まれておらず、かつ、ブレーキが踏まれていない場合に第1の種類の音または光を出力し、アクセルが踏まれている場合には、第2の種類の音または光を出力するので、適切なタイミングで運転手に危険を通知することが出来る。 Further, the warning device determines the operation state of the accelerator and the brake of the vehicle, and determines that the vehicle is not in a stopped state when the accelerator is depressed or when the brake is not depressed. When the accelerator is not depressed and the brake is not depressed, the first type sound or light is output. When the accelerator is depressed, the second type sound or light is output. Is output to the driver at an appropriate timing.
また、この警告装置は、ギアの操作状態を判定し、移動体が検出され、かつアクセルが踏まれており、かつギアが走行状態になっていると判定された場合に第2の種類の音または光を出力するので、適切なタイミングで運転手に危険を通知することが出来る。 The warning device also determines the operation state of the gear, detects the moving body, is stepped on the accelerator, and determines that the gear is in the running state. Alternatively, since the light is output, the driver can be notified of the danger at an appropriate timing.
また、この警告装置は、カメラの方位およびギアの操作状態を基にして、車両が画像の撮影方向に移動しているか否かを判定する。そして、移動体を検出し、かつアクセルが踏まれており、かつ車両が画像の撮影方向に移動していると判定された場合に第2の種類の音または光を出力するので、適切なタイミングで運転手に危険を通知することが出来る。 Further, this warning device determines whether or not the vehicle is moving in the image capturing direction based on the direction of the camera and the operation state of the gear. Since the second type of sound or light is output when it is determined that the moving body is detected, the accelerator is stepped on, and the vehicle is moving in the image capturing direction, an appropriate timing is output. Can inform the driver of the danger.
以下に添付図面を参照して、この発明に係る警告装置、警告方法および警告プログラムの好適な実施の形態を詳細に説明する。 Exemplary embodiments of a warning device, a warning method, and a warning program according to the present invention will be explained below in detail with reference to the accompanying drawings.
まず、本実施例1にかかる警告装置の概要および特徴について説明する。本実施例1にかかる警告装置は、車両に搭載したカメラにより撮影された画像に基づいて、移動体を検出した場合に、一様に警告音を出力するのではなく、自車両の運転状況に応じて、警告音の種類を選択して出力する。 First, an outline and features of the warning device according to the first embodiment will be described. The warning device according to the first embodiment does not output a warning sound uniformly when a moving body is detected based on an image photographed by a camera mounted on the vehicle, but in the driving situation of the host vehicle. In response, the type of warning sound is selected and output.
例えば、警告音の種類が第1の警告音と第2の警告音の2種類(例えば、第1の警告音の音量>第2の警告音の音量)の場合、本実施例1にかかる警告装置は、車両のアクセルが踏まれた場合には、第1の警告音を出力する。一方、警告装置は、車両のアクセルが踏まれていない場合であっても、ブレーキが踏まれていない場合には、第2の警告音を出力する。 For example, when there are two types of warning sounds, a first warning sound and a second warning sound (for example, the volume of the first warning sound> the volume of the second warning sound), the warning according to the first embodiment. The apparatus outputs a first warning sound when the accelerator of the vehicle is stepped on. On the other hand, the warning device outputs a second warning sound when the accelerator of the vehicle is not stepped on and the brake is not stepped on.
このように、本実施例1にかかる警告装置は、車両の運転状況に応じて、警告音の種類を選択して出力するので、適切なタイミングで運転者に注意を促すことが出来る。 Thus, since the warning device according to the first embodiment selects and outputs the type of warning sound according to the driving situation of the vehicle, the driver can be alerted at an appropriate timing.
次に、本実施例1にかかる警告装置の構成について説明する。図1は、本実施例1にかかる警告装置100の構成を示す機能ブロック図である。同図に示すように、この警告装置100は、画像入力部110と、移動体検出部120と、車両センサ130と、警告判定部140と、出力部150とを備えて構成される。なお、この警告装置100は、車両に搭載されると共に、BCM(図示略)等のカメラに接続されているものとする。
Next, the configuration of the warning device according to the first embodiment will be described. FIG. 1 is a functional block diagram of the configuration of the
画像入力部110は、BCM等のカメラに接続され、このカメラから画像の情報の入力を受け付けた場合に、画像の情報を移動体検出部120に出力する手段である。
The
移動体検出部120は、画像入力部110から画像の情報を取得した場合に、取得した画像に含まれる移動体を検出する手段である。この移動体検出部120が画像から移動体を検出する方式は、周知の技術を用いればよい。
The moving
例えば、移動体検出部120は、現フレームの画像をnフレーム画像、nフレーム画像の一つ前のフレームの画像をn−1フレーム画像と定義した場合に、nフレーム画像とn−1フレーム画像との画素値の差分を取り、差分が閾値以上となる画像領域を移動体として検出することが出来る(あるいは、オプティカルフロー方式によるブロックマッチング法や勾配法を用いて移動体を検出しても良い)。
For example, when the moving
移動体検出部120は、移動体の検出結果を警告判定部140に出力する。また、移動体検出部120は、移動体を検出した場合に、移動体の座標情報と、画像入力部110から入力された画像の情報を出力部150に出力する。
The moving
車両センサ130は、警告装置100が搭載された車両の各種状態を検出する手段である。ここで、車両の各種状態は、車両のアクセルが踏まれているか否かの情報(アクセル情報)、ブレーキが踏まれているか否かの情報(ブレーキ情報)、車速情報等が含まれる。
The
例えば、車両センサ130は、アクセルが踏まれたか否かを検出する装置、ブレーキが踏まれているか否かを検出する装置、車速を検出する装置にそれぞれ接続され、上記のアクセル情報、ブレーキ情報、車速情報を検出する。そして、車両センサ130は、検出したアクセル情報、ブレーキ情報、車速情報を警告判定部140に出力する。以下、アクセル情報、ブレーキ情報、車速情報を含めて車両状態情報と表記する。
For example, the
警告判定部140は、移動体検出部120から取得する検出結果および車両センサ130から取得する車両状態情報を基にして、警告音を出力するか否かを判定し、警告音を出力する場合には、車両状態情報に基づいて警告音の種類を判定する手段である。警告判定部140は、判定結果を出力部150に出力する。
The
警告判定部140は、車両管理テーブルを保持している。図2は、車両管理テーブルの一例を示す図である。同図に示すように、この車両管理テーブルは、検出フラグ、アクセスフラグ、ブレーキフラグ、車速フラグを有し、警告判定装置100は、各フラグ情報を、移動体検出部120から取得する検出結果および車両センサ130から取得する車両状態情報を基にして更新する。
The
検出フラグは、移動体を検出しているか否かを示すフラグであり、検出フラグが「オン」の場合には、移動体を検出しており、移動体検出フラグが「オフ」の場合には、移動体を検出していない旨を示す。アクセルフラグは、車両のアクセルが踏まれているか否かを示すフラグであり、アクセルフラグが「オン」の場合には、アクセルが踏まれており、アクセルフラグが「オフ」の場合には、アクセルが踏まれていない旨を示す。 The detection flag is a flag indicating whether or not a moving object is detected. When the detection flag is “on”, the moving object is detected, and when the moving object detection flag is “off”. Indicates that no moving object is detected. The accelerator flag is a flag indicating whether or not the accelerator of the vehicle is stepped on. When the accelerator flag is “on”, the accelerator is stepped on, and when the accelerator flag is “off”, the accelerator is pressed. Indicates that has not been stepped on.
ブレーキフラグは、車両のブレーキが踏まれているか否かを示すフラグであり、ブレーキフラグが「オン」の場合には、ブレーキが踏まれており、ブレーキフラグが「オフ」の場合には、ブレーキが踏まれていない旨を示す。 The brake flag is a flag indicating whether or not the brake of the vehicle is being depressed. When the brake flag is “on”, the brake is depressed, and when the brake flag is “off”, the brake is Indicates that has not been stepped on.
車速フラグは、車両の速度が閾値以上となっているか否かを示すフラグである。警告判定部140は、車両状態情報の車速情報を取得した場合に、車速と閾値とを比較し、車速が閾値以上である場合には、車速フラグを「オン」に設定する。一方、車速が閾値未満である場合には、車速フラグを「オフ」に設定する。
The vehicle speed flag is a flag indicating whether or not the vehicle speed is equal to or higher than a threshold value. The
ここで、警告判定部140が、上記の車両管理テーブルを基にして警告音判定にかかる処理について具体的に説明する。なお、本実施例1にかかる警告装置100は、第1の警告音および第2の警告音の2種類の警告音を出力可能であるものとする。そして、例えば、第1の警告音の音量は、第2の警告音の音量より大きいものとする。図3は、各フラグと判定結果との対応関係を示す図である。
Here, the
(検出フラグがオフの場合)
警告判定部140は、車両管理テーブルを参照し、検出フラグが「オフ」となっている場合には、アクセスフラグ、ブレーキフラグ、車速フラグのオン・オフに関わらず、警告音を出力しないと判定する。
(When the detection flag is off)
The
(検出フラグがオンの場合)
警告判定部140は、車両管理テーブルを参照し、検出フラグが「オン」となっている場合には、アクセスフラグ、ブレーキフラグ、車速フラグに基づいて、出力する警告音の種類を判定する。詳細を下記に示す。
(When the detection flag is on)
The
警告判定部140は、車両管理テーブルを参照し、アクセルフラグが「オン」となっている場合には、ブレーキフラグ、車速フラグのオン・オフに関わらず、第1の警告音を出力すると判定する。
The
警告判定部140は、車両管理テーブルを参照し、アクセルフラグが「オフ」となっており、かつブレーキフラグが「オフ」となっている場合には、車速フラグのオン・オフに関わらず、第2の警告音を出力すると判定する。
The
警告判定部140は、車両管理テーブルを参照し、アクセルフラグが「オフ」となっており、かつブレーキフラグが「オン」となっており、かつ車速フラグが「オン」(車速が閾値以上)となっている場合には、第2の警告音を出力すると判定する。
The
警告判定部140は、車両管理テーブルを参照し、アクセルフラグが「オフ」となっており、かつブレーキフラグが「オン」となっており、かつ車速フラグが「オフ」(車速が閾値未満)となっている場合には、警告音を出力しないと判定する。
The
出力部150は、各種の情報を出力する出力手段であり、モニタ(若しくはディスプレイ、タッチパネル)やスピーカなどによって構成される。特に、本実施例1の警告装置100に密接に関連するものとしては、移動体検出部120から出力される移動体の検出結果をモニタに表示すると共に、警告判定部140の判定結果に基づいて、警告音を出力する。
The
例えば、出力部150は、カメラによって撮影された画像をモニタに表示すると共に、移動体検出部120から移動体の座標情報に基づいて、移動体を矩形で囲んで表示させる。また、出力部150は、警告判定部140の判定結果に基づいて、第1の警告音または第2の警告音をスピーカから出力する。
For example, the
図4は、各フラグおよび警告音の状態を示す図である。なお、ここでは、車速フラグの代わりに、車速を示している(車速が閾値以上であることと、車速フラグがオンであることは等価である)。図4に示す状態は、車両が交差点に進入した場合を想定している。 FIG. 4 is a diagram showing the state of each flag and warning sound. Here, vehicle speed is shown instead of the vehicle speed flag (the vehicle speed being equal to or higher than the threshold and the vehicle speed flag being on are equivalent). The state shown in FIG. 4 assumes a case where the vehicle has entered an intersection.
交差点の進入動作において、運転手が自車両を一旦停止させる又は減速させた後、前進させる一連の動作の中で、ブレーキを離すタイミングに比べアクセルを踏んでいる状態は、時系列的に後となる可能性が高いため、自車両に接近する移動値を見落としてしまった場合に、危険度がより高くなる(例えば、警告レベル2)。したがって、アクセルフラグが「オン」になる場合に、第1の警告音を出力することで、的確に運転手に注意を促すことが出来る。 In the approaching operation at the intersection, the state where the driver is stepping on the accelerator in a series of operations of stopping and decelerating the vehicle and then moving forward is compared to the timing of releasing the brake in time series. Therefore, if the movement value approaching the host vehicle is overlooked, the risk becomes higher (for example, warning level 2). Therefore, when the accelerator flag is “ON”, the driver can be alerted accurately by outputting the first warning sound.
次に、本実施例1にかかる警告装置100の処理手順について説明する。図5は、本実施例1にかかる警告装置100の処理手順を示すフローチャートである。同図に示すように、この警告装置100は、BCM(カメラ)の電源がオンとなっているか否かを判定し(ステップS101)、オフとなっている場合には(ステップS102,No)、処理を終了する。
Next, a processing procedure of the
一方、BCMの電源がオンとなっている場合には(ステップS102,Yes)、警告装置100は、車両管理テーブルを参照して、検出フラグがオンとなっているか否かを判定し(ステップS103)、検出フラグがオフとなっている場合には(ステップS104,No)、ステップS101に移行する。
On the other hand, when the power of the BCM is on (step S102, Yes), the
一方、検出フラグがオンとなっている場合には(ステップS104,Yes)、警告装置100は、警報の種別を判定し(ステップS105)、判定結果に基づいて警報を出力し(ステップS106)、ステップS101に移行する。
On the other hand, if the detection flag is on (step S104, Yes), the
上述してきたように、本実施例1にかかる警告装置100は、車両に搭載したカメラにより撮影された画像に基づいて、移動体検出部120が移動体を検出した場合に、出力部150が一様に警告音を出力するのではなく、警告判定部140が自車両の運転状況情報に応じて警告音の種類を判定し、判定結果に応じて出力部150が警告音を出力するので、運転手に不快感を与えることなく、適切なタイミングで運転手に注意喚起することができる。
As described above, in the
さて、これまで本発明の実施例について説明してきたが、本発明は上述した実施例1以外にも、種々の異なる形態にて実施されてよいものである。そこで、以下では本実施例2として本発明に含まれる実施例を説明する。 Although the embodiments of the present invention have been described so far, the present invention may be implemented in various different forms other than the first embodiment described above. Therefore, an embodiment included in the present invention will be described below as a second embodiment.
(1)警告音の判定基準となる情報について
例えば、上記の実施例1では、警告判定部140は、車両センサ130から出力される車両状態情報、すなわち、アクセル情報、ブレーキ情報、車速情報に基づいて、警告音の種類を判定していたが、これに限定されるものではなく、例えば、ギアの操作状態を更に利用して、警告音の種類を判定してもよい。
(1) Information used as criteria for warning sound For example, in the first embodiment, the
例えば、警告判定部140は、上記移動体検出部120が移動体を検出している状態において、アクセルが踏まれており、かつギアが走行状態となっている場合に、第1の警告音を出力すると判定し、判定結果を出力部150に出力する。なお、ギアの操作状態にかかる情報は、ギアの操作状態を監視する装置から取得する。
For example, the
ところで、警告判定部140は、車両に設置されたカメラの方位(撮影方向)およびギアの操作状態を基にして、警告音の種類を判定してもよい。例えば、警告判定部140は、カメラが車両の前方の画像を撮影しており、上記移動体検出部120が移動体を検出している状態において、アクセルが踏まれており、かつギアが走行状態(前方移動)となっている場合、換言すれば、車両が移動体に向かって移動する場合に、第1の警告音を出力すると判定し、判定結果を出力部150に出力する。
By the way, the
あるいは、警告判定部140は、カメラが車両の後方の画像を撮影しており、上記移動体検出部120が移動体を検出している状態において、アクセルが踏まれており、かつギアが後方移動となっている場合、換言すれば、車両が移動体に向かって移動している場合に、第1の警告音を出力すると判定し、判定結果を出力部150に出力する。
Alternatively, the
このように、警告判定部140が、撮影方位と車両の走行状態(ギアの走行状態)を基にして、警告音の出力の有無を判定することで、運転手に適切に注意を促すことができる。例えば、車両が移動体から離れる方向に移動する場合は、かかる移動体に接触することはないため、警告音を出力する必要はない。
As described above, the
(2)警告方法について
例えば、上記の実施例1では、異なる警告音の種類を用意して、車両の走行状態や移動体検出の有無に基づいて、警告音の種類を選択して出力していたが、これに限定されるものではなく、例えば、モニタによって移動体を強調表示(光によって警告を通知)しても良いし、シートやハンドル等を振動させて運転手に注意を促してもよい。
(2) Warning method For example, in the first embodiment, different types of warning sounds are prepared, and the type of warning sound is selected and output based on the running state of the vehicle and the presence or absence of detection of a moving body. However, the present invention is not limited to this. For example, the moving object may be highlighted (notified by light) on the monitor, or the driver may be alerted by vibrating the seat or the handle. Good.
例えば、出力部150は、警告判定部140から判定結果を取得し、第1の警告音を出力すると判定されている場合には、第1の警告音をスピーカから出力すると共に、モニタに表示する移動体を赤い矩形で囲む。一方、出力部150は、第2の警告音を出力すると判定されている場合には、第2の警告音をスピーカから出力すると共に、モニタに表示する移動体を黄色い矩形で囲む。
For example, the
(3)システムの構成など
ところで、本実施例において説明した各処理のうち、自動的に行われるものとして説明した処理の全部または一部を手動的に行うこともでき、あるいは、手動的に行われるものとして説明した処理の全部あるいは一部を公知の方法で自動的に行うこともできる。この他、上記文書中や図面中で示した処理手順、制御手順、具体的名称、各種のデータやパラメータを含む情報については、特記する場合を除いて任意に変更することができる。
(3) System Configuration Of the processes described in this embodiment, all or part of the processes described as being performed automatically can be performed manually, or can be performed manually. All or part of the processing described as being performed can be automatically performed by a known method. In addition, the processing procedure, control procedure, specific name, and information including various data and parameters shown in the above-described document and drawings can be arbitrarily changed unless otherwise specified.
また、図1に示した警告装置100の各構成要素は機能概念的なものであり、必ずしも物理的に図示の如く構成されていることを要しない。すなわち、各装置の分散・統合の具体的形態は図示のものに限られず、その全部または一部を、各種の負荷や使用状況などに応じて、任意の単位で機能的または物理的に分散・統合して構成することができる。さらに、各装置にて行われる各処理機能は、その全部または任意の一部がCPUおよび当該CPUにて解析実行されるプログラムにて実現され、あるいは、ワイヤードロジックによるハードウェアとして実現され得る。
Each component of the
図6は、実施例1にかかる警告装置100を構成するコンピュータのハードウェア構成を示す図である。図6に示すように、このコンピュータ(警告装置)200は、入力装置201、モニタ202、カメラ(BCM)203、RAM(Random Access Memory)204、ROM(Read Only Memory)205、記憶媒体からデータを読み取る媒体読取装置206、他の装置との間でデータの送受信を行う通信装置207、車両センサ208、CPU(Central Processing Unit)209、HDD(Hard Disk Drive)210をバス211で接続して構成される。ここで、車両センサ208は、図1に示した車両センサ130に対応する。
FIG. 6 is a diagram illustrating a hardware configuration of a computer constituting the
そして、HDD210には、上記した警告装置100の機能と同様の機能を発揮する移動体検出プログラム210b、警告判定プログラム210cが記憶されている。CPU209が、移動体検出プログラム210b、警告判定プログラム210cを読み出して実行することにより、移動体検出プロセス209a、警告判定プロセス209bが起動される。
The
ここで、移動体検出プロセス209aは、図1の移動体検出部120に対応し、警告判定プロセス209bは、図1の警告判定部140および出力部150に対応する。
Here, the moving
また、HDD210は、警告装置100で利用される情報(画像情報等)に対応する各種データ210aを記憶する。CPU209は、HDD210に格納された各種データ210aを読み出して、RAM204に格納し、RAM204に格納された各種データ204aを用いて、画像から移動体を検出する。
The
ところで、図6に示した移動体検出プログラム210b、警告判定プログラム210cは、必ずしも最初からHDD210に記憶させておく必要はない。たとえば、コンピュータに挿入されるフレキシブルディスク(FD)、CD−ROM、DVDディスク、光磁気ディスク、ICカードなどの「可搬用の物理媒体」、または、コンピュータの内外に備えられるハードディスクドライブ(HDD)などの「固定用の物理媒体」、さらには、公衆回線、インターネット、LAN、WANなどを介してコンピュータに接続される「他のコンピュータ(またはサーバ)」などに移動体検出プログラム210b、警告判定プログラム210cを記憶しておき、コンピュータがこれらから移動体検出プログラム210b、警告判定プログラム210cを読み出して実行するようにしてもよい。
Incidentally, the moving object detection program 210b and the warning determination program 210c shown in FIG. 6 are not necessarily stored in the
(上記の実施例1,2を含む実施形態に関し、以下の付記を開示する) (The following supplementary notes are disclosed with respect to the embodiments including Examples 1 and 2 above)
(付記1)車両に搭載したカメラにより撮影された画像に基づいて、移動体を検出する移動体検出手段と、
前記車両が停止状態にあるか否かを判定する判定手段と、
前記移動体検出手段が移動体を検出し、かつ、前記判定手段が停止状態ではないと判定した場合に、音または光を出力する出力手段と、
を備えたことを特徴とする警告装置。
(Additional remark 1) Based on the image image | photographed with the camera mounted in the vehicle, the mobile body detection means which detects a mobile body,
Determining means for determining whether or not the vehicle is stopped;
An output means for outputting sound or light when the moving body detection means detects a moving body and the determination means determines that it is not in a stopped state;
A warning device comprising:
(付記2)前記判定手段は、前記車両のアクセルおよびブレーキの操作状態を判定し、前記アクセルが踏まれている場合、あるいは、前記ブレーキが踏まれていない場合に、前記車両が停止状態ではないと判定し、前記出力手段は、前記判定手段により前記アクセルが踏まれておらず、かつ、前記ブレーキが踏まれていない場合に第1の種類の音または光を出力し、前記アクセルが踏まれている場合には、第2の種類の音または光を出力することを特徴とする付記1に記載の警告装置。 (Additional remark 2) The said determination means determines the operation state of the accelerator and brake of the said vehicle, and when the said accelerator is stepped on or when the said brake is not stepped on, the said vehicle is not a stop state The output means outputs the first type of sound or light when the accelerator is not stepped on by the determination means and the brake is not stepped on, and the accelerator is stepped on. If there is, the warning device according to appendix 1, wherein a second type of sound or light is output.
(付記3)前記判定手段は更に、ギアの操作状態を判定し、前記出力手段は、前記移動体検出手段により移動体が検出され、かつ前記アクセルが踏まれており、かつギアが走行状態になっていると判定された場合に前記第2の種類の音または光を出力することを特徴とする付記2に記載の警告装置。 (Additional remark 3) The said determination means further determines the operation state of a gear, and the said output means detects the moving body by the said moving body detection means, and the said accelerator is stepped on, and a gear is in a driving | running | working state. The warning device according to appendix 2, wherein the second type of sound or light is output when it is determined that the second type of sound or light is detected.
(付記4)前記判定手段は、前記カメラの方位および前記ギアの操作状態を基にして、前記車両が画像の撮影方向に移動しているか否かを判定し、前記出力手段は、前記移動体検出手段が移動体を検出し、かつ前記アクセルが踏まれており、かつ前記車両が画像の撮影方向に移動していると判定された場合に前記第2の種類の音または光を出力することを特徴とする付記3に記載の警告装置。 (Additional remark 4) The said determination means determines whether the said vehicle is moving to the imaging | photography direction of an image based on the azimuth | direction of the said camera, and the operation state of the said gear, The said output means is the said mobile body When the detection means detects a moving body, the accelerator is stepped on, and it is determined that the vehicle is moving in the image capturing direction, the second type of sound or light is output. The warning device according to appendix 3, characterized by:
(付記5)車両の運転手に対して警告を出力する警告装置の警告方法であって、
前記警告装置は、
前記車両に搭載したカメラにより撮影された画像を記憶装置に記憶する記憶ステップと、
前記記憶装置に記憶された画像に基づいて、移動体を検出する移動体検出ステップと、
前記車両が停止状態にあるか否かを判定する判定ステップと、
前記移動体検出ステップが移動体を検出し、かつ、前記判定ステップが停止状態ではないと判定した場合に、出力装置から音または光を出力する出力ステップと、
を含んでいることを特徴とする警告方法。
(Supplementary note 5) A warning method of a warning device for outputting a warning to a driver of a vehicle,
The warning device is
A storage step of storing an image taken by a camera mounted on the vehicle in a storage device;
A moving body detecting step for detecting a moving body based on the image stored in the storage device;
A determination step of determining whether or not the vehicle is in a stopped state;
An output step of outputting sound or light from an output device when the moving body detection step detects a moving body and the determination step determines that the determination is not in a stopped state;
A warning method characterized by containing.
(付記6)前記判定ステップは、前記車両のアクセルおよびブレーキの操作状態を判定し、前記アクセルが踏まれている場合、あるいは、前記ブレーキが踏まれていない場合に、前記車両が停止状態ではないと判定し、前記出力ステップは、前記判定ステップにより前記アクセルが踏まれておらず、かつ、前記ブレーキが踏まれていない場合に第1の種類の音または光を出力し、前記アクセルが踏まれている場合には、第2の種類の音または光を出力することを特徴とする付記5に記載の警告方法。 (Additional remark 6) The said determination step determines the operation state of the accelerator and brake of the said vehicle, and when the said accelerator is stepped on or when the said brake is not stepped on, the said vehicle is not a stop state The output step outputs a first type of sound or light when the accelerator is not stepped on by the determination step and the brake is not stepped on, and the accelerator is stepped on. If so, the warning method according to appendix 5, wherein the second type of sound or light is output.
(付記7)前記判定ステップは更に、ギアの操作状態を判定し、前記出力ステップは、前記移動体検出ステップにより移動体が検出され、かつ前記アクセルが踏まれており、かつギアが走行状態になっていると判定された場合に前記第2の種類の音または光を出力することを特徴とする付記6に記載の警告方法。 (Additional remark 7) The said determination step further determines the operation state of a gear, and the said output step detects a moving body by the said moving body detection step, the said accelerator is stepped on, and a gear is in a driving | running | working state. 7. The warning method according to appendix 6, wherein the second type of sound or light is output when it is determined that
(付記8)前記判定ステップは、前記カメラの方位および前記ギアの操作状態を基にして、前記車両が画像の撮影方向に移動しているか否かを判定し、前記出力ステップは、前記移動体検出ステップにより移動体が検出され、かつ前記アクセルが踏まれており、かつ前記車両が画像の撮影方向に移動していると判定された場合に前記第2の種類の音または光を出力することを特徴とする付記7に記載の警告方法。 (Supplementary Note 8) The determination step determines whether or not the vehicle is moving in the image capturing direction based on the azimuth of the camera and the operation state of the gear, and the output step includes the moving body Outputting the second type of sound or light when it is determined that a moving body is detected by the detection step, the accelerator is stepped on, and the vehicle is moving in the image capturing direction; The warning method according to appendix 7, characterized by:
(付記9)コンピュータに、
前記車両に搭載したカメラにより撮影された画像を記憶装置に記憶する記憶手順と、
前記記憶装置に記憶された画像に基づいて、移動体を検出する移動体検出手順と、
前記車両が停止状態にあるか否かを判定する判定手順と、
前記移動体検出手順が移動体を検出し、かつ、前記判定手順が停止状態ではないと判定した場合に、出力装置から音または光を出力する出力手順と、
を実行させることを特徴とする警告プログラム。
(Appendix 9)
A storage procedure for storing an image taken by a camera mounted on the vehicle in a storage device;
A moving object detection procedure for detecting a moving object based on an image stored in the storage device;
A determination procedure for determining whether or not the vehicle is stopped;
An output procedure for outputting sound or light from an output device when the moving object detection procedure detects a moving object and the determination procedure determines that the determination procedure is not stopped;
A warning program characterized by causing
(付記10)前記判定手順は、前記車両のアクセルおよびブレーキの操作状態を判定し、前記アクセルが踏まれている場合、あるいは、前記ブレーキが踏まれていない場合に、前記車両が停止状態ではないと判定し、前記出力手順は、前記判定手順により前記アクセルが踏まれておらず、かつ、前記ブレーキが踏まれていない場合に第1の種類の音または光を出力し、前記アクセルが踏まれている場合には、第2の種類の音または光を出力することを特徴とする付記9に記載の警告プログラム。 (Additional remark 10) The said determination procedure determines the operation state of the accelerator and brake of the said vehicle, and when the said accelerator is stepped on or when the said brake is not stepped on, the said vehicle is not a stop state The output procedure outputs a first type of sound or light when the accelerator is not stepped on by the determination procedure and the brake is not stepped on, and the accelerator is stepped on. If so, the warning program according to appendix 9, wherein the second type of sound or light is output.
(付記11)前記判定手順は更に、ギアの操作状態を判定し、前記出力手順は、前記移動体検出手順により移動体が検出され、かつ前記アクセルが踏まれており、かつギアが走行状態になっていると判定された場合に前記第2の種類の音または光を出力することを特徴とする付記10に記載の警告プログラム。 (Additional remark 11) The said determination procedure further determines the operation state of a gear, and the said output procedure is that the moving body is detected by the said moving body detection procedure, the said accelerator is stepped on, and a gear is in a driving | running | working state. The warning program according to appendix 10, wherein the second type of sound or light is output when it is determined that the second type of sound or light is detected.
(付記12)前記判定手順は、前記カメラの方位および前記ギアの操作状態を基にして、前記車両が画像の撮影方向に移動しているか否かを判定し、前記出力手順は、前記移動体検出手順により移動体が検出され、かつ前記アクセルが踏まれており、かつ前記車両が画像の撮影方向に移動していると判定された場合に前記第2の種類の音または光を出力することを特徴とする付記11に記載の警告プログラム。 (Additional remark 12) The said determination procedure determines whether the said vehicle is moving to the imaging direction of an image based on the azimuth | direction of the said camera and the operation state of the said gear, The said output procedure is the said mobile body. Outputting the second type of sound or light when it is determined that a moving object is detected by the detection procedure, the accelerator is stepped on, and the vehicle is moving in the image capturing direction; The warning program according to appendix 11, characterized by:
以上のように、本発明にかかる警告装置、警告方法および警告プログラムは、車両の運転手に警告を行う警告システムなどに有用であり、特に、画像から検出した移動体および自車両の運転状況に応じて、適切なタイミングで運転手に注意喚起する必要がある場合に適している。 As described above, the warning device, the warning method, and the warning program according to the present invention are useful for a warning system that gives a warning to a driver of a vehicle, and in particular, for a driving state of a moving body and a host vehicle detected from an image. Accordingly, it is suitable when it is necessary to alert the driver at an appropriate timing.
100 警告装置
110 画像入力部
120 移動体検出部
130 車両センサ
140 警告判定部
150 出力部
200 コンピュータ
201 入力装置
202 モニタ
203 カメラ
204 RAM
204a 各種データ
205 ROM
206 媒体読取装置
207 通信装置
208 車両センサ
209 CPU
209a 移動体検出プロセス
209b 警告判定プロセス
210 HDD
210a 各種データ
210b 移動体検出プログラム
210c 警告判定プログラム
211 バス
DESCRIPTION OF
204a
206 Media reader 207
209a Moving
210a Various data 210b Moving object detection program 210c
Claims (6)
前記車両が停止状態にあるか否かを判定する判定手段と、
前記移動体検出手段が移動体を検出し、かつ、前記判定手段が停止状態ではないと判定した場合に、音または光を出力する出力手段と、
を備えたことを特徴とする警告装置。 A moving body detecting means for detecting a moving body based on an image taken by a camera mounted on the vehicle;
Determining means for determining whether or not the vehicle is stopped;
An output means for outputting sound or light when the moving body detection means detects a moving body and the determination means determines that it is not in a stopped state;
A warning device comprising:
前記警告装置は、
前記車両に搭載したカメラにより撮影された画像を記憶装置に記憶する記憶ステップと、
前記記憶装置に記憶された画像に基づいて、移動体を検出する移動体検出ステップと、
前記車両が停止状態にあるか否かを判定する判定ステップと、
前記移動体検出ステップが移動体を検出し、かつ、前記判定ステップが停止状態ではないと判定した場合に、出力装置から音または光を出力する出力ステップと、
を含んでいることを特徴とする警告方法。 A warning method for a warning device that outputs a warning to a vehicle driver,
The warning device is
A storage step of storing an image taken by a camera mounted on the vehicle in a storage device;
A moving body detecting step for detecting a moving body based on the image stored in the storage device;
A determination step of determining whether or not the vehicle is in a stopped state;
An output step of outputting sound or light from an output device when the moving body detection step detects a moving body and the determination step determines that the determination is not in a stopped state;
A warning method characterized by containing.
前記車両に搭載したカメラにより撮影された画像を記憶装置に記憶する記憶手順と、
前記記憶装置に記憶された画像に基づいて、移動体を検出する移動体検出手順と、
前記車両が停止状態にあるか否かを判定する判定手順と、
前記移動体検出手順が移動体を検出し、かつ、前記判定手順が停止状態ではないと判定した場合に、出力装置から音または光を出力する出力手順と、
を実行させることを特徴とする警告プログラム。 On the computer,
A storage procedure for storing an image taken by a camera mounted on the vehicle in a storage device;
A moving object detection procedure for detecting a moving object based on an image stored in the storage device;
A determination procedure for determining whether or not the vehicle is stopped;
An output procedure for outputting sound or light from an output device when the moving object detection procedure detects a moving object and the determination procedure determines that the determination procedure is not stopped;
A warning program characterized by causing
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2007325069A JP5040634B2 (en) | 2007-12-17 | 2007-12-17 | Warning device, warning method and warning program |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2007325069A JP5040634B2 (en) | 2007-12-17 | 2007-12-17 | Warning device, warning method and warning program |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2009143494A true JP2009143494A (en) | 2009-07-02 |
JP5040634B2 JP5040634B2 (en) | 2012-10-03 |
Family
ID=40914643
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2007325069A Expired - Fee Related JP5040634B2 (en) | 2007-12-17 | 2007-12-17 | Warning device, warning method and warning program |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP5040634B2 (en) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2015101332A (en) * | 2013-11-21 | 2015-06-04 | ハーマン インターナショナル インダストリーズ, インコーポレイテッド | Using external sounds to alert vehicle occupants of external events and mask in-car conversations |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2021021568A1 (en) * | 2019-07-26 | 2021-02-04 | Federal Signal Corporation | Self-adapting variable loudness and/or variable sound pattern emergency vehicle siren system with optional collision warning |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2001354089A (en) * | 2000-06-12 | 2001-12-25 | Toyota Motor Corp | Vehicle collision predicting device and vehicle collision preventing device |
JP2004178313A (en) * | 2002-11-27 | 2004-06-24 | Toyota Motor Corp | Vehicle alarm device |
JP2004231017A (en) * | 2003-01-29 | 2004-08-19 | Aisin Seiki Co Ltd | Collision alarm device for vehicle |
JP2005202516A (en) * | 2004-01-13 | 2005-07-28 | Denso Corp | Vehicle operation supporting device |
JP2007310794A (en) * | 2006-05-22 | 2007-11-29 | Denso Corp | Notification device and program |
-
2007
- 2007-12-17 JP JP2007325069A patent/JP5040634B2/en not_active Expired - Fee Related
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2001354089A (en) * | 2000-06-12 | 2001-12-25 | Toyota Motor Corp | Vehicle collision predicting device and vehicle collision preventing device |
JP2004178313A (en) * | 2002-11-27 | 2004-06-24 | Toyota Motor Corp | Vehicle alarm device |
JP2004231017A (en) * | 2003-01-29 | 2004-08-19 | Aisin Seiki Co Ltd | Collision alarm device for vehicle |
JP2005202516A (en) * | 2004-01-13 | 2005-07-28 | Denso Corp | Vehicle operation supporting device |
JP2007310794A (en) * | 2006-05-22 | 2007-11-29 | Denso Corp | Notification device and program |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2015101332A (en) * | 2013-11-21 | 2015-06-04 | ハーマン インターナショナル インダストリーズ, インコーポレイテッド | Using external sounds to alert vehicle occupants of external events and mask in-car conversations |
Also Published As
Publication number | Publication date |
---|---|
JP5040634B2 (en) | 2012-10-03 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6394281B2 (en) | In-vehicle alert system, alarm control device | |
EP3825981A1 (en) | Warning apparatus, driving tendency analysis device, driving tendency analysis method, and program | |
JP5082834B2 (en) | Aside look detection device and method, and program | |
US11807277B2 (en) | Driving assistance apparatus | |
JP2009015550A (en) | Apparatus, method and program for detecting act of looking aside | |
JP2009069885A (en) | State determination device and program | |
JP2010033106A (en) | Driver support device, driver support method, and driver support processing program | |
CN111645674B (en) | Vehicle control device | |
CN113744551A (en) | Information processing apparatus, non-transitory storage medium, and information processing method | |
JP2012022579A (en) | Face direction detector, face direction detection program and face direction detection method | |
JP5040634B2 (en) | Warning device, warning method and warning program | |
JP2006347232A (en) | Navigation system | |
JP6018840B2 (en) | Drive recorder | |
JP2009146153A (en) | Moving object detection device, moving object detection method and moving object detection program | |
JP2023009149A (en) | Gesture detection device, gesture detection method, and program | |
JP2023002810A (en) | output device | |
JP2010100093A (en) | Device and method for integrating sound output | |
CN115428055A (en) | Driving support device | |
JP4968133B2 (en) | Vehicle alarm device | |
JP6972877B2 (en) | Warning information notification device | |
JP2007148506A (en) | Driving support device | |
JP5968277B2 (en) | Information processing apparatus and information processing method | |
JP2020067711A (en) | Warning notification device and warning notification method | |
JP5445298B2 (en) | Alarm system mounted on vehicle and program for alarm system | |
CN111045512B (en) | Vehicle, method of outputting information of vehicle, and computer-readable recording medium |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20100715 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20111117 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20111122 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20120123 |
|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20120214 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20120514 |
|
A911 | Transfer of reconsideration by examiner before appeal (zenchi) |
Free format text: JAPANESE INTERMEDIATE CODE: A911 Effective date: 20120521 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20120612 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20120625 |
|
R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20150720 Year of fee payment: 3 |
|
LAPS | Cancellation because of no payment of annual fees |