JP2020004445A - Determination device, determination method, and determination program - Google Patents

Determination device, determination method, and determination program Download PDF

Info

Publication number
JP2020004445A
JP2020004445A JP2019173884A JP2019173884A JP2020004445A JP 2020004445 A JP2020004445 A JP 2020004445A JP 2019173884 A JP2019173884 A JP 2019173884A JP 2019173884 A JP2019173884 A JP 2019173884A JP 2020004445 A JP2020004445 A JP 2020004445A
Authority
JP
Japan
Prior art keywords
area
vehicle
partial
information
sidewalk
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2019173884A
Other languages
Japanese (ja)
Other versions
JP6811405B2 (en
Inventor
山根 一郎
Ichiro Yamane
一郎 山根
崇文 徳弘
Takafumi Tokuhiro
崇文 徳弘
賢 福本
Masaru Fukumoto
賢 福本
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Panasonic Intellectual Property Management Co Ltd
Original Assignee
Panasonic Intellectual Property Management Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Panasonic Intellectual Property Management Co Ltd filed Critical Panasonic Intellectual Property Management Co Ltd
Priority to JP2019173884A priority Critical patent/JP6811405B2/en
Publication of JP2020004445A publication Critical patent/JP2020004445A/en
Application granted granted Critical
Publication of JP6811405B2 publication Critical patent/JP6811405B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Abstract

To allow a vehicle to safely cross a sidewalk.SOLUTION: A determination device is provided in a vehicle to determine a behavior of the vehicle, and comprises: an input part which receives information on a second area adjacent to a first area which is a position in which the vehicle exists, and information on a predetermined object existing in the second area; and a control part which divides the second area into a plurality of partial areas at least including a first partial area adjacent to the first area and a second partial area far from the vehicle than the first partial area on the basis of the information on the second area to determine an area in which the vehicle can travel among the plurality of divided partial areas on the basis of the information on the object.SELECTED DRAWING: Figure 1

Description

本発明は、移動体の走行について判定を行う判定装置、判定方法、および判定プログラムに関する。   The present invention relates to a determination device, a determination method, and a determination program for determining a traveling of a moving object.

近年、車両の運転者を支援するために様々な運転支援技術が開発されている。例えば、車両が交差点に近付いた場合に、交差点付近の領域を複数の領域に分割し、分割した領域のうち歩行者が存在する領域に所定のマークを表示することで、歩行者の位置を運転者に認識させるものがある(例えば、特許文献1参照)。   In recent years, various driving assistance technologies have been developed to assist a driver of a vehicle. For example, when a vehicle approaches an intersection, the area near the intersection is divided into a plurality of areas, and a predetermined mark is displayed in an area of the divided area where a pedestrian exists, thereby driving the position of the pedestrian. There is one that makes a person recognize (for example, see Patent Document 1).

特開2000−346657号公報JP 2000-346657 A

しかしながら、上述した特許文献1の技術は、車両が歩道を横断して車道に出る場合に、運転支援を行うものではない。   However, the technique of Patent Document 1 does not provide driving assistance when a vehicle crosses a sidewalk and enters a roadway.

本発明の目的は、車両が安全に歩道を横断できる判定装置、判定方法、および判定プログラムを提供することである。   An object of the present invention is to provide a determination device, a determination method, and a determination program that allow a vehicle to safely cross a sidewalk.

本発明の一態様に係る判定装置は、車両に備えられ、前記車両の挙動を判定する判定装置であって、前記車両が存在する位置である第1領域に隣接する領域である第2領域の情報、および、前記第2領域に存在する所定の対象物の情報を受け取る入力部と、前記第2領域の情報に基づいて、前記第2領域を、前記第1領域に隣接する第1の部分領域と前記第1の部分領域よりも前記車両から遠い第2の部分領域とを少なくとも含む複数の部分領域に分割し、前記対象物の情報に基づいて、分割された前記複数の部分領域のうち、前記車両が走行できる領域を判定する制御部と、を備える構成を採る。   A determination device according to one embodiment of the present invention is a determination device provided in a vehicle and determining a behavior of the vehicle, the determination device including a second region that is a region adjacent to a first region where the vehicle exists. An input unit for receiving information and information on a predetermined object existing in the second area; and a first portion adjacent to the first area, based on the information on the second area. Dividing into a plurality of partial regions including at least a region and a second partial region farther from the vehicle than the first partial region, and based on the information on the object, among the plurality of divided partial regions And a control unit for determining an area in which the vehicle can travel.

本発明の一態様に係る判定方法は、車両の挙動を判定する判定方法であって、前記車両が存在する位置である第1領域に隣接する領域である第2領域の情報、および、前記第2領域に存在する所定の対象物の情報を受け取る工程と、前記第2領域の情報に基づいて、前記第2領域を、前記第1領域に隣接する第1の部分領域と前記第1の部分領域よりも前記車両から遠い第2の部分領域とを少なくとも含む複数の部分領域に分割する工程と、前記対象物の情報に基づいて、分割された前記複数の部分領域のうち、前記車両が走行できる領域を判定する工程と、を含むようにした。   A determination method according to an aspect of the present invention is a determination method for determining a behavior of a vehicle, wherein information on a second area that is an area adjacent to a first area that is a position where the vehicle is present; Receiving information on a predetermined object existing in two regions; and, based on the information on the second region, dividing the second region into a first partial region adjacent to the first region and a first partial region. Dividing into a plurality of partial regions including at least a second partial region farther from the vehicle than the region; and, based on the information on the object, the vehicle travels among the plurality of divided partial regions. Determining a possible region.

本発明の一態様に係る判定プログラムは、車両の挙動を判定する判定プログラムであって、前記車両が存在する位置である第1領域に隣接する領域である第2領域の情報、および、前記第2領域に存在する所定の対象物の情報を受け取る処理と、前記第2領域の情報に基づいて、前記第2領域を、前記第1領域に隣接する第1の部分領域と前記第1の部分領域よりも前記車両から遠い第2の部分領域とを少なくとも含む複数の部分領域に分割する処理と、前記対象物の情報に基づいて、分割された前記複数の部分領域のうち、前記車両が走行できる領域を判定する処理と、をコンピュータに実行させるようにした。   A determination program according to one aspect of the present invention is a determination program for determining a behavior of a vehicle, wherein information on a second area which is an area adjacent to a first area where the vehicle is present, and A process of receiving information on a predetermined object existing in two regions, and, based on the information on the second region, dividing the second region into a first partial region adjacent to the first region and the first portion A process of dividing the vehicle into a plurality of partial regions including at least a second partial region farther from the vehicle than the region; and, based on the information of the object, the vehicle travels among the plurality of divided partial regions. The computer is made to execute the process of determining the area in which it can be performed.

本発明によれば、車両が安全に歩道を横断できる。   According to the present invention, the vehicle can safely cross the sidewalk.

本発明の実施の形態に係る運転支援システムおよび判定装置の構成の一例を示すブロック図1 is a block diagram illustrating an example of a configuration of a driving support system and a determination device according to an embodiment of the present invention. 本発明の実施の形態に係る歩道領域、非歩道領域、および対象物の一例を示す図The figure which shows an example of the sidewalk area | region, the non-sidewalk area | region, and a target object which concern on embodiment of this invention. 本発明の実施の形態に係る判定装置の動作の流れの一例を示すフロー図Flow chart showing an example of the flow of the operation of the determination device according to the embodiment of the present invention. 本発明の変形例1に係る複数の部分領域の一例を示す図FIG. 6 is a diagram illustrating an example of a plurality of partial regions according to a first modification of the present invention. 本発明の変形例1に係る複数の部分領域の一例を示す図FIG. 6 is a diagram illustrating an example of a plurality of partial regions according to a first modification of the present invention. 本発明の変形例1に係る複数の部分領域の一例を示す図FIG. 6 is a diagram illustrating an example of a plurality of partial regions according to a first modification of the present invention. 本発明の変形例2に係る運転支援システムの構成の一例を示すブロック図FIG. 4 is a block diagram showing an example of a configuration of a driving support system according to a second modification of the present invention. 本発明の変形例3に係る複数の部分領域の一例を示す図FIG. 13 is a diagram showing an example of a plurality of partial regions according to a third modification of the present invention. 各部の機能をプログラムにより実現するコンピュータのハードウェア構成を示す図The figure which shows the hardware constitutions of the computer which realizes the function of each part with the program

以下、本発明の実施の形態について、図面を参照して詳細に説明する。ただし、実施の形態において、同一機能を有する構成には、同一符号を付し、重複する説明は省略する。   Hereinafter, embodiments of the present invention will be described in detail with reference to the drawings. However, in the embodiments, configurations having the same functions are denoted by the same reference numerals, and redundant description will be omitted.

まず、図1を用いて、本実施の形態に係る運転支援システム100および判定装置120の構成について説明する。図1は、本実施の形態に係る運転支援システム100および判定装置120の構成の一例を示すブロック図である。本実施の形態では、運転支援システム100が車両に適用されたものとして説明する。   First, the configurations of the driving support system 100 and the determination device 120 according to the present embodiment will be described using FIG. FIG. 1 is a block diagram illustrating an example of a configuration of the driving support system 100 and the determination device 120 according to the present embodiment. In the present embodiment, a description will be given assuming that driving assistance system 100 is applied to a vehicle.

運転支援システム100は、認識装置110、判定装置120、および車両制御装置130を備える。また、判定装置120は、入力部121および制御部122を備える。   The driving support system 100 includes a recognition device 110, a determination device 120, and a vehicle control device 130. Further, the determination device 120 includes an input unit 121 and a control unit 122.

また、運転支援システム100は、図示しない検知装置を備える。検知装置は、車室内または車室外に搭載されるセンサであり、例えば、センシングカメラ、レーザセンサ、または、ミリ波レーダ等である。検知装置は、車両の周辺環境(少なくとも車両の前方の環境)を検知し、検知結果の情報を認識装置110へ出力する。なお、検知装置による検知技術は、公知技術であるため、その詳細な説明は省略する。   Further, the driving support system 100 includes a detection device (not shown). The detection device is a sensor mounted inside or outside the vehicle, such as a sensing camera, a laser sensor, or a millimeter wave radar. The detection device detects a surrounding environment of the vehicle (at least an environment in front of the vehicle) and outputs information of a detection result to the recognition device 110. In addition, since the detection technology by the detection device is a known technology, a detailed description thereof is omitted.

認識装置110は、検知装置から受け取った検知結果の情報に基づいて、歩道領域、非歩道領域、および、歩道領域に存在する所定の対象物(例えば、歩行者、自転車等)を認識する。非歩道領域とは、歩道領域に面した、歩道領域以外の領域であり、例えば、車道、車庫または駐車場などである。歩道領域および非歩道領域の具体例については、図2を用いて後述する。   The recognition device 110 recognizes a sidewalk area, a non-sidewalk area, and a predetermined object (for example, a pedestrian, a bicycle, etc.) existing in the sidewalk area, based on the information of the detection result received from the detection apparatus. The non-sidewalk area is an area facing the sidewalk area other than the sidewalk area, such as a roadway, a garage, or a parking lot. Specific examples of the sidewalk area and the non-sidewalk area will be described later with reference to FIG.

認識装置110で行われる認識処理では、検知結果の情報の種類に応じて、例えばパタンマッチングまたはクラスタリングなどが用いられる。なお、認識装置110による認識技術は、公知技術であるため、その詳細な説明は省略する。   In the recognition processing performed by the recognition device 110, for example, pattern matching or clustering is used according to the type of information of the detection result. Since the recognition technique by the recognition device 110 is a known technique, a detailed description thereof will be omitted.

認識装置110は、認識結果としての、歩道領域情報、非歩道領域情報、および対象物情報を、判定装置120の入力部121へ出力する。歩道領域情報は、例えば、非歩道領域に対する相対位置などの情報を含む。非歩道領域情報は、歩道領域に対する相対位置などの情報を含む。対象物情報は、対象物の種類、位置、速度などの情報を含む。   The recognition device 110 outputs the sidewalk region information, the non-sidewalk region information, and the target object information as the recognition result to the input unit 121 of the determination device 120. The sidewalk area information includes, for example, information such as a relative position to a non-sidewalk area. The non-sidewalk area information includes information such as a relative position to the sidewalk area. The object information includes information such as the type, position, and speed of the object.

ここで、図2を用いて、認識装置110により認識される、歩道領域、非歩道領域、および対象物の一例について説明する。図2は、歩道領域および非歩道領域を真上から見た図である。ただし、歩道領域に存在する対象物については、その対象物を側面が見た状態で示している。   Here, an example of a sidewalk region, a non-sidewalk region, and an object recognized by the recognition device 110 will be described with reference to FIG. FIG. 2 is a view of the sidewalk area and the non-sidewalk area as viewed from directly above. However, the object present in the sidewalk area is shown with the object viewed from the side.

図2において、AおよびBは非歩道領域であり、Cは歩道領域である。非歩道領域Aは、例えば駐車場または車庫などであり、非歩道領域Bは、例えば車道である。図2の例では、非歩道領域Aに、運転支援システム100を搭載した車両Vが存在している。   In FIG. 2, A and B are non-pedestrian areas, and C is a pavement area. The non-pedestrian area A is, for example, a parking lot or a garage, and the non-pedestrian area B is, for example, a road. In the example of FIG. 2, a vehicle V equipped with the driving support system 100 exists in the non-pedestrian area A.

歩道領域Cは、非歩道領域Aと非歩道領域Bの間にあり、非歩道領域A、Bのそれぞれに面している。図2の例では、歩道領域Cに、歩行者P1、自転車に乗った人(以下、自転車という)P2が存在している。   The sidewalk area C is between the non-sidewalk area A and the non-sidewalk area B, and faces each of the non-sidewalk areas A and B. In the example of FIG. 2, a pedestrian P1 and a cyclist (hereinafter, referred to as a bicycle) P2 exist in the sidewalk area C.

車両Vに搭載された認識装置110は、非歩道領域A、非歩道領域B、および歩道領域Cを認識し、非歩道領域A、Bに関する非歩道領域情報、および、歩道領域Cに関する歩道領域情報を判定装置120へ出力する。   The recognition device 110 mounted on the vehicle V recognizes the non-pedestrian area A, the non-pedestrian area B, and the pedestrian area C, and obtains the non-pedestrian area information on the non-pedestrian areas A and B and the pedestrian area information on the pedestrian area C. Is output to the determination device 120.

また、車両Vに搭載された認識装置110は、歩道領域C上の歩行者P1および自転車P2を認識し、歩行者P1、自転車P2に関する対象物情報を判定装置120へ出力する。   In addition, the recognition device 110 mounted on the vehicle V recognizes the pedestrian P1 and the bicycle P2 on the sidewalk area C, and outputs target information on the pedestrian P1 and the bicycle P2 to the determination device 120.

以上、認識装置110により認識される、歩道領域、非歩道領域、および対象物の一例について説明した。以下、図1の説明に戻る。   The example of the sidewalk area, the non-sidewalk area, and the object recognized by the recognition device 110 has been described above. Hereinafter, the description returns to FIG.

入力部121は、認識装置110から、歩道領域情報、非歩道領域情報、および対象物情報を受け取り、それらの情報を制御部122へ出力する。   The input unit 121 receives the sidewalk area information, the non-sidewalk area information, and the object information from the recognition device 110, and outputs the information to the control unit 122.

制御部122は、入力部121から、歩道領域情報、非歩道領域情報、および対象物情報を受け取ると、それらの情報に基づいて各種処理を行う。例えば、まず、制御部122は、歩道領域情報と非歩道領域情報に基づいて、歩道領域を、複数の部分領域に分割して認識する。次に、制御部122は、対象物情報に基づいて、複数の部分領域のうち、車両が横断できる範囲を判定する。   When receiving the sidewalk area information, the non-sidewalk area information, and the object information from the input unit 121, the control unit 122 performs various processes based on the information. For example, first, the control unit 122 recognizes the sidewalk area by dividing it into a plurality of partial areas based on the sidewalk area information and the non-sidewalk area information. Next, the control unit 122 determines a range that the vehicle can cross, among the plurality of partial areas, based on the object information.

ここで、図2を用いて、制御部122による上記処理の具体例について説明する。以下の処理は、例えば、非歩道領域Aに存在する車両Vが、歩道領域Cを横断して、非歩道領域Bへ進入しようとする場合に行われる。   Here, a specific example of the above processing by the control unit 122 will be described with reference to FIG. The following processing is performed, for example, when the vehicle V existing in the non-pedestrian area A crosses the sidewalk area C and enters the non-pedestrian area B.

まず、制御部122は、非歩道領域A(車両Vの現在位置と言い換えてもよい)と非歩道領域Bとの間に歩道領域Cが存在することを認識する。   First, the control unit 122 recognizes that the sidewalk area C exists between the non-sidewalk area A (which may be referred to as the current position of the vehicle V) and the non-sidewalk area B.

次に、制御部122は、歩道領域Cを、車両Vに最も近い第1の部分領域C1と、非歩道領域Bに面する第2の部分領域C2とに分割し、第1の部分領域C1および第2の部分領域C2を認識する。なお、歩道領域Cの分割数は、予め設定されていてもよいし、歩道領域Cの幅に応じて制御部122が決定してもよい。   Next, the control unit 122 divides the sidewalk area C into a first partial area C1 closest to the vehicle V and a second partial area C2 facing the non-pedestrian area B, and splits the first partial area C1. And the second partial area C2. Note that the number of divisions of the sidewalk area C may be set in advance, or may be determined by the control unit 122 according to the width of the sidewalk area C.

次に、制御部122は、第1の部分領域C1、第2の部分領域C2の順(昇順)に対象物の有無を判定する。   Next, the control unit 122 determines the presence or absence of the target in the order of the first partial area C1 and the second partial area C2 (ascending order).

すなわち、まず、制御部122は、第1の部分領域C1に対象物が存在するか否かを判定する。   That is, first, the control unit 122 determines whether or not the target exists in the first partial area C1.

第1の部分領域C1に対象物が存在する場合、制御部122は、車両Vが横断できる範囲はない(換言すれば、車両Vは第1の部分領域C1を横断できない)と判定する。   When the target object exists in the first partial area C1, the control unit 122 determines that there is no range in which the vehicle V can cross (in other words, the vehicle V cannot cross the first partial area C1).

一方、第1の部分領域C1に対象物が存在しない場合、制御部122は、第2の部分領域C2に対象物が存在するか否かを判定する。   On the other hand, when the target does not exist in the first partial area C1, the control unit 122 determines whether the target exists in the second partial area C2.

第2の部分領域C2に対象物が存在する場合、制御部122は、車両Vが横断できる範囲は第1の部分領域C1である(換言すれば、車両Vは第1の部分領域C1まで横断できる)と判定する。図2の場合では、第1の部分領域C1に対象物が存在せず、第2の部分領域C2に対象物(歩行者P1と自転車P2)が存在するため、車両Vが横断できる範囲は、第1の部分領域C1であると判定されることになる。   When the target object exists in the second partial area C2, the control unit 122 determines that the range that the vehicle V can cross is the first partial area C1 (in other words, the vehicle V traverses to the first partial area C1). Can be determined). In the case of FIG. 2, the target does not exist in the first partial area C1 and the target (the pedestrian P1 and the bicycle P2) exists in the second partial area C2. This is determined to be the first partial area C1.

一方、第2の部分領域C2に対象物が存在しない場合、制御部122は、車両Vが横断できる範囲は第1の部分領域C1および第2の部分領域C2である(換言すれば、車両Vは第2の部分領域C2まで横断できる)と判定する。   On the other hand, when the target does not exist in the second partial area C2, the control unit 122 determines that the range that the vehicle V can traverse is the first partial area C1 and the second partial area C2 (in other words, the vehicle V Can be traversed to the second partial area C2).

以上、制御部122による処理の具体例について説明した。以下、図1の説明に戻る。   The specific example of the process performed by the control unit 122 has been described above. Hereinafter, the description returns to FIG.

次に、制御部122は、判定の結果(車両が横断できる範囲)を示す判定結果情報を、車両制御装置130へ出力する。   Next, control unit 122 outputs determination result information indicating the result of the determination (the range in which the vehicle can cross) to vehicle control device 130.

車両制御装置130は、車両において用いられる機器を制御する装置である。車両において用いられる機器としては、例えば、走行機器または表示機器などが挙げられる。   The vehicle control device 130 is a device that controls devices used in the vehicle. The devices used in the vehicle include, for example, traveling devices or display devices.

ここで、車両制御装置130が走行機器を制御する場合の具体例について、図2を用いて説明する。   Here, a specific example in the case where the vehicle control device 130 controls the traveling equipment will be described with reference to FIG.

例えば、判定結果情報が、車両Vが横断できる範囲はない旨を示す場合、車両制御装置130は、車両の走行を禁止する旨の制御信号を走行機器へ出力する。走行機器は、その制御信号に基づいて、走行を禁止するように車両を制御する。これにより、車両は、非歩道領域Aから第1の部分領域C1へ進行することができない。   For example, when the determination result information indicates that there is no range in which the vehicle V can cross, the vehicle control device 130 outputs a control signal to prohibit the traveling of the vehicle to the traveling equipment. The traveling device controls the vehicle based on the control signal so as to prohibit traveling. As a result, the vehicle cannot travel from the non-pedestrian area A to the first partial area C1.

また、例えば、判定結果情報が、車両Vが横断できる範囲が第1の部分領域C1である旨を示す場合、車両制御装置130は、第1の部分領域C1まで車両Vの走行を許可する旨の制御信号を走行機器へ出力する。走行機器は、その制御信号に基づいて、走行を許可するように車両Vを制御する。これにより、車両Vは、第1の部分領域C1へ進行することができる。   Further, for example, when the determination result information indicates that the range that the vehicle V can traverse is the first partial area C1, the vehicle control device 130 allows the vehicle V to travel to the first partial area C1. Is output to the traveling equipment. The traveling device controls the vehicle V based on the control signal so as to permit traveling. Thereby, the vehicle V can proceed to the first partial area C1.

また、例えば、判定結果情報が、車両Vが横断できる範囲が第1の部分領域C1および第2の部分領域C2である旨を示す場合、車両制御装置130は、第2の部分領域C2まで車両Vの走行を許可する旨の制御信号を走行機器へ出力する。走行機器は、その制御信号に基づいて、走行を許可するように車両Vを制御する。これにより、車両Vは、第2の部分領域C2へ進行することができ、その後、非歩道領域Bへ進入することができる。   Further, for example, when the determination result information indicates that the range that the vehicle V can traverse is the first partial area C1 and the second partial area C2, the vehicle control device 130 may control the vehicle up to the second partial area C2. A control signal for permitting the traveling of V is output to the traveling equipment. The traveling device controls the vehicle V based on the control signal so as to permit traveling. Thereby, the vehicle V can proceed to the second partial area C2, and thereafter can enter the non-pedestrian area B.

次に、車両制御装置130が表示機器を制御する場合の具体例について説明する。   Next, a specific example in the case where the vehicle control device 130 controls the display device will be described.

例えば、判定結果情報が、車両Vが横断できる範囲はない旨を示す場合、車両制御装置130は、その旨を示す画像を生成する旨の制御信号を表示機器へ出力する。表示機器は、その制御信号に基づいて、第1の部分領域C1に進入不可能である旨の画像を生成し、その画像を所定の表示媒体へ出力する。これにより、車両の乗員は、第1の部分領域C1へ進入することができないことを知ることができる。   For example, when the determination result information indicates that there is no range in which the vehicle V can cross, the vehicle control device 130 outputs a control signal indicating that an image indicating that is generated to the display device. The display device generates an image indicating that it is impossible to enter the first partial area C1 based on the control signal, and outputs the image to a predetermined display medium. Thereby, the occupant of the vehicle can know that the vehicle cannot enter the first partial area C1.

また、例えば、判定結果情報が、車両Vが横断できる範囲が第1の部分領域C1である旨を示す場合、車両制御装置130は、その旨を示す画像を生成する旨の制御信号を表示機器へ出力する。表示機器は、その制御信号に基づいて、第1の部分領域C1に進入可能である旨の画像を生成し、その画像を所定の表示媒体へ出力する。これにより、車両の乗員は、第1の部分領域C1へ進入可能であることを知ることができる。   Further, for example, when the determination result information indicates that the range in which the vehicle V can traverse is the first partial area C1, the vehicle control device 130 displays a control signal indicating that an image indicating that is generated is displayed on the display device. Output to The display device generates an image indicating that it is possible to enter the first partial area C1 based on the control signal, and outputs the image to a predetermined display medium. Thereby, the occupant of the vehicle can know that the vehicle can enter the first partial area C1.

また、例えば、判定結果情報が、車両Vが横断できる範囲が第1の部分領域C1および第2の部分領域C2である旨を示す場合、車両制御装置130は、その旨を示す画像を生成する旨の制御信号を表示機器へ出力する。表示機器は、その制御信号に基づいて、第1の部分領域C1および第2の部分領域C2に進入可能である旨の画像を生成し、その画像を所定の表示媒体へ出力する。これにより、車両の乗員は、第2の部分領域C2まで進入可能であり、非歩道領域Bへ進入できることを知ることができる。   Further, for example, when the determination result information indicates that the range that the vehicle V can cross is the first partial area C1 and the second partial area C2, the vehicle control device 130 generates an image indicating that. A control signal to the effect is output to the display device. The display device generates an image indicating that it is possible to enter the first partial area C1 and the second partial area C2 based on the control signal, and outputs the image to a predetermined display medium. Thereby, the occupant of the vehicle can know that the vehicle can enter the second partial area C2 and can enter the non-pedestrian area B.

なお、上記表示機器の制御の説明では、画像の出力を例に挙げたが、これに限定されず、車両の乗員が判定結果情報の内容を識別可能な手段(例えば、音声の出力、座席の振動等)が用いられてもよい。   In the above description of the control of the display device, the output of an image has been described as an example. However, the present invention is not limited to this. For example, the occupant of the vehicle can identify the contents of the determination result information (for example, output of sound, Vibration or the like may be used.

また、上述した判定装置120における動作は、自動運転の実行時またはマニュアル運転の実行時のいずれにおいても有効である。   Further, the operation of the determination device 120 described above is effective at the time of executing either the automatic operation or the manual operation.

以上、運転支援システム100および判定装置120の構成について説明した。   The configuration of the driving support system 100 and the determination device 120 has been described above.

次に、図3を用いて、判定装置120における判定処理について説明する。図3は、判定装置120における判定処理の流れを示すフロー図である。本フローは、例えば、非歩道領域Aに存在する車両Vが、歩道領域Cを横断して、非歩道領域Bへ進入しようとする際に実施される。   Next, a determination process in the determination device 120 will be described with reference to FIG. FIG. 3 is a flowchart illustrating the flow of the determination process in the determination device 120. This flow is performed, for example, when the vehicle V existing in the non-pedestrian area A crosses the sidewalk area C and enters the non-pedestrian area B.

まず、入力部121は、認識装置110から、歩道領域情報、非歩道領域情報、および対象物情報を受け取る(ステップS101)。そして、入力部121は、受け取ったそれらの情報を制御部122へ出力する。   First, the input unit 121 receives sidewalk area information, non-sidewalk area information, and target object information from the recognition device 110 (Step S101). Then, the input unit 121 outputs the received information to the control unit 122.

次に、制御部122は、入力部121から受け取った歩道領域情報および非歩道領域情報に基づいて、歩道領域をN(Nは2以上の整数)分割し、第1〜第Nの部分領域を認識する(ステップS102)。分割対象となる歩道領域は、車両の存在位置と、非歩道領域(車両の存在位置を含む非歩道領域とは異なる領域)との間にある。第1の部分領域は、車両の存在位置に最も近い領域であり、第Nの部分領域は、非歩道領域(車両の存在位置を含む非歩道領域とは異なる領域)に面する領域である。   Next, the control unit 122 divides the sidewalk area into N (N is an integer of 2 or more) based on the sidewalk area information and the non-sidewalk area information received from the input unit 121, and divides the first to Nth partial areas. Recognize (step S102). The sidewalk area to be divided is between the position where the vehicle exists and the non-sidewalk area (an area different from the non-sidewalk area including the position where the vehicle exists). The first partial area is an area closest to the location of the vehicle, and the Nth partial area is an area facing a non-pedestrian area (an area different from the non-pedestrian area including the location of the vehicle).

次に、制御部122は、対象物の有無の判定対象となる部分領域を表す値nを、1に設定する(ステップS103)。   Next, the control unit 122 sets a value n representing a partial area to be determined as to the presence or absence of the target object to 1 (step S103).

次に、制御部122は、第nの部分領域に対象物が存在するか否かを判定する(ステップS104)。   Next, the control unit 122 determines whether an object exists in the n-th partial area (Step S104).

第nの部分領域に対象物が存在しない場合(ステップS104:NO)、制御部122は、nをインクリメントし(ステップS105)、再びステップS104の判定を行う。   When the target object does not exist in the n-th partial area (step S104: NO), the control unit 122 increments n (step S105), and performs the determination in step S104 again.

一方、第nの部分領域に対象物が存在する場合(ステップS104:YES)、制御部122は、nが1であるか否かを判定する(ステップS106)。   On the other hand, when the target object exists in the n-th partial area (Step S104: YES), the control unit 122 determines whether n is 1 (Step S106).

nが1である場合(ステップS106:YES)、制御部122は、車両は第1の部分領域を横断できないと判定する(ステップS107)。   When n is 1 (step S106: YES), the control unit 122 determines that the vehicle cannot cross the first partial area (step S107).

nが1ではない場合(ステップS106:NO)、制御部122は、車両は第n−1の部分領域まで横断できると判定する(ステップS108)。   If n is not 1 (step S106: NO), the control unit 122 determines that the vehicle can cross the n-1st partial area (step S108).

次に、制御部122は、判定結果情報を車両制御装置130へ出力する(ステップS109)。   Next, the control unit 122 outputs the determination result information to the vehicle control device 130 (Step S109).

以上、判定装置120における判定処理について説明した。   The determination process in the determination device 120 has been described above.

本発明の実施の形態によれば、歩道領域を、車両に最も近い第1の部分領域と非歩道領域に面する第2の部分領域とを少なくとも含む複数の部分領域に分割して認識し、対象物の情報に基づいて、複数の部分領域のうち、車両が横断できる範囲を判定する。これにより、車両が歩道を横断して車道へ進行する際に、安全に歩道を横断することができる。   According to the embodiment of the present invention, the sidewalk region is recognized by being divided into a plurality of partial regions including at least a first partial region closest to the vehicle and a second partial region facing the non-sidewalk region, Based on the information on the target, a range that the vehicle can cross among the plurality of partial areas is determined. Accordingly, when the vehicle crosses the sidewalk and proceeds to the road, the vehicle can safely cross the sidewalk.

なお、本発明は上記実施の形態に限定されるものではなく、種々の変形が可能である。以下、各変形例について説明する。   Note that the present invention is not limited to the above embodiment, and various modifications are possible. Hereinafter, each modified example will be described.

(変形例1)
実施の形態では、歩道領域が2つの部分領域に分割される場合を例に挙げて説明したが、3つ以上の部分領域に分割されてもよい。例えば、図4に示すように、歩道領域Cは、第1の部分領域C1、第2の部分領域C2、第3の部分領域C3に分割されてもよい。この場合、第3の部分領域C3が非歩道領域Bに面する。
(Modification 1)
In the embodiment, the case where the sidewalk area is divided into two partial areas has been described as an example. However, the sidewalk area may be divided into three or more partial areas. For example, as shown in FIG. 4, the sidewalk area C may be divided into a first partial area C1, a second partial area C2, and a third partial area C3. In this case, the third partial area C3 faces the non-pedestrian area B.

また、これらの部分領域の形状および大きさは、同一でなくてもよい。例えば、図5または図6に示すように、第1の部分領域C1、第2の部分領域C2、および第3の部分領域C3の形状および大きさは、異なってもよい。   Further, the shapes and sizes of these partial regions may not be the same. For example, as shown in FIG. 5 or FIG. 6, the shapes and sizes of the first partial region C1, the second partial region C2, and the third partial region C3 may be different.

(変形例2)
実施の形態では、歩道領域および非歩道領域が認識装置110により認識され、その認識結果としての歩道領域情報および非歩道領域情報が認識装置110から入力部121へ出力される場合を例に挙げて説明したが、これに限定されない。
(Modification 2)
In the embodiment, a case where a sidewalk region and a non-sidewalk region are recognized by the recognition device 110 and sidewalk region information and non-sidewalk region information as a result of the recognition are output from the recognition device 110 to the input unit 121 will be described as an example. Although described, it is not limited to this.

例えば、図7に示すように、入力部121は、歩道領域情報および非歩道領域情報を含む地図データベースを記憶した記憶装置140から、歩道領域情報および非歩道領域情報を受け取ってもよい。   For example, as shown in FIG. 7, the input unit 121 may receive sidewalk area information and non-sidewalk area information from a storage device 140 that stores a map database including sidewalk area information and non-sidewalk area information.

なお、図7では、記憶装置140が運転支援システム100に備えられるように図示したが、記憶装置140は、運転支援システム100の外部に備えられてもよい。その場合、例えば、運転支援システム100は、その記憶装置140と無線通信を行い、歩道領域情報および非歩道領域情報を受信する。   In FIG. 7, the storage device 140 is illustrated as being provided in the driving support system 100, but the storage device 140 may be provided outside the driving support system 100. In that case, for example, the driving support system 100 performs wireless communication with the storage device 140 and receives sidewalk area information and non-sidewalk area information.

(変形例3)
実施の形態では、歩道領域の分割は1度のみ行われる場合を例に挙げて説明したが、複数回行われてもよい。この場合について、図8を用いて説明する。図8は、制御部122により車両Vが第1の部分領域C1まで横断できると判定された後、車両Vが第1の部分領域C1に進入した状態を示す図である。
(Modification 3)
In the embodiment, the case where the sidewalk region is divided only once is described as an example, but it may be performed a plurality of times. This case will be described with reference to FIG. FIG. 8 is a diagram illustrating a state where the vehicle V has entered the first partial area C1 after the control unit 122 determines that the vehicle V can cross the first partial area C1.

図8において、制御部122は、車両Vが位置する第1の部分領域C1と非歩道領域Bとの間の歩道領域(図8の例では、第2の部分領域C2)を、さらに複数の部分領域に分割する。例えば、図8に示すように、制御部122は、第2の部分領域C2を、部分領域C21と部分領域C22に分割して認識する。この場合、部分領域C21、C22の順に対象物の有無の判定が行われる。   In FIG. 8, the control unit 122 further adds a plurality of sidewalk areas (in the example of FIG. 8, the second partial area C2) between the first partial area C1 where the vehicle V is located and the non-sidewalk area B to a plurality of areas. Divide into partial areas. For example, as shown in FIG. 8, the control unit 122 recognizes the second partial area C2 by dividing it into a partial area C21 and a partial area C22. In this case, the presence or absence of the target is determined in the order of the partial areas C21 and C22.

なお、第2の部分領域C2の分割数を2としたが、分割数は3以上であってもよい。   Although the number of divisions of the second partial area C2 is set to two, the number of divisions may be three or more.

また、車両Vが進入した部分領域と非歩道領域Bとの間に複数の部分領域が設定されている場合には、複数の部分領域を1つの部分領域とみなし、その1つの部分領域をさらに分割してもよい。例えば、図4において、車両Vが第1の部分領域C1へ進入した場合、第2の部分領域C2と第3の部分領域C3を合わせて1つの部分領域とみなし、その部分領域を所定数に分割してもよい。   Further, when a plurality of partial areas are set between the partial area where the vehicle V has entered and the non-pedestrian area B, the plurality of partial areas are regarded as one partial area, and the one partial area is further defined. It may be divided. For example, in FIG. 4, when the vehicle V enters the first partial area C1, the second partial area C2 and the third partial area C3 are regarded as one partial area, and the partial area is set to a predetermined number. It may be divided.

車両Vが第1の部分領域C1に進入するまでの間に、第2の部分領域C2において対象物の位置、数が変化する場合がある。本変形例によれば、そのような場合でも、車両Vが第1の部分領域C1を横断した後で、さらに第2の部分領域C2を複数の部分領域に分割し、それらの部分領域における対象物の有無を判定するため、歩道領域Cの状況変化に応じた判定を実現できる。   Before the vehicle V enters the first partial area C1, the position and the number of the target may change in the second partial area C2. According to the present modified example, even in such a case, after the vehicle V crosses the first partial area C1, the second partial area C2 is further divided into a plurality of partial areas, and objects in those partial areas are divided. Since the presence or absence of an object is determined, a determination according to a change in the situation of the sidewalk area C can be realized.

以上、本発明の各変形例について説明した。なお、各変形例は、任意に組み合わせてもよい。   As above, each modified example of the present invention has been described. In addition, each modification may be arbitrarily combined.

実施の形態および各変形例における各部の機能は、プログラムにより実現されてもよい。その場合におけるコンピュータのハードウェア構成例を図9に示す。   The function of each unit in the embodiment and each modification may be realized by a program. FIG. 9 shows an example of a hardware configuration of a computer in that case.

図9に示すように、コンピュータ2100は、入力ボタン、タッチパッドなどの入力装置2101、ディスプレイ、スピーカなどの出力装置2102、CPU(Central Processing Unit)2103、ROM(Read Only Memory)2104、RAM(Random Access Memory)2105を備える。また、コンピュータ2100は、ハードディスク装置、SSD(Solid State Drive)などの記憶装置2106、DVD−ROM(Digital Versatile Disk Read Only Memory)、USB(Universal Serial Bus)メモリなどの記録媒体から情報を読み取る読取装置2107、ネットワークを介して通信を行う送受信装置2108を備える。上述した各部は、バス2109により接続される。   As shown in FIG. 9, a computer 2100 includes an input device 2101, such as an input button and a touchpad, an output device 2102, such as a display and a speaker, a CPU (Central Processing Unit) 2103, a ROM (Read Only Memory) 2104, and a RAM (Random). Access Memory) 2105. In addition, the computer 2100 includes a reading device that reads information from a recording device such as a hard disk device, a storage device 2106 such as an SSD (Solid State Drive), a DVD-ROM (Digital Versatile Disk Read Only Memory), and a USB (Universal Serial Bus) memory. 2107, a transmission / reception device 2108 for performing communication via a network. The above-described units are connected by a bus 2109.

そして、読取装置2107は、上記各部の機能を実現するためのプログラムを記録した記録媒体からそのプログラムを読み取り、記憶装置2106に記憶させる。あるいは、送受信装置2108が、ネットワークに接続されたサーバ装置と通信を行い、サーバ装置からダウンロードした上記各部の機能を実現するためのプログラムを記憶装置2106に記憶させる。   Then, the reading device 2107 reads the program from a recording medium that records the program for realizing the function of each unit, and stores the program in the storage device 2106. Alternatively, the transmission / reception device 2108 communicates with a server device connected to the network, and causes the storage device 2106 to store a program downloaded from the server device for realizing the function of each of the above units.

そして、CPU2103が、記憶装置2106に記憶されたプログラムをRAM2105にコピーし、そのプログラムに含まれる命令をRAM2105から順次読み出して実行することにより、上記各部の機能が実現される。また、プログラムを実行する際、RAM2105または記憶装置2106には、実施の形態および各変形例で述べた各種処理で得られた情報が記憶され、適宜利用される。   Then, the CPU 2103 copies the program stored in the storage device 2106 to the RAM 2105, and sequentially reads out and executes the instructions included in the program from the RAM 2105, thereby realizing the functions of the above-described units. When the program is executed, information obtained by the various processes described in the embodiment and the modifications is stored in the RAM 2105 or the storage device 2106, and is appropriately used.

本発明に係る判定装置、判定方法、および判定プログラムは、車両が歩道を横断する場合における車両の走行について判定する技術全般に有用である。   INDUSTRIAL APPLICABILITY The determination device, the determination method, and the determination program according to the present invention are useful for all techniques for determining the traveling of a vehicle when the vehicle crosses a sidewalk.

100 運転支援システム
110 認識装置
120 判定装置
121 入力部
122 制御部
130 車両制御装置
140 記憶装置
2100 コンピュータ
2101 入力装置
2102 出力装置
2103 CPU
2104 ROM
2105 RAM
2106 記憶装置
2107 読取装置
2108 送受信装置
2109 バス
REFERENCE SIGNS LIST 100 driving support system 110 recognition device 120 determination device 121 input unit 122 control unit 130 vehicle control device 140 storage device 2100 computer 2101 input device 2102 output device 2103 CPU
2104 ROM
2105 RAM
2106 storage device 2107 reading device 2108 transmitting / receiving device 2109 bus

Claims (7)

車両に備えられ、前記車両の挙動を判定する判定装置であって、
前記車両が存在する位置である第1領域に隣接する領域である第2領域の情報、および、前記第2領域に存在する所定の対象物の情報を受け取る入力部と、
前記第2領域の情報に基づいて、前記第2領域を、前記第1領域に隣接する第1の部分領域と前記第1の部分領域よりも前記車両から遠い第2の部分領域とを少なくとも含む複数の部分領域に分割し、前記対象物の情報に基づいて、分割された前記複数の部分領域のうち、前記車両が走行できる領域を判定する制御部と、
を備える判定装置。
A determination device that is provided in a vehicle and determines a behavior of the vehicle,
An input unit that receives information on a second area that is an area adjacent to the first area where the vehicle is located, and information on a predetermined target that is located in the second area;
Based on the information of the second area, the second area includes at least a first partial area adjacent to the first area and a second partial area farther from the vehicle than the first partial area. A control unit that divides the plurality of partial regions and determines a region in which the vehicle can travel among the plurality of divided partial regions based on the information of the target object,
A determination device comprising:
前記入力部は、
前記第1領域と前記第2領域を識別可能な認識装置から、前記第2領域の情報を受け取る、
請求項1に記載の判定装置。
The input unit includes:
Receiving information on the second area from a recognition device capable of identifying the first area and the second area;
The determination device according to claim 1.
前記入力部は、
前記第2領域の情報を含む地図データベースを記憶した記憶装置から、前記第2領域の情報を受け取る、
請求項1に記載の判定装置。
The input unit includes:
Receiving the information of the second area from a storage device storing a map database including the information of the second area;
The determination device according to claim 1.
前記制御部は、
前記第2領域の幅に応じて、前記第2領域の分割数を決定する、
請求項1から3のいずれか1項に記載の判定装置。
The control unit includes:
Determining the number of divisions of the second region according to the width of the second region;
The determination device according to claim 1.
前記制御部は、
判定した前記車両が横断できる領域まで前記車両が進んだ後、該車両が位置する部分領域以外の前記第1領域を、さらに複数の部分領域に分割し、
前記複数の部分領域のうち、前記車両が横断できる範囲を判定する、
請求項1から3のいずれか1項に記載の判定装置。
The control unit includes:
After the vehicle has advanced to an area where the determined vehicle can cross, the first area other than the partial area where the vehicle is located is further divided into a plurality of partial areas,
Of the plurality of partial areas, determine a range that the vehicle can cross,
The determination device according to claim 1.
車両の挙動を判定する判定方法であって、
前記車両が存在する位置である第1領域に隣接する領域である第2領域の情報、および、前記第2領域に存在する所定の対象物の情報を受け取る工程と、
前記第2領域の情報に基づいて、前記第2領域を、前記第1領域に隣接する第1の部分領域と前記第1の部分領域よりも前記車両から遠い第2の部分領域とを少なくとも含む複数の部分領域に分割する工程と、
前記対象物の情報に基づいて、分割された前記複数の部分領域のうち、前記車両が走行できる領域を判定する工程と、
を含む判定方法。
A determination method for determining a behavior of a vehicle,
Receiving information on a second area that is an area adjacent to a first area where the vehicle is located, and information on a predetermined target existing in the second area;
Based on the information of the second area, the second area includes at least a first partial area adjacent to the first area and a second partial area farther from the vehicle than the first partial area. Dividing into a plurality of partial regions;
Based on the information of the object, a step of determining an area in which the vehicle can travel, among the plurality of divided partial areas,
A judgment method including:
車両の挙動を判定する判定プログラムであって、
前記車両が存在する位置である第1領域に隣接する領域である第2領域の情報、および、前記第2領域に存在する所定の対象物の情報を受け取る処理と、
前記第2領域の情報に基づいて、前記第2領域を、前記第1領域に隣接する第1の部分領域と前記第1の部分領域よりも前記車両から遠い第2の部分領域とを少なくとも含む複数の部分領域に分割する処理と、
前記対象物の情報に基づいて、分割された前記複数の部分領域のうち、前記車両が走行できる領域を判定する処理と、
をコンピュータに実行させる判定プログラム。
A determination program for determining a behavior of a vehicle,
A process of receiving information on a second area that is an area adjacent to the first area where the vehicle is located, and information on a predetermined target existing in the second area;
Based on the information of the second area, the second area includes at least a first partial area adjacent to the first area and a second partial area farther from the vehicle than the first partial area. Processing to divide into a plurality of partial areas;
Based on the information of the object, a process of determining an area in which the vehicle can travel, among the plurality of divided partial areas,
Program that causes a computer to execute
JP2019173884A 2019-09-25 2019-09-25 Judgment device, judgment method, and judgment program Active JP6811405B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2019173884A JP6811405B2 (en) 2019-09-25 2019-09-25 Judgment device, judgment method, and judgment program

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2019173884A JP6811405B2 (en) 2019-09-25 2019-09-25 Judgment device, judgment method, and judgment program

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
JP2016038850A Division JP6601679B2 (en) 2016-03-01 2016-03-01 Determination device, determination method, and determination program

Publications (2)

Publication Number Publication Date
JP2020004445A true JP2020004445A (en) 2020-01-09
JP6811405B2 JP6811405B2 (en) 2021-01-13

Family

ID=69100274

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2019173884A Active JP6811405B2 (en) 2019-09-25 2019-09-25 Judgment device, judgment method, and judgment program

Country Status (1)

Country Link
JP (1) JP6811405B2 (en)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008040736A (en) * 2006-08-04 2008-02-21 Aisin Aw Co Ltd Vehicle detector and vehicle detecting method
JP2013084088A (en) * 2011-10-07 2013-05-09 Denso Corp Warning system for vehicle
JP2013164688A (en) * 2012-02-09 2013-08-22 Nissan Motor Co Ltd Vehicle driving support device and vehicle driving support method

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008040736A (en) * 2006-08-04 2008-02-21 Aisin Aw Co Ltd Vehicle detector and vehicle detecting method
JP2013084088A (en) * 2011-10-07 2013-05-09 Denso Corp Warning system for vehicle
JP2013164688A (en) * 2012-02-09 2013-08-22 Nissan Motor Co Ltd Vehicle driving support device and vehicle driving support method

Also Published As

Publication number Publication date
JP6811405B2 (en) 2021-01-13

Similar Documents

Publication Publication Date Title
JP6572847B2 (en) Automated driving system
JP6188471B2 (en) Vehicle rear side warning device, vehicle rear side warning method, and three-dimensional object detection device
US11282388B2 (en) Edge-assisted alert system
US7974780B2 (en) Route navigation systems, methods, and programs
EP2541208B1 (en) Travel guidance apparatus, travel guidance method, and computer program product
JP2017030547A (en) Automatic driving device, automatic driving support method and automatic driving support program
JP6809531B2 (en) Vehicle determination method, travel route correction method, vehicle determination device, and travel route correction device
JP5587170B2 (en) Driving support device and program
EP1780508A1 (en) Route guidance system and route guidance method
JP2016224718A (en) Driving support apparatus and driving support method
JP2007155352A (en) Route guide system and method
JP2009134429A (en) Image recognition apparatus and image recognition program
JP2011122936A (en) Vehicle travel guiding device, method and computer program
JP2006277546A (en) Information providing system and information providing method
JP2017033403A (en) Driving support apparatus
CN111189464B (en) Automatic driving device and navigation device
JP2010182148A (en) Travelling condition recording device
JP4326992B2 (en) Peripheral vehicle identification method and driving support system using the same
JP2009092586A (en) Parking lot search system and program
JP2020004445A (en) Determination device, determination method, and determination program
JP6650635B2 (en) Determination apparatus, determination method, and determination program
JP2010271272A (en) On-vehicle map display, and vehicle control system
JP5573266B2 (en) Vehicle object image recognition apparatus, vehicle object image recognition method, and computer program
JP2007122201A (en) Road shape detector for vehicle
JP6601679B2 (en) Determination device, determination method, and determination program

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20191007

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20200911

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20200915

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20201028

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20201117

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20201125

R151 Written notification of patent or utility model registration

Ref document number: 6811405

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151