JP2020042786A - 自動車画像の処理方法、自動車画像の処理装置及びコンピュータ読み取り可能な記憶媒体 - Google Patents

自動車画像の処理方法、自動車画像の処理装置及びコンピュータ読み取り可能な記憶媒体 Download PDF

Info

Publication number
JP2020042786A
JP2020042786A JP2019130315A JP2019130315A JP2020042786A JP 2020042786 A JP2020042786 A JP 2020042786A JP 2019130315 A JP2019130315 A JP 2019130315A JP 2019130315 A JP2019130315 A JP 2019130315A JP 2020042786 A JP2020042786 A JP 2020042786A
Authority
JP
Japan
Prior art keywords
image
vehicle
processed
behavior
state
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2019130315A
Other languages
English (en)
Other versions
JP7273635B2 (ja
Inventor
佳佳 陳
jia jia Chen
佳佳 陳
吉 万
Ji Wan
吉 万
添 夏
Tian Xia
添 夏
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Baidu Online Network Technology Beijing Co Ltd
Original Assignee
Baidu Online Network Technology Beijing Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Baidu Online Network Technology Beijing Co Ltd filed Critical Baidu Online Network Technology Beijing Co Ltd
Publication of JP2020042786A publication Critical patent/JP2020042786A/ja
Application granted granted Critical
Publication of JP7273635B2 publication Critical patent/JP7273635B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/02—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to ambient conditions
    • B60W40/06—Road conditions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0212—Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory
    • G05D1/0221—Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory involving a learning process
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0231—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
    • G05D1/0246—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/047—Probabilistic or stochastic networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G06V10/443—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by matching or filtering
    • G06V10/449—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters
    • G06V10/451—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters with interaction between the filter responses, e.g. cortical complex cells
    • G06V10/454—Integrating the filters into a hierarchical structure, e.g. convolutional neural networks [CNN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30244—Camera pose
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle
    • G06T2207/30256—Lane; Road marking

Abstract

【課題】その他の車両の挙動を効果的に認識する方法がないため、自動運転機器が道路状況に応じて適切な運転ストラテジーで対応することができず、自動運転の安全性と信頼性に深刻な影響を与えるという問題を解決する自動車画像の処理方法、自動車画像の処理装置及びコンピュータ読み取り可能な記憶媒体を提供する。【解決手段】本発明は、自動運転機器に設置された自動車画像の収集点が収集した処理すべき画像を取得し、ディープラーニングモデルを利用して処理すべき画像を処理し、処理すべき画像における自動車の状態パラメータを出力し、状態パラメータに基づいて処理すべき画像における自動車挙動を確定する。このように自動車挙動を取得し、さらに、自動運転機器が道路状況に応じて運転ストラテジーを調整するための基礎及び根拠を提供する。【選択図】図２

Description

本発明は、自動運転技術に関し、特に自動車画像の処理方法、自動車画像の処理装置及びコンピュータ読み取り可能な記憶媒体に関する。
科学技術の発展及び社会の進歩に伴い、自動運転技術は交通分野でトレンドとなっている。自動運転機器には、複数の運転ストラテジーが予め設定されており、自動運転機器が現在の道路状況に基づいて現在の道路状況に応じた運転ストラテジーを確定し、自動運転タスクを実行することができる。上記過程において、自動運転機器がどのように様々な道路状況を正確に認識するかは研究の焦点となっている。
道路状況を認識するために、自動運転機器は所在環境におけるその他の車両の挙動を把握する必要がある。しかしながら、従来技術では、その他の車両の挙動を効果的に認識できる方法がないため、自動運転機器が道路状況に応じて適切な運転ストラテジーで対応することができず、自動運転の安全性と信頼性に深刻な影響を与えることを引き起こす。
上記従来技術では、その他の車両の挙動を効果的に認識する方法がないため、自動運転機器が道路状況に応じて適切な運転ストラテジーで対応することができず、自動運転の安全性と信頼性に深刻な影響を与える。この問題に対して、本発明は、自動車画像の処理方法、自動車画像の処理装置及びコンピュータ読み取り可能な記憶媒体を提供する。
本発明の一態様にて提供される自動車画像の処理方法は、自動車画像を含む処理すべき画像を取得することと、ディープラーニングモデルを利用して前記処理すべき画像を処理し、前記処理すべき画像における自動車の状態パラメータを出力することと、前記状態パラメータに基づいて前記処理すべき画像における自動車挙動を確定することとを含む。
１つの選択可能な実施形態においては、前記ディープラーニングモデルを利用して前記処理すべき画像を処理し、処理すべき画像における自動車の状態パラメータを出力することは、自動車の前記処理すべき画像における位置を確定することと、確定した前記位置に基づいて前記処理すべき画像の目標領域画像を取得することと、ディープラーニングモデルを利用して前記目標領域画像を処理し、前記目標領域画像における自動車の状態パラメータを出力することを含む。
１つの選択可能な実施形態においては、前記ディープラーニングモデルの出力した前記処理すべき画像における自動車の状態パラメータは、ブレーキランプ状態、方向指示ランプ状態、カードア状態、トランクドア状態、車輪向き状態のうちの１つ又は複数を示すために用いられる。
１つの選択可能な実施形態においては、前記ディープラーニングモデルの出力した前記処理すべき画像における自動車の状態パラメータはさらに、自動車の測定サイズ、及び／又は、自動車と自動車画像を収集する収集点との距離を含む。
１つの選択可能な実施形態においては、前記状態パラメータに基づいて確定された自動車挙動は、ブレーキ挙動、走行挙動、転舵挙動及び駐車挙動のうちの１つを含む。
１つの選択可能な実施形態においては、前記状態パラメータに基づいて前記処理すべき画像における自動車挙動を確定した後、さらに、前記自動運転機器が前記自動車挙動に基づいて自動運転ストラテジーを調整するように、取得した前記処理すべき画像における自動車挙動を自動運転機器に送信することを含む。
本発明の別の態様にて提供される自動車画像の処理装置は、自動運転機器に設置された自動車画像の収集点が収集した処理すべき画像を取得するために用いられる通信ユニットと、ディープラーニングモデルを利用して前記処理すべき画像を処理し、前記処理すべき画像における自動車の状態パラメータを出力するために用いられ、さらに、前記状態パラメータに基づいて前記処理すべき画像における自動車挙動を確定するために用いられる処理ユニットとを含む。
１つの選択可能な実施形態においては、前記処理ユニットは、具体的には、自動車の前記処理すべき画像における位置を確定することと、確定した前記位置に基づいて前記処理すべき画像の目標領域画像を取得することと、ディープラーニングモデルを利用して前記目標領域画像を処理し、前記目標領域画像における自動車の状態パラメータを出力することとに用いられる。
１つの選択可能な実施形態においては、前記ディープラーニングモデルの出力した前記処理すべき画像における自動車の状態パラメータは、ブレーキランプ状態、方向指示ランプ状態、カードア状態、トランクドア状態、車輪向き状態のうちの１つ又は複数を示すために用いられる。
１つの選択可能な実施形態においては、前記ディープラーニングモデルの出力した前記処理すべき画像における自動車の状態パラメータはさらに、自動車の測定サイズ、及び／又は、自動車と自動車画像を収集する収集点との距離を含む。
１つの選択可能な実施形態においては、前記状態パラメータに基づいて確定された自動車挙動は、ブレーキ挙動、走行挙動、転舵挙動及び駐車挙動のうちの１つを含む。
１つの選択可能な実施形態においては、前記通信ユニットは、状態パラメータに基づいて前記処理すべき画像における自動車挙動を確定した後、さらに、前記自動運転機器が前記自動車挙動に基づいて自動運転ストラテジーを調整するように、取得した前記処理すべき画像における自動車挙動を自動運転機器に送信するために用いられる。
本発明のさらなる態様にて提供される自動車画像の処理装置は、メモリ、前記メモリに接続されたプロセッサ、及び前記メモリに記憶され且つ前記プロセッサにおいて実行可能なコンピュータプログラムを含む自動車画像の処理装置であって、前記プロセッサは、前記コンピュータプログラムを実行する時、前記いずれか１項に記載の自動車画像の処理方法を実行する。
本発明の最後の態様にて提供されるコンピュータ読み取り可能な記憶媒体は、端末において実行されると、端末に前記いずれか１項に記載の自動車画像の処理方法を実行させるプログラムを含む。
本発明による自動車画像の処理方法、自動車画像の処理装置及びコンピュータ読み取り可能な記憶媒体は、自動運転機器に設置された自動車画像の収集点が収集した処理すべき画像を取得し、ディープラーニングモデルを利用して前記処理すべき画像を処理し、前記処理すべき画像における自動車の状態パラメータを出力し、前記状態パラメータに基づいて前記処理すべき画像における自動車挙動を確定することにより、ディープラーニングモデルを利用して収集点が収集した処理すべき画像を処理することができ、自動車挙動を確定できる状態パラメータを取得し、それにより、自動車挙動を取得し、さらに、自動運転機器が道路状況に応じて運転ストラテジーを調整するための基礎及び根拠を提供する。
図面には、本開示の明確な実施例が示されており、より詳細なものについては、後で説明する。これらの図面及び文字による説明は、何らかの形態によって本開示の趣旨の範囲を制限するものではなく、特定の実施例を参照しながら、当業者のために本開示の概念を説明するものである。ここでの図面は明細書に組み込まれて本明細書の一部となり、本開示に該当する実施例を示し、且つ明細書と共に本開示の原理を解釈するために用いられる。
本発明に係るネットワークアーキテクチャを示す模式図である。 本発明の実施例１による自動車画像の処理方法を示すフロー模式図である。 本発明の実施例２による自動車画像の処理方法を示すフロー模式図である。 本発明の実施例３による自動車画像の処理装置を示す構造模式図である。 本発明の実施例４による自動車画像の処理装置のハードウェア構造を示す模式図である。
本発明の実施例の目的、技術的解決手段及び利点をより明確にするために、以下、本発明の実施例における図面を参照しながら、本発明の実施例における技術的解決手段を明確に説明する。
科学技術の発展及び社会の進歩に伴い、自動運転技術は交通分野でトレンドとなっている。自動運転機器は、複数の運転ストラテジーが予め設定されており、自動運転機器は現在の道路状況に基づいて現在の道路状況に応じた運転ストラテジーを確定し、自動運転タスクを実行することができる。上記過程において、自動運転機器がどのように様々な道路状況を正確に認識するかは研究の焦点となっている。
道路状況を認識するために、自動運転機器は所在環境におけるその他の車両の挙動を把握する必要がある。しかしながら、従来技術では、その他の車両の挙動を効果的に認識できる方法がないため、自動運転機器が道路状況に応じて正確な運転ストラテジーで対応することができず、自動運転の安全性と信頼性に深刻な影響を与えることを引き起こす。
図１は本発明に係るネットワークアーキテクチャを示す模式図であり、図１に示すように、本発明による自動車画像の処理方法の実行主体は、具体的には、自動車画像の処理装置１であってもよく、自動車画像の処理装置１が含まれるネットワークアーキテクチャはさらに、自動運転機器２及び自動運転機器に設置された収集点３を含む。ここで、自動車画像の処理装置１はハードウェア及び／又はソフトウェアの形態で実現されてもよい。自動車画像の処理装置１は、無線ローカルエリアネットワークによって自動運転機器２及び収集点３と通信接続されたり、データ交換を行ったりすることができる。また、自動車画像の処理装置１は自動運転機器２に設置されてもよく、遠端サーバに設置されてもよい。収集点３は、ドライブレコーダ、スマートフォン、車載画像監視装置などを含むが、これらに制限されない。
図２は本発明の実施例１による自動車画像の処理方法を示すフロー模式図である。
図２に示すように、自動車画像の処理方法は、自動運転機器に設置された自動車画像の収集点が収集した処理すべき画像を含むものを取得するステップ１０１と、ディープラーニングモデルを利用して処理すべき画像を処理し、処理すべき画像における自動車の状態パラメータを出力するステップ１０２と、状態パラメータに基づいて処理すべき画像における自動車挙動を確定するステップ１０３とを含む。
従来技術においてはその他の車両の挙動を効果的に認識できる方法がないため、自動運転機器が道路状況に応じて正確な運転ストラテジーで対応することができず、自動運転の安全性と信頼性に深刻な影響を与えるという上記問題を解決するために、本発明の実施例１は、自動車画像の処理方法を提供する。まず、自動車画像の処理装置は、自動運転機器に設置された収集点から送信された処理すべき画像を受信してもよく、ここで、処理すべき画像は、具体的には、自動車の外形又は自動車の輪郭などの自動車画像情報を含む画像であってもよい。
続いて、自動車画像の処理装置は、ディープラーニングモデルを利用して処理すべき画像を処理し、処理すべき画像における自動車の状態パラメータを出力する。なお、処理すべき画像に複数の自動車が含まれる場合、出力した処理すべき画像の自動車の状態パラメータも対応する自動車の各々の状態パラメータである。また、ディープラーニングモデルは、ディープビリーフネットワークモデル、畳み込みニューラルネットワークモデル、回帰型ニューラルネットワークモデルを含むが、これらに制限されず、本実施例による自動車画像の処理を実行する前に、また、画像における自動車の状態パラメータを認識し、且つ出力するためのディープラーニングネットワークアーキテクチャを予め構築でき、大量のトレーニング画像を収集し、且つマークするという方式によってトレーニングサンプルを取得し、構築されたディープラーニングネットワークアーキテクチャに学習及びトレーニングさせ、さらに、本実施形態が基づくディープラーニングモデルを取得させてもよい。
最後に、自動車画像の処理装置は、状態パラメータに基づいて処理すべき画像における自動車挙動を確定する。具体的には、状態パラメータに基づいて確定された自動車挙動は、ブレーキ挙動、走行挙動、転舵挙動及び駐車挙動のうちの１つを含む。
選択的に、本実施形態において、ディープラーニングモデルの出力した処理すべき画像における自動車の状態パラメータは、ブレーキランプ状態、方向指示ランプ状態、カードア状態、トランクドア状態、車輪向き状態のうちの１つ又は複数を示すために用いられる。
ここで、ブレーキランプ状態及び方向指示ランプ状態は、ブレーキランプ及び方向指示ランプがオンであるかオフであるかを示すために用いられ、ここで、方向指示ランプ状態はさらに、左方向指示ランプ状態と右方向指示ランプ状態に分けられてもよい。カードア状態及びトランクドア状態は、カードア及びトランクドアが開いたか閉じたかを示すために用いられる。ここで、カードア状態はさらに、左側フロントカードア状態、左側リアカードア状態、右側フロントカードア状態、右側リアカードア状態に分けられてもよく、当然のことながら、車種によって、カードア状態はさらに、左側カードア状態と右側カードア状態に分けられてもよい。車輪向き状態は、車輪の向きを示すために用いられ、一般には、それは転舵輪、即ち前輪の向きを示す。上記状態パラメータを出力することによって、自動車のブレーキ挙動、走行挙動、転舵挙動及び駐車挙動を確定するための判断根拠を効果的に提供できる。
さらに、例えば、ディープラーニングモデルの出力したブレーキランプ状態はオンであるとすると、自動車にブレーキ挙動が存在すると確定できる。ディープラーニングモデルの出力したカードア状態及び／又はトランクドア状態は開くと、自動車に駐車挙動が存在すると確定できる。ディープラーニングモデルの出力した車輪向き状態は前車輪と後車輪の向きが一致しないことを示すと、該自動車に転舵挙動が存在すると確定できる。当然のことながら、ディープラーニングモデルがその他の自動車状態を出力すると、当該自動車が正常な走行挙動を行っている可能性がある。
より好ましくは、ディープラーニングモデルの出力した処理すべき画像における自動車の状態パラメータはさらに、自動車の測定サイズ、及び／又は、自動車と自動車画像を収集する収集点との距離を含む。
具体的には、自動車挙動をよりよく確定するために、ディープラーニングモデルの出力した状態パラメータはさらに、自動車の測定サイズ、及び、自動車と収集点との距離を含んでもよい。この２つの挙動パラメータによって、確定された自動車の挙動をより正確にする。例えば、取得した自動車と自動車画像を収集する収集点との距離の値が小さい場合、当該自動車にブレーキ挙動又は駐車挙動が存在する可能性があると確定できる。
本発明の実施例１による自動車画像の処理方法は、自動運転機器に設置された自動車画像の収集点が収集した処理すべき画像を取得し、ディープラーニングモデルを利用して処理すべき画像を処理し、処理すべき画像における自動車の状態パラメータを出力し、状態パラメータに基づいて処理すべき画像における自動車挙動を確定することにより、ディープラーニングモデルを利用して収集点が収集した処理すべき画像を処理することができ、自動車挙動を確定できる状態パラメータを取得し、それにより、自動車挙動を取得し、さらに、自動運転機器が道路状況に応じて運転ストラテジーを調整するために基礎及び根拠を提供する。
実施例１を基礎として、図３は、本発明の実施例２による自動車画像の処理方法を示すフロー模式図である。
図３に示すように、自動車画像の処理方法は、自動運転機器に設置された自動車画像の収集点が収集した処理すべき画像を含むものを取得するステップ２０１と、自動車の処理すべき画像における位置を確定するステップ２０２と、当該確定した位置に基づいて処理すべき画像の目標領域画像を取得するステップ２０３と、ディープラーニングモデルを利用して目標領域画像を処理し、目標領域画像における自動車の状態パラメータを出力するステップ２０４と、状態パラメータに基づいて処理すべき画像における自動車挙動を確定するステップ２０５とを含む。
実施例１と同様に、本実施例２において、自動車画像の処理装置は、自動運転機器に設置された収集点から送信された処理すべき画像を受信することができ、ここで、処理すべき画像は、具体的には、自動車の外形又は自動車の輪郭などの自動車画像情報を含む画像であってもよい。
実施例１と異なり、本実施例２においては、自動車画像の処理装置は、ディープラーニングモデルを利用して処理すべき画像を処理し、処理すべき画像における自動車の状態パラメータを出力する。具体的には、以下のステップを採用できる。
まず、自動車の処理すべき画像における位置を確定し、具体的には、自動車の外形又は自動車の輪郭を認識することにより、自動車の処理すべき画像における位置を確定できる。続いて、確定した位置に基づいて処理すべき画像の目標領域画像を取得し、つまり、位置を取得した後、その位置に基づいて矩形領域を目標領域画像として割り出し、その目標領域画像に自動車の全ての情報を含ませるように、矩形領域の境界が自動車の輪郭又は自動車の外形に接してもよい。当然のことながら、なお、処理すべき画像に複数の自動車が含まれる場合、同一処理すべき画像について複数の目標領域画像を得ることができ、各目標領域画像は１つの自動車に対応している。さらに、ディープラーニングモデルを利用して各々の目標領域画像を処理し、目標領域画像における自動車の状態パラメータを出力する。また、ディープラーニングモデルは、ディープビリーフネットワークモデル、畳み込みニューラルネットワークモデル、回帰型ニューラルネットワークモデルを含むが、これらに制限されない。本実施例による自動車画像の処理を実行する前に、さらに、画像における自動車の状態パラメータを認識し、且つ出力するためのディープラーニングネットワークアーキテクチャを予め構築でき、大量のトレーニング画像を収集し、且つマークするという方式によってトレーニングサンプルを取得し、構築されたディープラーニングネットワークアーキテクチャに学習及びトレーニングさせ、さらに、本実施形態が基づくディープラーニングモデルを取得させてもよい。
最後に、自動車画像の処理装置は、状態パラメータに基づいて処理すべき画像における自動車挙動を確定する。具体的には、状態パラメータに基づいて確定された自動車挙動は、ブレーキ挙動、走行挙動、転舵挙動及び駐車挙動のうちの１つを含む。
また、１つの選択可能な実施形態においては、状態パラメータに基づいて処理すべき画像における自動車挙動を確定した後、さらに、自動運転機器が自動車挙動に基づいて自動運転ストラテジーを調整するように、取得した処理すべき画像における自動車挙動を自動運転機器に送信することを含む。例えば、自動車の自動車挙動がブレーキ挙動であると確定した場合、走行時の危険を避けるように、自動運転機器はブレーキ又は迂回などのドライブ挙動を取るべきであり、自動車の自動車挙動が駐車挙動であると確定した場合、自動車内の乗車者の横からの飛び出しによる交通安全上のリスクを避けるように、自動運転機器は迂回などのドライブ挙動を取るべきである。
好ましくは、本実施形態において、ディープラーニングモデルの出力した処理すべき画像における自動車の状態パラメータは、ブレーキランプ状態、方向指示ランプ状態、カードア状態、トランクドア状態、車輪向き状態のうちの１つ又は複数を示すために用いられる。
ここで、ブレーキランプ状態及び方向指示ランプ状態は、ブレーキランプ及び方向指示ランプがオンであるかオフであるかを示すために用いられ、ここで、方向指示ランプ状態はさらに、左方向指示ランプ状態と右方向指示ランプ状態に分けられてもよい。カードア状態及びトランクドア状態は、カードア及びトランクドアが開いたか閉じたかを示すために用いられる。ここで、カードア状態はさらに、左側フロントカードア状態、左側リアカードア状態、右側フロントカードア状態、右側リアカードア状態に分けられてもよく、当然のことながら、車種によって、カードア状態はさらに、左側カードア状態と右側カードア状態に分けられてもよい。車輪指示状態は、車輪の向きを示すために用いられ、一般には、それは転舵輪、即ち前輪の向きを示す。上記状態パラメータを出力することによって、自動車のブレーキ挙動、走行挙動、転舵挙動及び駐車挙動を確定するための判断根拠を効果的に提供できる。
さらに、例えば、ディープラーニングモデルの出力したブレーキランプ状態はオンであると、当該自動車にブレーキ挙動が存在すると確定できる。ディープラーニングモデルの出力したカードア状態及び／又はトランクドア状態が「開」であれば、当該自動車に駐車挙動が存在すると確定できる。ディープラーニングモデルの出力した車輪向き状態は前車輪と後車輪の向きが一致しないことを示すと、当該自動車に転舵挙動が存在すると確定できる。当然のことながら、ディープラーニングモデルがその他の自動車状態を出力すると、当該自動車は正常な走行挙動を行っている可能性がある。
より好ましくは、ディープラーニングモデルの出力した処理すべき画像における自動車の状態パラメータはさらに、自動車の測定サイズ、及び／又は、自動車と自動車画像を収集する収集点との距離を含む。
具体的には、自動車挙動をよりよく確定するために、ディープラーニングモデルの出力した状態パラメータはさらに、自動車の測定サイズ、及び、自動車と収集点との距離を含んでもよい。この２つの挙動パラメータによって、確定された自動車の挙動をより正確にする。例えば、取得した自動車と自動車画像を収集する収集点との距離の値が小さい場合、当該自動車にブレーキ挙動又は駐車挙動が存在する可能性があると確定できる。
本発明の実施例２による自動車画像の処理方法は、自動運転機器に設置された自動車画像の収集点が収集した処理すべき画像を取得し、ディープラーニングモデルを利用して処理すべき画像を処理し、処理すべき画像における自動車の状態パラメータを出力し、状態パラメータに基づいて処理すべき画像における自動車挙動を確定することにより、ディープラーニングモデルを利用して収集点が収集した処理すべき画像を処理することができ、自動車挙動を確定できる状態パラメータを取得し、それにより、自動車挙動を取得し、さらに、自動運転機器が道路状況に応じて運転ストラテジーを調整するために基礎及び根拠を提供する。
図４は、本発明の実施例３による自動車画像の処理装置を示す構造模式図であり、図４に示すように、自動車画像の処理装置は、自動運転機器に設置された自動車画像の収集点が収集した処理すべき画像を含むものを取得するために用いられる通信ユニット１０と、ディープラーニングモデルを利用して処理すべき画像を処理し、処理すべき画像における自動車の状態パラメータを出力するために用いられ、さらに、状態パラメータに基づいて処理すべき画像における自動車挙動を確定するために用いられる処理ユニット２０とを含む。
１つの選択可能な実施形態においては、処理ユニット２０は、具体的には、自動車の処理すべき画像における位置を確定することと、確定した位置に基づいて処理すべき画像の目標領域画像を取得すること、ディープラーニングモデルを利用して目標領域画像を処理し、目標領域画像における自動車の状態パラメータを出力することに用いられる。
１つの選択可能な実施形態においては、ディープラーニングモデルの出力した処理すべき画像における自動車の状態パラメータは、ブレーキランプ状態、方向指示ランプ状態、カードア状態、トランクドア状態、車輪向き状態のうちの１つ又は複数を示すために用いられる。
１つの選択可能な実施形態においては、ディープラーニングモデルの出力した処理すべき画像における自動車の状態パラメータはさらに、自動車の測定サイズ、及び／又は、自動車と自動車画像を収集する収集点との距離を含む。
１つの選択可能な実施形態においては、状態パラメータに基づいて確定された自動車挙動は、ブレーキ挙動、走行挙動、転舵挙動及び駐車挙動のうちの１つを含む。
１つの選択可能な実施形態においては、通信ユニット１０は、状態パラメータに基づいて処理すべき画像における自動車挙動を確定した後、さらに、自動運転機器が自動車挙動に基づいて自動運転ストラテジーを調整するように、取得した処理すべき画像における自動車挙動を自動運転機器に送信するために用いられる。
当業者であれば、上記説明したシステムの具体的な作動過程及び対応する有益な効果については、前述方法の実施例における対応過程を参照すればよいことが当然理解されるものであり、説明を便利、且つ簡潔にするために、ここでの説明を省略する。
本発明の実施例３による自動車画像の処理装置は、自動運転機器に設置された自動車画像の収集点が収集した処理すべき画像を含むものを取得し、ディープラーニングモデルを利用して処理すべき画像を処理し、処理すべき画像における自動車の状態パラメータを出力し、状態パラメータに基づいて処理すべき画像における自動車挙動を確定することにより、ディープラーニングモデルを利用して収集点が収集した処理すべき画像を処理することができ、自動車挙動を確定できる状態パラメータを取得し、それにより、自動車挙動を取得し、さらに、自動運転機器が道路状況に応じて運転ストラテジーを調整するための基礎及び根拠を提供する。
図５は、本発明の実施例４による自動車画像の処理装置のハードウェア構造を示す模式図である。図５に示すように、該自動車画像の処理装置は、メモリ４１、プロセッサ４２、及びメモリ４１に記憶され、且つプロセッサ４２において実行可能なコンピュータプログラムを備え、プロセッサ４２は、コンピュータプログラムを実行すると、上記いずれかの実施例の自動車画像の処理方法を実行する。
本発明はさらに、端末において実行される時、端末に上記いずれかの実施例の自動車画像の処理方法を実行させるプログラムを含むコンピュータ読み取り可能な記憶媒体を提供する。
当業者であれば、上記各方法の実施例を実現する全て又は一部のステップがプログラム命令に関連するハードウェアによって完成されてもよいことは、当然理解されるものである。プログラムはコンピュータ読み取り可能な記憶媒体に記憶されてもよい。プログラムが実行されると、上記各方法の実施例を含むステップが実行される。記憶媒体には、例えばＲＯＭ、ＲＡＭ、磁気ディスク又は光ディスクなどが挙げられ、プログラムコードを記憶できる様々な媒体を含む。
最後に、以上の実施例は、本発明の技術的解決手段を説明するためのものであって、これを制限するものではない。各実施例を参照しながら、本発明を詳細に説明したが、当業者であれば、各実施例に記載の技術的解決手段に対する修正や、その一部又は全ての技術特徴に対する同等置換が可能であるが、これらの修正や、置換が対応する技術的解決手段の趣旨を本発明の各実施例の技術的解決手段の範囲から逸脱させないことは、当然理解されるものである。

Claims (14)

  1. 自動運転機器に設置された自動車画像の収集点が収集した処理すべき画像を取得することと、
    ディープラーニングモデルを利用して前記処理すべき画像を処理し、前記処理すべき画像における自動車の状態パラメータを出力することと、
    前記状態パラメータに基づいて前記処理すべき画像における自動車挙動を確定することとを含むことを特徴とする自動車画像の処理方法。
  2. 前記ディープラーニングモデルを利用して前記処理すべき画像を処理し、前記処理すべき画像における自動車の状態パラメータを出力することは、
    自動車の前記処理すべき画像における位置を確定することと、
    確定した前記位置に基づいて前記処理すべき画像の目標領域画像を取得することと、
    ディープラーニングモデルを利用して前記目標領域画像を処理し、前記目標領域画像における自動車の状態パラメータを出力することとを含むことを特徴とする請求項１に記載の自動車画像の処理方法。
  3. 前記ディープラーニングモデルの出力した前記処理すべき画像における自動車の状態パラメータは、ブレーキランプ状態、方向指示ランプ状態、カードア状態、トランクドア状態、車輪向き状態のうちの１つ又は複数を示すために用いられることを特徴とする請求項１に記載の自動車画像の処理方法。
  4. 前記ディープラーニングモデルの出力した前記処理すべき画像における自動車の状態パラメータはさらに、自動車の測定サイズ、及び／又は、自動車と自動車画像を収集する収集点との間の距離を含むことを特徴とする請求項３に記載の自動車画像の処理方法。
  5. 前記状態パラメータに基づいて確定された自動車挙動は、ブレーキ挙動、走行挙動、転舵挙動及び駐車挙動のうちの１つを含むことを特徴とする請求項１に記載の自動車画像の処理方法。
  6. 前記状態パラメータに基づいて前記処理すべき画像における自動車挙動を確定した後、 前記自動運転機器が前記自動車挙動に基づいて自動運転ストラテジーを調整するように、取得した前記処理すべき画像における自動車挙動を前記自動運転機器に送信することをさらに含むことを特徴とする請求項１〜５のいずれか１項に記載の自動車画像の処理方法。
  7. 自動運転機器に設置された自動車画像の収集点が収集した処理すべき画像を取得するために用いられる通信ユニットと、
    ディープラーニングモデルを利用して前記処理すべき画像を処理し、前記処理すべき画像における自動車の状態パラメータを出力するために用いられ、さらに、前記状態パラメータに基づいて前記処理すべき画像における自動車挙動を確定するために用いられる処理ユニットとを含むことを特徴とする自動車画像の処理装置。
  8. 前記処理ユニットは、具体的には、
    自動車の前記処理すべき画像における位置を確定することと、
    確定した前記位置に基づいて前記処理すべき画像の目標領域画像を取得することと、
    ディープラーニングモデルを利用して前記目標領域画像を処理し、前記目標領域画像における自動車の状態パラメータを出力することとに用いられることを特徴とする請求項７に記載の自動車画像の処理装置。
  9. 前記ディープラーニングモデルの出力した前記処理すべき画像における自動車の状態パラメータは、ブレーキランプ状態、方向指示ランプ状態、カードア状態、トランクドア状態、車輪向き状態のうちの１つ又は複数を示すために用いられることを特徴とする請求項７に記載の自動車画像の処理装置。
  10. 前記ディープラーニングモデルの出力した前記処理すべき画像における自動車の状態パラメータはさらに、自動車の測定サイズ、及び／又は、自動車と自動車画像を収集する収集点との距離を含むことを特徴とする請求項９に記載の自動車画像の処理装置。
  11. 前記状態パラメータに基づいて確定された自動車挙動は、ブレーキ挙動、走行挙動、転舵挙動及び駐車挙動のうちの１つを含むことを特徴とする請求項７に記載の自動車画像の処理装置。
  12. 前記通信ユニットは、状態パラメータに基づいて前記処理すべき画像における自動車挙動を確定した後、さらに、前記自動運転機器が前記自動車挙動に基づいて自動運転ストラテジーを調整するように、取得した前記処理すべき画像における自動車挙動を前記自動運転機器に送信するために用いられることを特徴とする請求項７〜１１のいずれか１項に記載の自動車画像の処理装置。
  13. メモリ、前記メモリに接続されたプロセッサ、及び前記メモリに記憶され且つ前記プロセッサにおいて実行可能なコンピュータプログラムを含む自動車画像の処理装置であって、
    前記プロセッサは、前記コンピュータプログラムを実行する時、請求項１〜６のいずれか１項に記載の自動車画像の処理方法を実行することを特徴とする自動車画像の処理装置。
  14. コンピュータ読み取り可能な記憶媒体であって、端末において実行される時、端末に請求項１〜６のいずれか１項に記載の自動車画像の処理方法を実行させるプログラムを含むことを特徴とするコンピュータ読み取り可能な記憶媒体。
JP2019130315A 2018-09-12 2019-07-12 自動車画像の処理方法、自動車画像の処理装置及びコンピュータ読み取り可能な記憶媒体 Active JP7273635B2 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN201811062068.7A CN109345512A (zh) 2018-09-12 2018-09-12 汽车图像的处理方法、装置及可读存储介质
CN201811062068.7 2018-09-12

Publications (2)

Publication Number Publication Date
JP2020042786A true JP2020042786A (ja) 2020-03-19
JP7273635B2 JP7273635B2 (ja) 2023-05-15

Family

ID=65304769

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2019130315A Active JP7273635B2 (ja) 2018-09-12 2019-07-12 自動車画像の処理方法、自動車画像の処理装置及びコンピュータ読み取り可能な記憶媒体

Country Status (4)

Country Link
US (1) US20190339707A1 (ja)
EP (1) EP3570214B1 (ja)
JP (1) JP7273635B2 (ja)
CN (1) CN109345512A (ja)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109886198B (zh) * 2019-02-21 2021-09-28 百度在线网络技术（北京）有限公司 一种信息处理方法、装置及存储介质
CN112307833A (zh) * 2019-07-31 2021-02-02 浙江商汤科技开发有限公司 识别智能行驶设备的行驶状态的方法及装置、设备
CN112249032B (zh) * 2020-10-29 2022-02-18 浪潮(北京)电子信息产业有限公司 一种自动驾驶决策方法、系统、设备及计算机存储介质
CN112907982B (zh) * 2021-04-09 2022-12-13 济南博观智能科技有限公司 一种车辆违停行为的检测方法、装置和介质
CN114863083A (zh) * 2022-04-06 2022-08-05 包头钢铁（集团）有限责任公司 一种车辆定位与尺寸测量的方法与系统

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20170371347A1 (en) * 2016-06-27 2017-12-28 Mobileye Vision Technologies Ltd. Controlling host vehicle based on detected door opening events

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005339234A (ja) 2004-05-27 2005-12-08 Calsonic Kansei Corp 前方車両監視装置
JP4830621B2 (ja) 2006-05-12 2011-12-07 日産自動車株式会社 合流支援装置及び合流支援方法
JP2008149786A (ja) 2006-12-14 2008-07-03 Mazda Motor Corp 車両用運転支援装置及び車両用運転支援システム
US8509982B2 (en) * 2010-10-05 2013-08-13 Google Inc. Zone driving
DE102011006564A1 (de) * 2011-03-31 2012-10-04 Robert Bosch Gmbh Verfahren zur Auswertung eines von einer Kamera eines Fahrzeugs aufgenommenen Bildes und Bildaufbereitungsvorrichtung
KR20170010645A (ko) * 2015-07-20 2017-02-01 엘지전자 주식회사 자율 주행 차량 및 이를 구비하는 자율 주행 차량 시스템
CN105711586B (zh) * 2016-01-22 2018-04-03 江苏大学 一种基于前向车辆驾驶人驾驶行为的前向避撞系统及避撞算法
JP6642886B2 (ja) 2016-03-24 2020-02-12 株式会社Ｓｕｂａｒｕ 車両の運転支援装置
US10015537B2 (en) * 2016-06-30 2018-07-03 Baidu Usa Llc System and method for providing content in autonomous vehicles based on perception dynamically determined at real-time
CN108146377A (zh) * 2016-12-02 2018-06-12 上海博泰悦臻电子设备制造有限公司 一种汽车辅助驾驶方法及系统
KR20180094725A (ko) * 2017-02-16 2018-08-24 삼성전자주식회사 자율 주행을 위한 차량 제어 방법, 차량 제어 장치 및 자율 주행을 위한 학습 방법

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20170371347A1 (en) * 2016-06-27 2017-12-28 Mobileye Vision Technologies Ltd. Controlling host vehicle based on detected door opening events

Also Published As

Publication number Publication date
EP3570214A3 (en) 2020-03-11
JP7273635B2 (ja) 2023-05-15
CN109345512A (zh) 2019-02-15
US20190339707A1 (en) 2019-11-07
EP3570214A2 (en) 2019-11-20
EP3570214B1 (en) 2023-11-29

Similar Documents

Publication Publication Date Title
JP2020042786A (ja) 自動車画像の処理方法、自動車画像の処理装置及びコンピュータ読み取り可能な記憶媒体
CN107862346B (zh) 一种进行驾驶策略模型训练的方法与设备
US10183679B2 (en) Apparatus, system and method for personalized settings for driver assistance systems
WO2020107974A1 (zh) 用于无人驾驶车的避障方法和装置
JP2020032998A (ja) 車両制御方法、装置、コンピュータ機器及び記憶媒体
US20190155291A1 (en) Methods and systems for automated driving system simulation, validation, and implementation
CN111127931B (zh) 一种智能网联汽车的车路云协同方法、装置及系统
US11465650B2 (en) Model-free reinforcement learning
WO2019047646A1 (zh) 车辆避障方法和装置
CN108944939B (zh) 用于提供驾驶指导的方法和系统
CN107571864A (zh) 无人驾驶车辆的数据采集方法和装置
CN107015550B (zh) 诊断测试执行控制系统和方法
US20220089151A1 (en) Path planning in autonomous driving environments
US10913455B2 (en) Method for the improved detection of objects by a driver assistance system
US20220204020A1 (en) Toward simulation of driver behavior in driving automation
WO2018220829A1 (ja) ポリシー生成装置及び車両
CN106809214A (zh) 一种汽车追尾预警方法、装置及电子设备
US20210300396A1 (en) Systems and methods for switching between a primary driver and a secondary driver for a vehicle
WO2022245916A1 (en) Device health code broadcasting on mixed vehicle communication networks
CN115269370A (zh) 用于自动驾驶系统的路径规划系统开发的平台
US20240025394A1 (en) System for parking an autonomous vehicle
CN112396183A (zh) 自动驾驶决策的方法、装置、设备及计算机存储介质
US20220371530A1 (en) Device-level fault detection
WO2021090897A1 (ja) 情報処理装置、情報処理方法及び情報処理プログラム
US11429757B2 (en) Sensor calibration via extrinsic scanning

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20190712

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20200721

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20201020

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20201117

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210317

C60 Trial request (containing other claim documents, opposition documents)

Free format text: JAPANESE INTERMEDIATE CODE: C60

Effective date: 20210317

A911 Transfer to examiner for re-examination before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20210325

C21 Notice of transfer of a case for reconsideration by examiners before appeal proceedings

Free format text: JAPANESE INTERMEDIATE CODE: C21

Effective date: 20210330

A912 Re-examination (zenchi) completed and case transferred to appeal board

Free format text: JAPANESE INTERMEDIATE CODE: A912

Effective date: 20210416

C211 Notice of termination of reconsideration by examiners before appeal proceedings

Free format text: JAPANESE INTERMEDIATE CODE: C211

Effective date: 20210420

C22 Notice of designation (change) of administrative judge

Free format text: JAPANESE INTERMEDIATE CODE: C22

Effective date: 20211207

C13 Notice of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: C13

Effective date: 20220628

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220922

C13 Notice of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: C13

Effective date: 20221108

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230207

C23 Notice of termination of proceedings

Free format text: JAPANESE INTERMEDIATE CODE: C23

Effective date: 20230307

C03 Trial/appeal decision taken

Free format text: JAPANESE INTERMEDIATE CODE: C03

Effective date: 20230404

C30A Notification sent

Free format text: JAPANESE INTERMEDIATE CODE: C3012

Effective date: 20230404

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20230428

R150 Certificate of patent or registration of utility model

Ref document number: 7273635

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150