JP2018106667A - Information processor, information processing method and program - Google Patents
Information processor, information processing method and program Download PDFInfo
- Publication number
- JP2018106667A JP2018106667A JP2017153605A JP2017153605A JP2018106667A JP 2018106667 A JP2018106667 A JP 2018106667A JP 2017153605 A JP2017153605 A JP 2017153605A JP 2017153605 A JP2017153605 A JP 2017153605A JP 2018106667 A JP2018106667 A JP 2018106667A
- Authority
- JP
- Japan
- Prior art keywords
- information
- vehicle
- curve mirror
- risk
- unit
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Landscapes
- Control Of Driving Devices And Active Controlling Of Vehicle (AREA)
- Traffic Control Systems (AREA)
Abstract
Description
本開示は、情報処理装置、情報処理方法およびプログラムに関する。 The present disclosure relates to an information processing apparatus, an information processing method, and a program.
交差点など車両の運転者にとって見通しが悪い場所では、例えば他の車両または歩行者と接触したり衝突したりするような事故が起こりやすい。そのため、交差点などの場所で事故の発生に繋がるような危険を予測し、事故の発生を防止できる技術の開発が期待されている。 In places such as intersections where the driver of the vehicle has poor visibility, accidents such as contact with or collision with other vehicles or pedestrians are likely to occur. For this reason, it is expected to develop a technology capable of predicting a danger that may lead to the occurrence of an accident at an intersection or the like and preventing the occurrence of the accident.
例えば特許文献1には、ドライブレコーダで記録されたデータを活用することで車両をより安全に走行させる技術について開示されている。この特許文献1では、このドライブレコーダでは車両に特異な事が発生したときの走行状況を示すデータを記録する。そして、ドライブレコーダで記録したデータから把握される当該走行状況が再現されることが予測されるとき、ドライバーに注意を喚起する。このようにして、安全性を高めることができるので、車両をより安全に走行させることができる。
For example,
しかしながら、ドライブレコーダが観測したデータを直接的に活用して危険を予測する方法では、ヒヤリハットに繋がる特異な事が発生する時間的区間が短いため、当該特異な事が発生した際の走行状況を示すデータを十分に記録することが困難な場合がある。したがって、当該走行状況の再現を予測すること、ひいては事故の発生に繋がるような危険を予測することは難しい。換言すると、上記従来技術では、事故の発生に繋がるような危険を予測し、車両を制御したりドライバーに注意を喚起したりするなどの運転支援を行うことは難しい。特に、見通しが悪い場所では観測範囲が狭くなるなどの観測条件が悪化するため、ドライブレコーダが観測するデータに不足が生じやすい。 However, in the method of predicting danger by directly using the data observed by the drive recorder, the time interval in which a peculiar event that leads to a near-miss occurs is short. It may be difficult to fully record the data shown. Therefore, it is difficult to predict the reproduction of the driving situation and thus to predict a risk that may lead to the occurrence of an accident. In other words, it is difficult for the above prior art to provide driving assistance such as predicting a danger that may lead to an accident and controlling the vehicle or alerting the driver. In particular, since the observation conditions such as the observation range become narrow in a place with a poor visibility, the data observed by the drive recorder tends to be insufficient.
本開示は、上述の事情に鑑みてなされたものであり、交差点など見通しが悪い場所において、車両の安全運転を支援することができる情報処理装置等を提供することを目的とする。 The present disclosure has been made in view of the above-described circumstances, and an object thereof is to provide an information processing apparatus and the like that can support safe driving of a vehicle in a place where visibility is poor such as an intersection.
上記目的を達成するために、本開示の一態様に係る情報処理装置は、マップ情報または車両に搭載された撮像装置の撮像により得られる画像を示す画像情報を取得する取得部と、前記マップ情報または前記画像情報に基づいて前記車両周辺のカーブミラーを検出する検出部と、検出された前記カーブミラーの設置場所の特徴を前記マップ情報または前記画像情報に基づいて判定する特徴判定部と、判定された前記特徴に基づいて運転支援情報を生成する生成部と、生成された前記運転支援情報を出力する出力部と、を備える。 In order to achieve the above object, an information processing apparatus according to an aspect of the present disclosure includes map information or an acquisition unit that acquires image information indicating an image obtained by imaging of an imaging device mounted on a vehicle, and the map information Or a detection unit that detects a curve mirror around the vehicle based on the image information; and a feature determination unit that determines a feature of the detected installation location of the curve mirror based on the map information or the image information. A generation unit that generates driving support information based on the generated characteristics; and an output unit that outputs the generated driving support information.
なお、これらの全般的または具体的な態様は、システム、方法、集積回路、コンピュータプログラムまたはコンピュータで読み取り可能なCD−ROMなどの記録媒体で実現されてもよく、システム、方法、集積回路、コンピュータプログラムおよび記録媒体の任意な組み合わせで実現されてもよい。 These general or specific aspects may be realized by a system, a method, an integrated circuit, a computer program, or a computer-readable recording medium such as a CD-ROM. The system, method, integrated circuit, computer You may implement | achieve with arbitrary combinations of a program and a recording medium.
本開示によれば、交差点など見通しが悪い場所において車両の安全運転を支援することができる情報処理装置等を実現できる。 According to the present disclosure, it is possible to realize an information processing apparatus and the like that can support safe driving of a vehicle in a place where visibility is poor such as an intersection.
本開示の一形態に係る情報処理装置は、マップ情報または車両に搭載された撮像装置の撮像により得られる画像を示す画像情報を取得する取得部と、前記マップ情報または前記画像情報に基づいて前記車両周辺のカーブミラーを検出する検出部と、検出された前記カーブミラーの設置場所の特徴を前記マップ情報または前記画像情報に基づいて判定する特徴判定部と、判定された前記特徴に基づいて運転支援情報を生成する生成部と、生成された前記運転支援情報を出力する出力部と、を備える。 An information processing apparatus according to an aspect of the present disclosure includes map information or an acquisition unit that acquires image information indicating an image obtained by imaging of an imaging device mounted on a vehicle, and the map information or the image information based on the image information. A detection unit that detects a curve mirror around the vehicle, a feature determination unit that determines a feature of the detected installation location of the curve mirror based on the map information or the image information, and driving based on the determined feature A generating unit that generates support information; and an output unit that outputs the generated driving support information.
これにより、交差点など見通しが悪い場所においてカーブミラーを利用することで、車両の運転支援情報を出力することができるので、車両の安全運転を支援することができる。 Thus, by using the curve mirror in a place with a poor visibility such as an intersection, the driving support information of the vehicle can be output, so that safe driving of the vehicle can be supported.
ここで、例えば、前記検出部は、前記車両の位置と前記マップ情報が示す前記カーブミラーの設置場所とに基づいて前記カーブミラーを検出し、前記特徴判定部は、検出された前記カーブミラーの周辺の前記マップ情報に基づいて前記特徴を判定するとしてもよい。 Here, for example, the detection unit detects the curve mirror based on the position of the vehicle and the installation location of the curve mirror indicated by the map information, and the feature determination unit detects the curve mirror detected. The feature may be determined based on the map information around.
ここで、例えば、前記マップ情報は、マップ上の交通事故、渋滞、工事、路面状態および気象の少なくとも1つを示す追加マップ情報を含み、前記特徴は、前記カーブミラーの設置場所における道路の態様または前記設置場所における物体の通過の態様を含み、前記特徴判定部は、前記追加マップ情報から前記道路の態様または前記物体の通過の態様を判定し、前記生成部は、判定された前記道路の態様または前記物体の通過の態様に応じた前記運転支援情報を生成するとしてもよい。 Here, for example, the map information includes additional map information indicating at least one of a traffic accident, traffic jam, construction, road surface condition, and weather on the map, and the feature is an aspect of the road at the installation location of the curve mirror. Or the aspect of the passage of the object at the installation location, the feature determination unit determines the aspect of the road or the passage of the object from the additional map information, the generation unit of the determined road The driving support information may be generated according to a mode or a mode of passage of the object.
また、例えば、前記検出部は、前記カーブミラーの識別情報または前記カーブミラーの識別器を用いて、前記画像情報に基づいて前記カーブミラーを検出し、前記カーブミラーの周囲環境を認識し、前記特徴判定部は、前記カーブミラーの周囲環境に基づいて前記特徴を判定するとしてもよい。 Further, for example, the detection unit detects the curve mirror based on the image information using the identification information of the curve mirror or the identifier of the curve mirror, recognizes the surrounding environment of the curve mirror, and The feature determination unit may determine the feature based on an ambient environment of the curve mirror.
また、例えば、前記特徴は、前記カーブミラーの設置場所における道路の態様または前記設置場所における物体の通過の態様を含み、前記特徴判定部は、前記カーブミラーの周囲環境から前記道路の態様または前記物体の通過の態様を判定し、前記生成部は、判定された前記道路の態様または前記物体の通過の態様に応じた前記運転支援情報を生成するとしてもよい。 Further, for example, the feature includes an aspect of a road at the installation location of the curve mirror or an aspect of passage of an object at the installation location, and the feature determination unit includes the aspect of the road or the road from the surrounding environment of the curve mirror. The mode of passage of the object may be determined, and the generation unit may generate the driving support information according to the determined mode of the road or the mode of passage of the object.
また、例えば、前記生成部は、判定された前記道路の態様または前記物体の通過の態様が前記車両の安全な走行を妨げる態様である場合、前記車両を減速、停止または迂回させるための前記運転支援情報を生成するとしてもよい。 Further, for example, when the determined aspect of the road or the passage of the object is an aspect that hinders safe traveling of the vehicle, the generation unit is configured to decelerate, stop, or detour the vehicle. Support information may be generated.
また、例えば、前記特徴判定部は、さらに前記カーブミラーに映る物体に基づいて前記特徴を判定するとしてもよい。 Further, for example, the feature determination unit may further determine the feature based on an object reflected on the curve mirror.
また、例えば、前記特徴判定部は、前記カーブミラーに物体が映っていること、または前記カーブミラーに映っている物体の多寡に応じて、前記車両を減速、停止または迂回させるための前記運転支援情報を生成するとしてもよい。 Further, for example, the feature determination unit is configured to support the driving for decelerating, stopping, or detouring the vehicle according to whether an object is reflected on the curve mirror or the number of objects reflected on the curve mirror. Information may be generated.
また、例えば、前記生成部は、前記特徴から予測される危険性に応じて前記運転支援情報を生成するとしてもよい。 For example, the generation unit may generate the driving support information according to a risk predicted from the feature.
また、例えば、前記運転支援情報は、前記車両の挙動の制御指令情報を含むとしてもよい。 For example, the driving support information may include control command information on the behavior of the vehicle.
また、例えば、前記運転支援情報は、前記車両の乗員へ提示される提示情報を含むとしてもよい。 Further, for example, the driving support information may include presentation information presented to a passenger of the vehicle.
また、例えば、前記提示情報は、前記カーブミラーの設置場所における前記特徴から予測される危険性を提示する情報を含むとしてもよい。 Further, for example, the presentation information may include information that presents a risk predicted from the characteristics at the installation location of the curve mirror.
また、例えば、前記情報処理装置は、前記カーブミラーに映る物体を認識する認識部を備えるとしてもよい。 In addition, for example, the information processing apparatus may include a recognition unit that recognizes an object reflected on the curve mirror.
また、例えば、前記生成部は、前記認識部により認識された前記物体の属性に応じて前記運転支援情報を生成するとしてもよい。 For example, the generation unit may generate the driving support information according to the attribute of the object recognized by the recognition unit.
また、例えば、前記生成部は、前記認識部により認識された前記物体の属性が人物の場合、前記認識部により認識された前記物体の年齢に関する情報に応じて前記運転支援情報を変化させて生成するとしてもよい。 Further, for example, when the attribute of the object recognized by the recognition unit is a person, the generation unit generates the driving support information by changing the driving support information according to information on the age of the object recognized by the recognition unit. You may do that.
また、例えば、前記生成部は、前記認識部により認識された前記物体の属性が人物の場合、前記認識部により認識された前記物体が不注意行動をしているか否かに応じて前記運転支援情報を変化させて生成するとしてもよい。 In addition, for example, when the attribute of the object recognized by the recognition unit is a person, the generation unit performs the driving support according to whether the object recognized by the recognition unit is inadvertent It may be generated by changing information.
また、本開示の一形態に係る情報処理方法は、プロセッサを用いて、マップ情報または車両に搭載された撮像装置の撮像により得られる画像を示す画像情報を取得し、前記マップ情報または前記画像情報に基づいて前記車両周辺のカーブミラーを検出し、検出された前記カーブミラーの設置場所の特徴を前記マップ情報または前記画像情報に基づいて判定し、判定された前記特徴に基づいて運転支援情報を生成し、生成された前記運転支援情報を出力する。 In addition, the information processing method according to an aspect of the present disclosure uses a processor to acquire map information or image information indicating an image obtained by imaging of an imaging device mounted on a vehicle, and the map information or the image information. And detecting a curve mirror around the vehicle based on the map information, determining a characteristic of the detected installation location of the curve mirror based on the map information or the image information, and driving support information based on the determined characteristic. And generating the generated driving support information.
また、本開示の一形態に係るプログラムは、情報処理方法を行うコンピュータに読み取り可能なプログラムであって、マップ情報または車両に搭載された撮像装置の撮像により得られる画像を示す画像情報を取得し、前記マップ情報または前記画像情報に基づいて前記車両周辺のカーブミラーを検出し、検出された前記カーブミラーの設置場所の特徴を前記マップ情報または前記画像情報に基づいて判定し、判定された前記特徴に基づいて運転支援情報を生成し、生成された前記運転支援情報を出力する。 A program according to an embodiment of the present disclosure is a computer-readable program that performs an information processing method, and acquires map information or image information indicating an image obtained by imaging of an imaging device mounted on a vehicle. , Detecting a curve mirror around the vehicle based on the map information or the image information, determining a characteristic of the detected installation location of the curve mirror based on the map information or the image information, the determined Driving support information is generated based on the characteristics, and the generated driving support information is output.
以下、本開示の実施の形態について、図面を参照しながら説明する。 Hereinafter, embodiments of the present disclosure will be described with reference to the drawings.
以下で説明する実施の形態は、いずれも本開示の一具体例を示すものである。以下の実施の形態で示される数値、形状、構成要素、ステップ、ステップの順序などは、一例であり、本開示を限定する主旨ではない。また、以下の実施の形態における構成要素のうち、最上位概念を示す独立請求項に記載されていない構成要素については、任意の構成要素として説明される。また全ての実施の形態において、各々の内容を組み合わせることもできる。 Each of the embodiments described below shows a specific example of the present disclosure. Numerical values, shapes, components, steps, order of steps, and the like shown in the following embodiments are merely examples, and are not intended to limit the present disclosure. In addition, among the constituent elements in the following embodiments, constituent elements that are not described in the independent claims indicating the highest concept are described as optional constituent elements. In all the embodiments, the contents can be combined.
(実施の形態1)
[システム1の構成]
図1は、実施の形態1におけるシステム1の構成の一例を示すブロック図である。
(Embodiment 1)
[Configuration of system 1]
FIG. 1 is a block diagram illustrating an example of a configuration of a
図1に示すシステム1は、例えば自動車などの車両に搭載され、情報処理装置10と、画像取得部11と、検出処理部12aとを備え、当該車両の運転支援情報を出力する。これらの構成等の詳細について以下説明する。なお、画像取得部11と、検出処理部12aとは、図1に示す場合に限らず、情報処理装置10に備えられてもよい。
A
ここで、見通しの悪い場所にはカーブミラーが設置されていることが多い。例えば、カーブミラーは、見通しの悪い交差点または先の見えにくいカーブで直接見えない様子を目視できるように道路に設置される、補助的な安全確認のための凸面鏡である。そこで、情報処理装置10は、カーブミラーを利用することで当該車両のより安全な運転を支援する。なお、以下のカーブミラーは、物理的に存在する円状または矩形状の鏡を備えるが、直接見えない様子を画像により表示する円状または矩形状の電子ミラーを備えてもよい。
Here, curved mirrors are often installed in places with poor visibility. For example, the curve mirror is a convex mirror for auxiliary safety confirmation that is installed on the road so that it is possible to visually observe the situation where it cannot be directly seen at an intersection with poor visibility or a hard-to-see curve. Therefore, the
[画像取得部11]
図2は、実施の形態1における画像取得部11の機能構成の一例を示す図である。図3は、実施の形態1における画像取得部11が車両に搭載された際の様子の一例を示す図である。図4は、実施の形態1における画像取得部11が取得した画像の一例の説明図である。
[Image acquisition unit 11]
FIG. 2 is a diagram illustrating an example of a functional configuration of the
画像取得部11は、車両に搭載された撮像装置の撮像により得られる画像を示す画像情報を取得する。本実施の形態では、画像取得部11は、図2に示すように、センシング部111と画像記録部112とを備える。例えば画像取得部11は、図3に示すような車載カメラであり、車両に搭載される。
The
センシング部111は、進行中の車両の前方を時系列に連続して画像を撮影し、画像記録部112に記録する。ここで、センシング部111は、カメラ等の動画像記録装置である。なお、センシング部111は、可視光撮影を行う可視光カメラもしくは赤外光撮影を行うInGaAsカメラであってもよい。この場合、センシング部111は、昼間は、可視光で画像を撮影し、夜間は赤外光で画像を撮影すればよい。
The
画像記録部112は、HDD(Hard Disk Drive)またはメモリ等を備え、センシング部111が撮影した画像を記録する。
The
以下では、例えば図4に示す画像50のように、交差点など見通しが悪い場所において進行中の車両の前方をセンシング部111が撮影した画像にカーブミラー51が映っている場合を例に挙げて説明する。
In the following, for example, a case where the
[検出処理部12a]
検出処理部12aは、車両に搭載された撮像装置の撮像により得られる画像を示す画像情報に基づいて画像に映るカーブミラーおよびカーブミラーに映る物体を検出する。また、検出処理部12aは、カーブミラーに映る物体の属性を認識してもよい。本実施の形態では、検出処理部12aは、検出部12と認識部13とを備える。
[
The
<検出部12>
検出部12は、車両に搭載された撮像装置の撮像により得られる画像を示す画像情報に基づいて画像に映るカーブミラーを検出する。より具体的には、検出部12は、進行中の車両の前方を時系列に連続して撮影することにより得られた画像に映るカーブミラーを検出する。なお、撮像方向は車両の前方以外の方向であってもよい。例えば、車両が後方に進行する場合には、撮像方向は車両の後方であってもよい。
<
The
本実施の形態では、検出部12は、画像取得部11により取得された例えば図4に示す画像50に映るカーブミラー51を検出する。ここで、画像中のカーブミラーを検出する方法には、例えば単純な円または矩形等の検出に基づく方法または統計的画像認識に基づく方法などがある。以下、図を用いて、画像中のカーブミラーを検出する方法について説明する。
In the present embodiment, the
図5は、単純な円または矩形等の検出に基づくカーブミラーの検出の説明図である。なお、図4と同様の要素には同一の符号を付しており、詳細な説明は省略する。 FIG. 5 is an explanatory diagram of detection of a curve mirror based on detection of a simple circle or rectangle. Elements similar to those in FIG. 4 are denoted by the same reference numerals, and detailed description thereof is omitted.
まず、検出部12は、画像取得部11により取得された例えば図5に示される画像50において、エッジ検出を行う。その結果、検出部12は、画像50aに示されるように、カーブミラーの形状に対応したエッジ51aを検出する。
First, the
次に、検出部12は、エッジ検出された画像50aにおいて、エッジ類似度の探索を行う。より具体的には、検出部12は、画像50aに示すように、画像50aにおいて、円または矩形などを検出するフィルタ(ミラー形状フィルタ52)を走査させて、ミラー形状フィルタ52と類似するエッジを探索する。なお、ミラー形状フィルタ52は、カーブミラーの輪郭を検出するためのフィルタであり、例えばソーベルフィルタ、キャニーフィルタ等を用いることができる。
Next, the
そして、検出部12は、例えば類似度マップ54を作成し、類似度マップ54中の類似度が高い位置53のものをカーブミラー51として検出する。
Then, the
なお、画像取得部11により取得された画像に映る被写体の地図上の位置がわかる場合には、当該位置から推定できるカーブミラーの形状等の情報に基づいて、円または矩形などを検出するフィルタを選択して用いてもよい。
In addition, when the position on the map of the subject reflected in the image acquired by the
図6は、統計的画像認識に基づくカーブミラーの検出の説明図である。なお、図4と同様の要素には同一の符号を付しており、詳細な説明は省略する。 FIG. 6 is an explanatory diagram of detection of a curve mirror based on statistical image recognition. Elements similar to those in FIG. 4 are denoted by the same reference numerals, and detailed description thereof is omitted.
例えば、検出部12は、画像取得部11により取得された例えば図6の(a)に示される画像50において、サイズを変えた円を備えるマッチング領域52aを走査させる。
For example, the
その結果、検出部12は、図6の(b)に示されるように、画像50中の各位置とその位置でのサイズとにより当該円との類似度を示す類似度マップ54aを作成する。
As a result, as shown in FIG. 6B, the
そして、検出部12は、類似度マップ54a中の類似度が高い位置53aのものをカーブミラー51として検出する。
Then, the
なお、統計的画像認識は、図6を用いて説明した場合に限らない。検出部12は、予め、大量のカーブミラーの画像とカーブミラー以外の画像とを学習した識別器(Deep Learning, SVM等)を備えるとしてよい。この場合、検出部12は、この識別器を用いて、画像50中の各位置でカーブミラーの画像か否かの判定を実施することで、カーブミラー51を検出すればよい。
Statistical image recognition is not limited to the case described with reference to FIG. The
<認識部13>
認識部13は、車両に搭載された撮像装置の撮像により得られる画像を示す画像情報に基づいてカーブミラーに映る物体を認識する。より具体的には、認識部13は、画像取得部11により取得された画像に映るカーブミラー内の物体を認識する。なお、認識部13は、カーブミラーに映る物体の属性を認識してもよい。
<
The
本実施の形態では、認識部13は、検出部12により検出された画像に含まれるカーブミラーに映る人、自転車または自動車など動く物体(以降、動物体とも称する)の位置とサイズとを認識する。ここで、画像に映るカーブミラー内に存在する動物体を認識する方法には、例えばDeep Learningなどの機械学習を利用する方法がある。以下、図7を用いて、画像に映るカーブミラー内に存在する動物体を認識する方法について説明する。
In the present embodiment, the recognizing
図7は、Deep Learningを利用したカーブミラーに映る動物体の認識方法の説明図である。図7の(a)および(b)では、カーブミラー51に人60が映るすなわち、カーブミラー51内に人60が存在する場合の例が示されている。なお、図4と同様の要素には同一の符号を付しており、詳細な説明は省略する。
FIG. 7 is an explanatory diagram of a method for recognizing a moving object reflected on a curved mirror using Deep Learning. 7A and 7B show an example in which the
認識部13は、例えば図7の(a)に示される画像50において検出部12で検出されたカーブミラー51の領域を、例えば図7の(b)に示されるように位置およびサイズを変えながら、人60を認識する認識処理を行う。
The recognizing
なお、認識部13に上記の認識処理を行わせるために、予め、動物体すなわち人、自転車および自動車と、動物体以外とを認識する学習が認識部13に対して行われていればよい。これにより、認識部13は、カーブミラー内に存在すると認識したものの信頼度が閾値を超えており、かつ最大の大きさのものがあれば、カーブミラーに動物体が映っていると認識することができる。また、認識部13は、カーブミラーに動物体が映っていると認識するときには、その位置とサイズとを出力する。ここで、信頼度は、人、自転車または自動車の動物体を示す形または輪郭らしさを示す値を示す。一方、認識部13は、カーブミラー内に存在すると認識したもの信頼度に閾値を超えるものがなければカーブミラーに動物体は映っていないと認識する。
In order to cause the
[情報処理装置10]
次に、実施の形態1における情報処理装置10について説明する。
[Information processing apparatus 10]
Next, the
実施の形態1における情報処理装置10は、カーブミラーを利用することで、当該車両の運転支援情報を出力する。本実施の形態では、情報処理装置10は、図1に示すように、算出部101と、出力処理部102と、死角判定部103とを備える。以下、これらの構成等の詳細について説明する。
The
<算出部101>
算出部101は、検出処理部12aにより検出されたカーブミラーのサイズと基準サイズとの差異を算出し、算出された当該差異を用いて物体のサイズを算出する。ここで、差異は、基準サイズに対するカーブミラーの倍率を含む。物体のサイズは、カーブミラーに映る物体を差異に応じた拡大または縮小により算出される。
<
The
図8は、実施の形態1における算出部101の機能構成の一例を示す図である。
FIG. 8 is a diagram illustrating an example of a functional configuration of the
実施の形態1における算出部101は、図8に示すように、差異算出部1011と、物体サイズ算出部1012とを備える。
The
差異算出部1011は、検出部12により検出されたカーブミラーのサイズと基準サイズとの差異を算出する。より具体的には、差異算出部1011は、検出部12により検出されたカーブミラーであって進行中の車両の前方を時系列に連続して撮影することにより得られた画像に映るカーブミラーのサイズと基準サイズとの差異を算出する。本実施の形態では、差異算出部1011は、差異として、例えば撮影することにより得られた画像に映るカーブミラーの基準サイズに対する倍率を算出する。基準サイズは、予め定められたカーブミラーの高さおよび幅で示されるサイズである。
The
なお、基準サイズは、所定時間において撮影された複数の画像に映るカーブミラーのうち最大のカーブミラーのサイズとしてもよいし、撮影された1フレーム前の画像に映るカーブミラーのサイズとしてもよい。また、差異算出部1011は、時系列に連続する少なくとも2つの画像において算出した倍率に応じてカーブミラー内の物体が拡大または縮小されたことで得る当該物体のサイズの変化量を、上記差異として算出してもよい。
The reference size may be the largest curve mirror size among the curve mirrors shown in a plurality of images taken in a predetermined time, or may be the size of the curve mirror shown in the image taken one frame before. Further, the
また、差異算出部1011は、1枚の画像から上記差異を算出してもよい。具体的には、基準サイズは予め記憶される値であり、差異算出部1011は、1枚の画像に映るカーブミラーのサイズと記憶される基準サイズとに基づいて上記倍率を算出する。なお、基準サイズは、被写体との距離と対応付けられ、車両と画像に映るカーブミラーとの距離に応じて補正されてもよい。
Further, the
物体サイズ算出部1012は、差異算出部1011により算出された当該差異を用いて物体のサイズを算出する。より具体的には、物体サイズ算出部1012は、認識部13により認識されたカーブミラーに映る物体と、差異算出部1011により算出された差異とを用いて当該物体のサイズを算出する。本実施の形態では、物体サイズ算出部1012は、カーブミラーに映る物体のサイズとして、認識部13により認識されたカーブミラーに映る物体を差異算出部1011で算出された差異に応じて拡大または縮小させることで物体のサイズを算出する。
The object
ここで、このように構成される算出部101が行う算出処理の一例について図を用いて説明する。
Here, an example of a calculation process performed by the
図9は、実施の形態1における算出部101が行う算出処理の一例を示す説明図である。なお、図4と同様の要素には同一の符号を付しており、詳細な説明は省略する。
FIG. 9 is an explanatory diagram illustrating an example of a calculation process performed by the
図9の(a)に示される画像50n、画像50n+1および画像50n+2は、進行中の車両の前方を時系列に連続した時刻tn、時刻tn+1および時刻tn+2において撮影されたものである。画像50n、画像50n+1および画像50n+2のそれぞれには、カーブミラー51、カーブミラー51n+1およびカーブミラー51n+2が含まれており、カーブミラー51、カーブミラー51n+1およびカーブミラー51n+2には人60、人60n+1および人60n+2が映っている。また、カーブミラー51、カーブミラー51n+1およびカーブミラー51n+2のサイズは、例えば(w1a、h1a)、(w1b、h1b)および(w1c、h1c)であり、幅と高さとで表現される。カーブミラー51、カーブミラー51n+1およびカーブミラー51n+2のサイズは、検出部12で検出される。図9の(b)には、基準サイズに拡大されたカーブミラー51´、カーブミラー51´n+1およびカーブミラー51´n+2が示されている。
The
この場合において、算出部101すなわち差異算出部1011は、画像50n、画像50n+1および画像50n+2に映るカーブミラー51、カーブミラー51n+1およびカーブミラー51n+2を基準サイズに拡大または縮小したときの倍率を算出する。基準サイズを例えば(ws、hs)とした場合、差異算出部1011は、カーブミラー51、51n+1および51n+2を基準サイズに拡大または縮小したときの倍率を、ws/w1a、ws/w1b、ws/w1cと算出する。hs/h1a、hs/h1b、hs/h1cと算出してもよい。
In this case, the
そして、算出部101すなわち物体サイズ算出部1012は、図9の(b)に示されるように、差異算出部1011で算出された倍率ws/w1a、ws/w1b、ws/w1bに応じてカーブミラー51、カーブミラー51n+1およびカーブミラー51n+2、並びに、人60、人60n+1および人60n+2を拡大させたときの人60´、人60´n+1および人60´n+2のサイズを算出すればよい。
Then, the
<死角判定部103>
死角判定部103は、時系列に連続する複数の画像の少なくとも1つの画像において検出処理部12aにより検出(認識)された物体が、少なくとも1つ画像より時系列的に後の画像において検出処理部12aにより検出(認識)されない場合に、当該後の画像を当該物体がカーブミラーの死角に存在し得る死角画像と判定する。換言すると、死角判定部103は、時系列に連続する画像において、カーブミラー内に見えていた動物体が見えなくなったか否かを判定し、見えなくなった画像を死角画像と判定する。
<Blind
The blind
ここで、このように構成される死角判定部103が行う死角判定処理の一例について図を用いて説明する。
Here, an example of the blind spot determination process performed by the blind
図10は、実施の形態1における死角判定部103が行う死角判定処理の一例を示す説明図である。なお、図4と同様の要素には同一の符号を付しており、詳細な説明は省略する。
FIG. 10 is an explanatory diagram illustrating an example of a blind spot determination process performed by the blind
図10に示される画像50m、画像50m+1および画像50m+2は、進行中の車両の前方を時系列に連続した時刻tm、時刻tm+1および時刻tm+2において撮影されたものである。また、画像50m、画像50m+1および画像50m+2のそれぞれには、カーブミラー51m、カーブミラー51m+1およびカーブミラー51m+2が映っており、カーブミラー51m、カーブミラー51m+1およびカーブミラー51m+2にはさらに人60m、および人60m+1が映っている。
An
この場合において、時系列に連続する画像50mおよび画像50m+1のカーブミラー51mおよびカーブミラー51m+1には、認識部13に認識された人60mおよび人60m+1が映っている。一方、画像50m+1の後の画像50m+2のカーブミラー51m+2には、人が映っておらず認識部13には人が認識されない。そのため、死角判定部103は、画像50m+2を死角画像であると判定する。このように死角判定部103が死角画像を判定できる理由を図11を用いて説明する。
In this case, the
図11は、カーブミラーの死角の説明図である。 FIG. 11 is an explanatory diagram of the blind spot of the curve mirror.
カーブミラーにも画角があり、死角すなわち死角領域が存在する。例えば図11には、交差点において車両2の一時停止中に、自転車に乗った人である動物体61m+1が動物体61m+2の位置に移動し、カーブミラー72の死角領域に入ってた場合の例が示されている。この場合、一時停止中の車両2の運転者は、カーブミラー71に映る動物体61m+1を確認できる一方で、カーブミラー72で動物体61m+2を確認できない。しかし、カーブミラー72に動物体61m+2が映らなくても動物体61m+2は存在している。そのため、死角判定部103は、上記のように判定することで、画像50m+2を人である動物体がカーブミラー51m+2の死角に存在し得る死角画像と判定する。
The curved mirror also has a field angle, and there is a blind spot, that is, a blind spot area. For example, FIG. 11 shows a case where the moving object 61 m + 1, who is a person on a bicycle, moves to the moving object 61 m + 2 and enters the blind spot area of the
なお、死角判定部103が死角画像を判定した場合、出力処理部102は、車両から直接またはカーブミラー内に人が見えるようになるまで、車両を一時停止させる車両制御情報を生成して出力する。また、死角判定部103が死角画像を判定した後、一定時間たっても人が見えるようにならない場合には、タイムアウトと判定し、死角判定処理を初めから行えばよい。タイムアウトと判定するのは、一定時間たってもカーブミラーに人が見えるようにならない場合には、カーブミラーの死角領域に存在する人などの動物体が家または店などに入ってしまい、いつまで待ってもカーブミラーに人が見えるようにならないことが考えられるからである。
When the blind
さらに、死角判定部103は、複数の画像のうちの時系列に連続する少なくとも2つの画像においてサイズの異なる物体が検出処理部12aにより検出(認識)され、少なくとも2つの画像の時系列的に後の画像において物体が検出処理部12aにより検出(認識)されない場合に、当該後の画像を上記死角画像と判定してもよい。例えば図10を用いて説明すると、画像50m+1に映るカーブミラー内の人60m+1のサイズが、時系列的に前の画像50mに映るカーブミラー51m内の人60mのサイズよりも大きくなっている。これは、人60が交差点に近づいていることを意味している。そして、画像50m+1の時系列的に後の画像50m+2のカーブミラー51m+2には、人が映っていない。これは、人60が交差点近くの死角に入ったことを意味している。したがって、死角判定部103は、画像50m+1に映るカーブミラー内の人60m+1のサイズと、時系列的に前の画像50mに映るカーブミラー51m内の人60mのサイズとの比較結果および画像50m+2における人60の有無とに基づいて、画像50m+2を死角画像であると判定することができる。これにより、人60が交差点から遠ざかって死角に入った場合には人60がカーブミラーに映らなくなった画像が死角画像と判定されないため、安全であるのに車両が停止させられるなどの無駄が発生することを抑制できる。
Further, the blind
<出力処理部102>
出力処理部102は、算出部101で算出された物体のサイズに基づいて、車両の運転支援情報を生成し、生成した運転支援情報を出力する。運転支援情報は、時系列に連続する少なくとも2つの画像の各々に対応する物体それぞれのサイズの変化情報に応じて生成されて出力される。ここで、運転支援情報は、変化情報がサイズの拡大を示す場合、車両を減速させるための情報および車両を物体から遠ざかる方向に移動させるための情報の少なくとも1つを含む。また、運転支援情報は、変化情報がサイズの拡大を示す場合、物体が車両から遠ざかった後に車両を走行させるための情報を含む。また、運転支援情報は、車両の挙動の制御指令情報であってもよいし、車両の乗員へ提示される提示情報であってもよい。
<
The
図12は、実施の形態1における出力処理部102の機能構成の一例を示す図である。
FIG. 12 is a diagram illustrating an example of a functional configuration of the
本実施の形態では、出力処理部102は、図12に示すように、危険予測部1031と、情報生成部1032と、情報出力部1033とを備える。
In the present embodiment, the
危険予測部1031は、算出部101で算出された物体のサイズに基づいて、車両がこのまま進行したときに予測される危険性を予測する。当該危険性は、危険度であってもよく、危険内容(例えば、接触、衝突、巻き込み等)であってもよい。危険予測部1031は、時系列に連続する少なくとも2つの画像に対応する物体のサイズの変化量に応じて危険度を判定する。ここで、一例として物体のサイズの変化量に応じて危険度が予測できることについて説明する。
Based on the size of the object calculated by the
図13は、図9の(b)における物体のサイズの変化量を示す概念図である。なお、図9の(b)と同様の要素には同一の符号を付しており、詳細な説明は省略する。図13には、物体サイズ算出部1012で算出された、基準サイズに拡大または縮小されたカーブミラーに映る物体である人60´、人60´n+1および人60´n+2が概念的に示されている。
FIG. 13 is a conceptual diagram showing the amount of change in the size of the object in FIG. In addition, the same code | symbol is attached | subjected to the element similar to (b) of FIG. 9, and detailed description is abbreviate | omitted. FIG. 13 conceptually shows a
危険予測部1031は、図13に示されるように、人60´、人60´n+1および人60´n+2のサイズが順に大きくなっていることから、その人がカーブミラー51に近づいているすなわち交差点に近づいているのがわかる。そして、危険予測部1031は、人60´、人60´n+1および人60´n+2のサイズの変化量が大きいときには、その人がカーブミラー51に近づいている速度および速度変化が大きいことがわかるので、危険度が高いと判定できる。つまり、人60´、人60´n+1および人60´n+2のサイズの変化量が閾値より大きいと、当該人がカーブミラー51がある交差点に急速に近づいており、情報処理装置10を搭載する車両と衝突または接触する可能性が高いと判断できる。このようにして、危険予測部1031は、物体のサイズの変化量に応じて危険度を予測できる。
As shown in FIG. 13, the
情報生成部1032は、算出部101で算出された物体のサイズに基づいて、車両の運転支援情報を生成する。情報生成部1032は、物体のサイズに応じて車両の運転支援情報を生成してよい。例えば、情報生成部1032は、時系列に連続する少なくとも2つの画像の各々に対応する物体それぞれのサイズの変化情報に応じて運転支援情報を生成してよい。また、情報生成部1032は、物体のサイズに加えて車両の状態に基づいて、車両の運転支援情報を生成してもよい。
The
また、情報生成部1032は、車両がカーブミラーに向かう方向へ進行する状況における変化情報から予測される危険性に応じて運転支援情報を生成してもよい。情報生成部1032は、危険予測部1031で予測された危険性に基づいて、車両制御情報を生成してもよい。
Further, the
なお、情報生成部1032は、危険予測部1031で予測された危険度を示す情報を、運転支援情報として生成してもよい。例えば、情報生成部1032は、危険予測部1031により時系列に連続する少なくとも2つの画像に対応する物体のサイズの変化量に応じて判定される危険度を示す情報を、運転支援情報として生成してもよい。
Note that the
また、情報生成部1032は、死角判定部103による死角画像の判定結果に基づいて、車両を一時停止させる車両制御情報を生成してもよい。具体的には、情報生成部1032は、時系列に連続する複数の画像のうちの少なくとも1つの画像において検出処理部12aにより検出(認識)された物体が、少なくとも1つ画像より時系列的に後の画像において検出処理部12aにより検出(認識)されない場合に、運転支援情報を生成してよい。また、情報生成部1032は、複数の画像のうちの時系列に連続する少なくとも2つの画像においてサイズの異なる物体が検出処理部12aにより検出(認識)され、少なくとも2つの画像の時系列的に後の画像において物体が検出処理部12aにより検出(認識)されない場合に、運転支援情報を生成してよい。
The
情報出力部1033は、情報生成部1032により生成された運転支援情報を出力する。
The
以下、このように構成される出力処理部102が行う出力処理の一例について図を用いて説明する。
Hereinafter, an example of output processing performed by the
図14は、実施の形態1における曲線カーブ道路の一例を示す図である。図15は、実施の形態1における出力処理部102が行う出力処理の一例を示す説明図である。
FIG. 14 is a diagram showing an example of a curved curve road in the first embodiment. FIG. 15 is an explanatory diagram illustrating an example of output processing performed by the
図14に示される曲線カーブ道路は、見通しが悪い場所の一例である。図14には、本実施の形態の情報処理装置10またはシステム1が搭載された車両2が曲線カーブ道路を進行している様子が示されている。また、図14には、物体の一例として車両3が示されており、車両2から、カーブミラー73に映っている車両3が確認できる場合が示されている。
The curved curve road shown in FIG. 14 is an example of a place with a poor view. FIG. 14 shows a state where the
この場合において、出力処理部102すなわち危険予測部1031は、算出部101により基準サイズに拡大または縮小すなわち正規化されたカーブミラーに映る物体のサイズ変化に応じて、危険度を判定する。
In this case, the
より具体的には、危険予測部1031は、図15に示すように、正規化されたカーブミラーに映る物体のサイズ変化が小さくなるまたはサイズ変化がないときには、危険度が低であると判定する。ここで、出力処理部102すなわち情報生成部1032は、危険予測部1031で判定された危険度が低であることを示す情報を生成してもよい。また、情報生成部1032は、図15に示すように、危険度が低であることに基づいて、車両2の速度等の制御の変更がないことを示す車両制御情報を生成してもよい。図14に示す例では、危険予測部1031は、正規化されたカーブミラー73内の車両3のサイズ変化が小さくなるまたはサイズ変化がないときには、車両3は車両2から遠ざかる方向に進行中または停止中であると判定できるので、危険度が低であると判定する。そして、情報生成部1032は、判定された危険度が低であることを示す情報または車両2の速度等の制御の変更がないことを示す車両制御情報を生成してもよい。
More specifically, as shown in FIG. 15, the
また、危険予測部1031は、図15に示すように、正規化されたカーブミラーに映る物体のサイズが除々に大きくなっているときには、危険度が中であると判定する。ここで、情報生成部1032は、判定された危険度が中であることを示す情報を出力してもよいし、図15に示すように、危険度が中であることに基づいて、車両を減速させるための車両制御情報を生成してもよい。図14に示す例では、危険予測部1031は、正規化されたカーブミラー73内の車両3のサイズ変化が閾値aより大きく除々に大きくなるときには、車両3は車両2に近づいている方向に進行中であると判定できるので、危険度が中であると判定する。そして、情報生成部1032は、判定された危険度が中であることを示す情報または車両2を減速させるための車両制御情報を生成してもよい。
Further, as shown in FIG. 15, the
また、危険予測部1031は、図15に示すように、正規化されたカーブミラーに映る物体のサイズが急に大きくなっているときには、危険度が高であると判定する。ここで、情報生成部1032は、判定された危険度が高であることを示す情報を生成してもよい。また、情報生成部1032は、図15に示すように、危険度が高であることに基づいて、車両を減速かつ対象物から遠ざかる方向に移動させるための車両制御情報を生成してもよい。図14に示す例では、危険予測部1031は、正規化されたカーブミラー73内の車両3のサイズ変化が閾値aより大きい閾値bより大きいときには、車両3は車両2に近づいている方向に大きな速度で進行中であると判定できるので、危険度が高であると判定する。そして、情報生成部1032は、判定された危険度が高であることを示す情報または車両2を減速かつ、車両3が曲線カーブ道路の車線をはみ出しても衝突しないような位置となるように車両3から遠ざかる方向に移動せるための車両制御情報を生成してもよい。
Further, as shown in FIG. 15, the
なお、図14および図15では、車両2が曲線カーブ道路を進行中すなわち走行中である場合について説明したが、これに限らない。車両2が道路が交差する交差点を進行する場合でも同様のことが言える。
Although FIG. 14 and FIG. 15 have described the case where the
図16は、実施の形態1におけるT字交差点の一例を示す図である。図17は、実施の形態1における出力処理部102が行う出力処理の別の一例を示す説明図である。
FIG. 16 is a diagram illustrating an example of a T-shaped intersection according to the first embodiment. FIG. 17 is an explanatory diagram illustrating another example of output processing performed by the
図16に示されるT字交差点は、見通しが悪い場所の一例である。図16には、本実施の形態の情報処理装置10またはシステム1が搭載された車両2がT字交差点を進行している様子が示されている。また、図16には、物体の一例として車両3が示されており、車両2から、カーブミラー74に映っている車両3が確認できる場合が示されている。
The T-shaped intersection shown in FIG. 16 is an example of a place where the line of sight is bad. FIG. 16 shows a state where the
この場合において、出力処理部102すなわち危険予測部1031は、図17に示すように、正規化されたカーブミラーに映る物体のサイズ変化が小さくなるまたはサイズ変化がないときには、危険度が低であると判定する。ここで、出力処理部102すなわち情報生成部1032は、危険予測部1031で判定された危険度が低であることを示す情報を生成してもよい。また、情報生成部1032は、図17に示すように、危険度が低であることに基づいて、車両2を一時停止後させ、その後発進させるための車両制御情報を生成してもよい。図16に示す例では、危険予測部1031は、正規化されたカーブミラー74に映る車両3のサイズ変化が小さくなるまたはサイズ変化がないときには、車両3は車両2から遠ざかる方向に進行中または停止中であると判定できるので、危険度が低であると判定する。そして、情報生成部1032は、判定された危険度が低であることを示す情報または車両2を一時停止させ、その後発進させるための車両制御情報を生成してもよい。
In this case, as shown in FIG. 17, the
また、危険予測部1031は、図17に示すように、正規化されたカーブミラーに映る物体のサイズ変化が大きくなるときには、危険度が高であると判定する。ここで、情報生成部1032は、危険予測部1031で判定された危険度が高であることを示す情報を生成してもよい。また、情報生成部1032は、図17に示すように、危険度が高であることに基づいて、車両2を一時停止後させ、対象物である車両2の通過をセンサ等で確認後に発進させるための車両制御情報を生成してもよい。図16に示す例では、危険予測部1031は、正規化されたカーブミラー74内の車両3のサイズ変化が大きくなるときには、車両3は、車両2に向かう方向に進行中であると判定できるので、危険度が高であると判定する。そして、情報生成部1032は、判定された危険度が高であることを示す情報または車両2を一時停止させ、車両2の通過をセンサ等で確認後に発進させるための車両制御情報を生成してもよい。
Further, as shown in FIG. 17, the
なお、上記では、サイズの変化情報がサイズの変化量である例を説明したが、サイズの変化情報はサイズの変化内容を示す情報であってもよい。例えば、サイズの変化内容は、サイズが大きくなった(または小さくなった)、サイズが所定サイズ以上になった(所定のサイズ未満になった)などであってよい。 In the above description, the example in which the size change information is the size change amount has been described. However, the size change information may be information indicating the size change content. For example, the change contents of the size may be that the size is increased (or decreased), the size is equal to or larger than a predetermined size (becomes smaller than the predetermined size), and the like.
また、上記では、運転支援情報が制御指令情報である例を説明したが、運転支援情報は提示情報であってもよい。例えば、提示情報は、後述する危険性を示す情報、運転手への推奨操作を示す情報であってよい。 In the above description, the example in which the driving support information is control command information has been described. However, the driving support information may be presentation information. For example, the presentation information may be information indicating a risk described later and information indicating a recommended operation for the driver.
[システム1の動作]
次に、以上のように構成されたシステム1の情報処理方法について説明する。図18は、実施の形態1におけるシステム1の情報処理方法の概要を示すフローチャートである。図19は、実施の形態1におけるシステム1の情報処理方法の詳細を示すフローチャートである。なお、図18および図19において同様の要素には同一の符号を付しており、詳細な説明は省略する。
[Operation of system 1]
Next, an information processing method of the
まず、図18に示すように、システム1は、画像情報に基づいて画像に映るカーブミラーとカーブミラーに映る物体を検出する(S10)。次に、システム1は、画像に映るカーブミラーのサイズと基準サイズとの差異を算出し、当該差異を用いてカーブミラーに映る物体のサイズを算出する(S11)。次に、システム1は、S11で算出した物体のサイズに基づいて、車両の運転支援情報を生成する(S12)。そして、システム1は、S12で生成した運転支援情報を出力する(S13)。
First, as shown in FIG. 18, the
より詳細には、図19に示すように、まず、システム1は、画像取得部11で進行中の車両に搭載された撮像装置の撮像により得られた画像を示す画像情報を取得する画像取得処理を行う(S101)。
More specifically, as shown in FIG. 19, first, the
次に、システム1は、図18で説明したS10の処理を行う。より具体的には、システム1は、S10において、S101で得られた画像に映るカーブミラーを検出する検出処理を行う(S102)。次いで、システム1は、S101で得られた画像に映るカーブミラー内の物体を認識(検出)する認識処理を行う(S103)。
Next, the
次に、システム1は、図18で説明したS11の処理を行う。より具体的には、S11において、システム1は、S102で検出されたカーブミラーのサイズと基準サイズとの差異を算出する差異算出処理を行う(S104)。次いで、システム1は、S103で認識されたカーブミラー内の物体に対して、S104で算出された差異を用いて当該物体のサイズを算出する物体サイズ算出処理を行う(S105)。なお、S104およびS105で行われる処理の詳細については上述した通りであるのでここでの詳細な説明は省略する。
Next, the
次に、システム1は、時系列に連続する3つ画像のうち時系列に連続する2つの画像においてS103で認識された物体が、当該2つの画像の後の画像においてS103で認識されない場合に、当該後の画像を当該物体がカーブミラーの死角に存在し得る死角画像と判定する死角判定処理を行う(S106)。 Next, when the object recognized in S103 in two images that are continuous in time series among the three images that are continuous in time series is not recognized in S103 in the image after the two images, A blind spot determination process is performed to determine that the subsequent image is a blind spot image in which the object can exist at the blind spot of the curve mirror (S106).
ここで、システム1は、S106で死角画像を判定後にS103において当該物体が出現したことを認識した、または当該判定後に一定時間経過したかどうかを判定する(S106)。システム1は、S106で死角画像を判定後にS103で当該物体が出現したとき、またはタイムアウトすなわちS106で死角画像を判定後に一定時間経過してもS103で当該物体の出現を認識できない場合(S107でYes)には、次の処理(S12)に進む。それ以外の場合(S107でNo)には、S107の判定処理を繰り返す。
Here, after determining the blind spot image in S106, the
次に、システム1は、図18で説明したS12の処理を行う。より具体的には、S12において、システム1は、S105で算出された物体のサイズに基づいて、車両がこのまま進行したときに判定される危険度を予測する危険予測処理を行う(S108)。次いで、システム1は、S108で判定された危険度を示す情報を、運転支援情報として生成したり、S108で判定された危険度に基づいて、車両を制御するための車両制御情報を生成したりする情報生成処理を行う(S109)。なお、S108およびS109で行われる処理の詳細については上述した通りであるのでここでの説明は省略する。
Next, the
そして、システム1は、図18で説明したS13の処理を行う。より具体的には、S13において、システム1は、S109で生成された運転支援情報等を出力する情報出力処理を行う(S110)。
Then, the
なお、S103、S104、S105の処理順序は図19に示された場合に限らない。S104の後にS103を行いS105を行ってもよい。また、S106およびS107の処理は、S11の算出処理の前に行うとしてもよい。 Note that the processing order of S103, S104, and S105 is not limited to the case shown in FIG. S103 may be performed after S104, and S105 may be performed. Further, the processing of S106 and S107 may be performed before the calculation processing of S11.
[実施の形態1の効果等]
以上のように、実施の形態1に係る情報処理装置10またはシステム1によれば、交差点など見通しが悪い場所においてカーブミラーを利用することで、危険度を判定することができ、判定した危険度に基づいて車両の運転支援情報を生成して出力することができる。これにより、情報処理装置10を搭載した車両の安全運転を支援することができる。
[Effects of First Embodiment, etc.]
As described above, according to the
具体的には、見通しが悪い交差点などの場所において、カーブミラーに映る人物などの物体の移動量が大きい場合は、当該物体が当該場所に飛び出してくる可能性が高い。この場合、車両を早期に減速させて危険を回避させる必要がある。 Specifically, when the amount of movement of an object such as a person reflected on a curved mirror is large at a location such as an intersection where visibility is poor, there is a high possibility that the object will jump out to the location. In this case, it is necessary to decelerate the vehicle early to avoid danger.
そこで、本実施の形態では、進行中の車両から得ることのできる画像に映るカーブミラーのサイズは変化することから、カーブミラーのサイズを所定の基準サイズに揃える正規化を行う。これにより、カーブミラー内の人物等の物体の移動量をカーブミラー内の物体の大きさつまりサイズに変換できるので、サイズの変化量に応じて危険度を判定できる。このようにして、実施の形態1に係る情報処理装置10は、カーブミラーを利用することで、危険度を判定することができる。
Therefore, in the present embodiment, since the size of the curve mirror reflected in the image that can be obtained from the ongoing vehicle changes, normalization is performed so that the size of the curve mirror is aligned with a predetermined reference size. As a result, the amount of movement of an object such as a person in the curve mirror can be converted into the size of the object in the curve mirror, that is, the size, so that the degree of risk can be determined according to the amount of change in size. In this way, the
なお、例えば自動運転中の車両が情報処理装置10を備える場合には、当該車両は、上記のようにカーブミラーを利用して、危険度を判定することできるので、判定した危険度に応じて車両制御を行うことができる。
Note that, for example, when a vehicle during automatic driving includes the
また、上述したように、運転支援情報が、時系列に連続する少なくとも2つの画像の各々に対応する物体それぞれのサイズの変化情報に応じて生成され、変化情報がサイズの拡大を示してもよい。この場合、運転支援情報は、車両を減速させるための情報および車両を物体から遠ざかる方向に移動させるための情報の少なくとも1つを含んでもよいし、物体が車両から遠ざかった後に車両を走行させるための情報を含んでもよい。これらにより、交差点に近づいている物体および車両の安全を確保することができるからである。 Further, as described above, the driving support information may be generated according to the change information of the size of each object corresponding to each of at least two images that are continuous in time series, and the change information may indicate an increase in size. . In this case, the driving support information may include at least one of information for decelerating the vehicle and information for moving the vehicle in a direction away from the object, and for driving the vehicle after the object moves away from the vehicle. May also be included. This is because the safety of the object and the vehicle approaching the intersection can be ensured.
また、運転支援情報は、物体のサイズに加えて車両の状態に基づいて生成されてもよい。車両の状態(走行状態、停止状態など)に合わせて無駄のない制御が可能となるからである。 Further, the driving support information may be generated based on the state of the vehicle in addition to the size of the object. This is because control without waste is possible in accordance with the vehicle state (running state, stop state, etc.).
また、運転支援情報は、物体のサイズに応じて生成されてもよい。サイズの変化情報を用いた処理を行わなくても危険を予測することができるからである。 The driving support information may be generated according to the size of the object. This is because the danger can be predicted without performing processing using the size change information.
以上のように、実施の形態1に係る情報処理装置10またはシステム1によれば、交差点など見通しが悪い場所においてカーブミラーを利用することで、車両の安全運転を支援することができる。
As described above, according to the
(変形例1)
実施の形態1では、正規化されたカーブミラー内の物体のサイズの変化量に応じて危険度を判定する場合について説明したが、これに限らない。認識部13がカーブミラーに映る物体の属性を認識し、算出部101が当該属性を考慮して危険度を判定してもよい。本変形例では、カーブミラーに映る物体が有する移動速度に関する属性をさらに考慮して危険度を判定する場合について説明する。
(Modification 1)
In the first embodiment, the case where the degree of risk is determined according to the amount of change in the size of the object in the normalized curve mirror has been described. However, the present invention is not limited to this. The
図20および図21は、実施の形態1の変形例1における出力処理部102が行う危険予測処理の一例を示す説明図である。なお、図15および図17と同様の内容には同一の文言が記載されており、詳細な説明は省略する。
20 and 21 are explanatory diagrams illustrating an example of a risk prediction process performed by the
図20には、曲線カーブ道路において変形例1における出力処理部102が行う危険予測処理の一例が示されており、図21にはT字交差点において変形例1における出力処理部102が行う危険予測処理の一例が示されている。なお、低、中または高の危険度に基づく、車両制御情報は、図15と図17に示す通りでよいため、図20および図21では図示を省略している。
FIG. 20 illustrates an example of a risk prediction process performed by the
図20および図21に示すように物体が人物である場合には、危険予測部1031は図15および図17のときと同様に危険度を判定する。一方で、物体が人物よりも移動速度の速い自転車、バイクまたは自動車である場合には、危険予測部1031は移動速度に応じて物体が人物であるときよりも高い危険度を判定する。
When the object is a person as shown in FIGS. 20 and 21, the
以上のように、本変形例では、出力処理部102は、運転支援情報を、認識部13により認識された物体の属性に応じて生成して、生成した運転支援情報を出力する。
As described above, in the present modification, the
(変形例2)
変形例1では、カーブミラーに映る物体が有する移動速度に関する属性をさらに考慮して危険度を判定する場合について説明したが、これに限らない。カーブミラーに映る物体が人である場合には、危険予測部1031はその人の年齢に関する属性をさらに考慮して危険度を判定してもよい。この場合を変形例2として以下に説明する。
(Modification 2)
In the first modification, the case has been described in which the risk level is determined in consideration of the attribute related to the moving speed of the object reflected on the curved mirror, but the present invention is not limited to this. When the object reflected on the curve mirror is a person, the
図22および図23は、実施の形態1の変形例2における出力処理部102が行う危険予測処理の一例を示す説明図である。なお、図15および図17と同様の内容には同一の文言が記載されており、詳細な説明は省略する。
22 and 23 are explanatory diagrams illustrating an example of a risk prediction process performed by the
図22には、曲線カーブ道路において変形例2における出力処理部102が行う危険予測処理の一例が示されており、図23にはT字交差点において変形例1における出力処理部102が行う危険予測処理の一例が示されている。なお、低、中または高の危険度に基づく、車両制御情報は、図15と図17に示す通りでよいため、図22および図23でも図示を省略している。
FIG. 22 shows an example of a risk prediction process performed by the
図22および図23に示すように、物体が人物であり、かつその人物が子供またはお年寄りである場合には、危険予測部1031は図15および図17と同様の危険度を判定すればよい。一方で、物体が人物であり、かつ、その人物が子供およびお年寄り以外のその他である場合には、人物が子供またはお年寄りであるときよりも高い危険度を判定すればよい。
As shown in FIGS. 22 and 23, when the object is a person and the person is a child or an elderly person, the
以上のように、本変形例では、出力処理部102は、認識部13により認識された物体の属性が人物の場合、認識部13により認識された当該物体の年齢に関する情報に応じて運転支援情報を変化させて出力する。なお、上記では、年齢に関する情報が人物の世代である例を説明したが、年齢に関する情報は人物の年齢または年代であってもよい。
As described above, in the present modification, when the attribute of the object recognized by the
(変形例3)
変形例2では、カーブミラーに映る物体が人である場合には、その人の年齢に関する属性をさらに考慮して危険度を判定する場合について説明したが、これに限らない。カーブミラーに映る物体が人である場合に、危険予測部1031は、さらに、その人が不注意行動を行っているか否かという属性をさらに考慮して危険度を判定してもよい。具体的には、不注意行動は、非前方視行動である。例えば、非前方視行動は、スマートフォンなどの携帯端末または本などの注視がある。この場合を変形例3として以下に説明する。
(Modification 3)
In the second modification, when the object reflected on the curved mirror is a person, the case where the risk level is determined in consideration of the attribute related to the age of the person has been described, but the present invention is not limited to this. When the object reflected on the curve mirror is a person, the
図24および図25は、実施の形態1の変形例3における出力処理部102が行う危険予測処理の一例を示す説明図である。なお、図15および図17と同様の内容には同一の文言が記載されており、詳細な説明は省略する。
24 and 25 are explanatory diagrams illustrating an example of a risk prediction process performed by the
図24には、曲線カーブ道路において変形例3における出力処理部102が行う危険予測処理の一例が示されており、図25にはT字交差点において変形例1における出力処理部102が行う危険予測処理の一例が示されている。なお、低、中または高の危険度に基づく、車両制御情報は、図15と図17に示す通りでよいため、図24および図25でも図示を省略している。
FIG. 24 shows an example of a risk prediction process performed by the
図24および図25に示すように、物体が人物であり、かつその人物が携帯端末を見て移動行動を行う非前方視行動をしていないすなわちその人物が携帯端末を見ながら歩いていない場合には、危険予測部1031は、図15および図17のときと同様の危険度を判定すればよい。一方で、物体が人物であり、かつ、その人物が非前方視行動をしているすなわちその人物が携帯端末を見ながら歩いている場合には、危険予測部1031は、その人物が非前方視行動をしていないときよりも高い危険度を判定すればよい。なお、上記では、不注意行動が非前方視行動である例を説明したが、不注意行動は、人物の前方だが上方または下方を見ている行動、または人物の前方にある乳母車もしくはボールなどの特定物を注視している行動であってもよい。
As shown in FIG. 24 and FIG. 25, when the object is a person and the person does not perform a non-forward-looking behavior in which the person sees the mobile terminal and performs a moving action, that is, the person is not walking while looking at the mobile terminal. Therefore, the
以上のように、本変形例では、出力処理部102は、認識部13により認識された物体の属性が人物の場合、認識部13により認識された物体が不注意行動をしているか否かに応じて運転支援情報を生成して出力する。
As described above, in this modification, when the attribute of the object recognized by the
(実施の形態2)
実施の形態1では、交差点などの見通しが悪い場所において、カーブミラーを利用することで進行中の車両の安全運転を支援することができる情報処理装置等について説明したが、これに限らない。一時停止中の車両においても、カーブミラーを利用して安全運転を支援することができる。以下、この場合について実施の形態2として説明する。
(Embodiment 2)
In the first embodiment, the information processing apparatus and the like that can support the safe driving of the vehicle in progress by using a curve mirror in a place with a poor view such as an intersection has been described. However, the present invention is not limited to this. Even in a temporarily stopped vehicle, safe driving can be supported using a curve mirror. Hereinafter, this case will be described as a second embodiment.
[システム1Aの構成]
図26は、実施の形態2におけるシステム1Aの構成の一例を示すブロック図である。なお、図1と同様の要素には同一の符号を付しており、詳細な説明は省略する。
[Configuration of
FIG. 26 is a block diagram illustrating an example of a configuration of a
図26に示すシステム1Aは、実施の形態1におけるシステム1と比較して、情報処理装置10Aの構成が異なる。システム1Aもまた、システム1と同様に、例えば自動車などの車両に搭載され、カーブミラーを利用することで、当該車両の運転支援情報を出力することができる。
本実施の形態では、一時停止中の車両の安全運転を支援するために、情報処理装置10Aは、カーブミラー内の物体の位置も加味する。なお、画像取得部11と、検出処理部12aとは、実施の形態1と同様に、情報処理装置10Aに構成されてもよい。
In the present embodiment, in order to support safe driving of a vehicle that is temporarily stopped, the
[情報処理装置10A]
実施の形態2における情報処理装置10Aは、カーブミラーを利用することで、一時停止中の車両の運転支援情報を出力する。本実施の形態では、一時停止中の車両の安全運転を支援するために、情報処理装置10Aは、カーブミラー内の物体の位置も加味する。この理由について図27A〜図27Cを用いて説明する。図27Aは、交差点で一時停止した車両2aの運転者が視認したカーブミラー75内に映る物体63の一例を示す図である。図27Bおよび図27Cは、カーブミラーの特性の説明図である。
[
The
例えば図27Aには、交差点で一時停止した車両2aの運転者が、当該交差点に設置されたカーブミラー75を視認した場合に、カーブミラー75に映る物体63として自転車に乗った人が確認できる場合の例が示されている。図27Aでは、カーブミラー75内の奥すなわちカーブミラー内の上部に人である物体63が映っていることから、車両2aの運転者は、物体63が図27Bに示すように車両2aから見て道路の奥側の位置に存在するように見える。しかし、左右が反対に映るカーブミラーの特性から、実際には、物体63は図27Bに示すような位置すなわち車両2aから見て道路の手前側の位置に存在する。
For example, in FIG. 27A, when the driver of the
そのため、本実施の形態における情報処理装置10Aは、カーブミラー内の物体の位置も加味した上で、車両2aの運転支援情報を出力する。
For this reason, the
より具体的には、本実施の形態における情報処理装置10Aは、図26に示すように、算出部101Aと、出力処理部102Aと、死角判定部103とを備える。図26に示す情報処理装置10Aは、実施の形態1における情報処理装置10と比較して、算出部101Aと出力処理部102Aとの構成が異なる。以下、算出部101Aおよび出力処理部102Aの構成等の詳細について説明する。
More specifically, the
<算出部101A>
図28は、実施の形態2における算出部101Aの機能構成の一例を示す図である。図29Aは、図28に示す物体位置算出部1013が算出する物体の位置の一例を示す図である。図29Bは、図28に示す路面領域算出部1015が算出する路面領域の一例を示す図である。図30は、図28に示す中心軸算出部1016が算出する中心軸の算出方法の説明図である。
<
FIG. 28 is a diagram illustrating an example of a functional configuration of the
実施の形態2における算出部101Aは、検出処理部12aにより検出されたカーブミラーにおける物体の位置を算出する。より具体的には、算出部101Aは、検出部12により検出されたカーブミラーであって車両に搭載された撮像装置の撮像により得られる画像に映るカーブミラー内において認識部13により認識された物体の、カーブミラーにおける位置を算出する。
The
例えば、算出部101Aは、図28に示すように、物体位置算出部1013と、物体サイズ算出部1014と、路面領域算出部1015と、中心軸算出部1016とを備える。なお、算出部101Aは、物体位置算出部1013のみ、または、物体位置算出部1013および物体サイズ算出部1014のみを有するとしてもよい。
For example, as illustrated in FIG. 28, the
物体位置算出部1013は、カーブミラーにおける物体の位置を算出する。より具体的には、物体位置算出部1013は、検出部12により検出されたカーブミラーであって一時停止中の車両の前方を時系列に連続して撮影することにより得られた画像に映るカーブミラー内において認識部13により認識された物体の、カーブミラーにおける位置を算出する。例えば、物体位置算出部1013は、図29Aに示すように、自転車に乗った人である物体63のカーブミラー75の領域内の位置を算出する。なお、算出部101Aが、物体位置算出部1013のみを有する場合、物体位置算出部1013は、カーブミラーにおける物体の位置が、カーブミラー内の所定の位置を示す閾値よりも右か左かを算出してもよい。また、物体位置算出部1013は、カーブミラーにおける物体の位置が、カーブミラー内の所定の位置を示す閾値よりも上か下かを算出してもよい。
The object
物体サイズ算出部1014は、カーブミラーを基準とした物体のサイズを算出する。より具体的には、物体サイズ算出部1014は、検出部12により検出されたカーブミラーであって一時停止中の車両の前方を時系列に連続して撮影することにより得られた画像に映るカーブミラー内において認識部13により認識された物体の大きさを算出する。
The object
路面領域算出部1015は、カーブミラー内における路面領域を算出する。より具体的には、路面領域算出部1015は、検出部12により検出されたカーブミラー内に映る道路を示す領域である路面領域を算出する。例えば、路面領域算出部1015は、図29Bに示すように、カーブミラー75の領域内に存在する道路を示す路面領域80を算出する。路面領域算出部1015は、畳み込み層を用いたDeep Learningなどにより、予め、道路を映す大量のカーブミラーの画像を用いて学習されることで、上記のような路面領域を算出することができる。
The road surface
中心軸算出部1016は、路面領域算出部1015で算出された路面領域の中心軸を算出する。より具体的には、中心軸算出部1016は、例えば図30に示すように、路面領域算出部1015により算出された路面領域80において、まず、路面の路肩に相当する直線(路肩直線と称する)をHough変換を用いて算出する。次いで、中心軸算出部1016は、算出した路肩直線の端点からの距離dが同じである路肩直線の位置を通り、路肩直線と直交する線L1、線L2を算出する。同様に、算出した路肩直線の端点からの距離が同じである路肩直線の位置を通り、路肩直線と直交する線L3および線L4並びに線L5および線L6を算出する。そして、中心軸算出部1016は、これらの交点を結ぶ直線を路面領域の中心軸82として算出する。
The central
なお、中心軸算出部1016は、上述したように、線L1および線L2、線L3および線L4、並びに線L5および線L5の3組の線を算出することで中心軸82を算出すると説明したが、これに限らない。中心軸82は、最低二本の交点から求められるので、中心軸算出部1016は、算出した線L1および線L2の交点と路肩直線の端点とから算出することもできる。また、中心軸算出部1016は、4組以上の線を算出し、最小二乗法を用いて、4組以上の線の交点と直線の二乗誤差を最小にする直線を中心軸82として算出してもよい。
As described above, the central
<出力処理部102A>
出力処理部102Aは、算出部101Aで算出されたカーブミラーにおける物体の位置に基づいて運転支援情報を生成し、生成した運転支援情報を出力する。ここで、運転支援情報は、車両の挙動の制御指令情報を含んでいてもよいし、車両の乗員へ提示される提示情報を含んでいてもよい。
<
The
図31は、実施の形態2における出力処理部102Aの機能構成の一例を示す図である。図32は、実施の形態2におけるカーブミラー内の物体の位置の一例を示す図である。
FIG. 31 is a diagram illustrating an example of a functional configuration of the
本実施の形態では、出力処理部102Aは、図31に示すように、危険予測部1031Aと、情報生成部1032Aと、情報出力部1033Aとを備える。
In the present embodiment, the
《危険予測部1031A》
危険予測部1031Aは、算出部101Aで算出されたカーブミラーにおける物体の位置に基づいて危険性を予測する。例えば、危険予測部1031Aは、車両がカーブミラーに向かう方向へ進行する状況における、物体のカーブミラーにおける位置から危険性を予測してもよいし、物体と、画像に映る道路から特定されるカーブミラーにおける領域と、の位置関係に応じて危険性を予測してもよい。
<<
The
本実施の形態では、危険予測部1031Aは、物体位置算出部1013より算出された位置と中心軸算出部1016により算出された中心軸とに基づいて、危険性を予測する。具体的には、当該危険性は、危険度であってもよく、危険内容(例えば、接触、衝突、巻き込み等)であってもよい。
In the present embodiment, the
危険予測部1031Aは、物体位置算出部1013より算出された位置が中心軸算出部1016により算出された中心軸よりも右である場合、当該位置が当該中心軸よりも左であるときよりも高い危険度を判定する。例えば、図32に示すように、物体63の下端が路面領域の中心軸82より右または上に位置していれば、物体63がカーブミラー75の領域内において奥に存在すると定義できる。そして、物体63がカーブミラー75の領域内において奥に存在するときには、物体63が車両から見て道路の手前側の位置に位置するので、一時停止中の車両が発進したときには物体63と衝突する危険がある。そのため、危険予測部1031Aは、物体63がカーブミラー75の領域内において奥に存在するときには、危険度を高く判定する。一方、物体63の下端が中心軸82より左または下に位置していれば、物体63がカーブミラーの領域内において手前に存在すると定義できる。そして、物体63がカーブミラー75の領域内において手前に存在するときには、物体63が車両から見て道路の奥側の位置に位置するので、一時停止中の車両が発進しても物体63と衝突する危険は低い。そのため、危険予測部1031Aは、物体63がカーブミラー75の領域内において手前に存在するときには、危険度を低く判定できる。
When the position calculated by the object
以下、この場合について図を用いてより具体的に説明する。 Hereinafter, this case will be described more specifically with reference to the drawings.
図33、図34および図35は、実施の形態2におけるカーブミラー75の奥側に物体64が位置する場合の危険度の説明図である。図33には、一時停止している車両2aから、物体64が奥側に映るカーブミラー75の画像を取得している場面が示されている。図34の(a)には、カーブミラー75に存在する物体64の位置とその大きさが示されており、(b)は、(a)のカーブミラー75の拡大図に該当し、物体64と道路との関係が示されている。図35には、図34に示される物体64と車両2aとカーブミラー75との位置関係が示されている。
33, 34 and 35 are explanatory diagrams of the degree of risk when the
図35に示されるように、人である物体64が車両2aから見て道路の手前側を交差点の方向に歩いているとする。そして、一時停止している車両2aに搭載されるシステム1Aが、図34に示すような、時刻tj、時刻tj+1または時刻tj+2における画像50j、画像50j+1または画像50j+2を取得するとする。この場合、システム1Aすなわち情報処理装置10Aは物体64j、物体64j+1または物体64j+2のカーブミラー75における位置を算出する。画像50j、画像50j+1または画像50j+2では、物体64j、物体64j+1または64j+2は奥側に存在するため、物体64j、64j+1または64j+2は車両2aから見て道路の手前側の位置する。つまり、一時停止中の車両2aが発進したときには物体64と衝突する危険があるため、危険度を高めに判定する。
As shown in FIG. 35, it is assumed that the
なお、一時停止している車両2aに搭載されるシステム1Aは、画像50j、50j+1および50j+2を取得し、物体64j、64j+1または64j+2の位置およびそのサイズを算出してもよい。この場合、物体64j、64j+1または64j+2のサイズが大きくなってくるという連続性から、物体64が交差点で一時停止中の車両2aに近づいてくることがわかる。そのため、物体64j+2に対する危険度を物体64j+1等と比較してより高く判定してもよい。このように、危険予測部1031Aは、時系列に連続する少なくとも2つの画像に対応する物体のサイズの変化量に応じて危険度を判定してもよい。つまり、危険予測部1031Aは、物体サイズ算出部1014でカーブミラーを基準とした物体のサイズが算出されているときには、物体位置算出部1013より算出された物体のカーブミラーにおける位置と、物体サイズ算出部1014により算出された物体のサイズとに基づいて、危険度を予測してもよい。
The
また、一時停止している車両2aに搭載されるシステム1Aが、画像50j+2、画像50j+3を取得した場合、画像50j+3のカーブミラー75には物体64が存在していない。しかし、連続性すなわち直前に取得した時刻tj+2における画像50j+2のカーブミラー75には物体64j+2が存在したことから、画像50j+3を当該物体64がカーブミラー75の死角に存在し得る死角画像と判定し、画像50j+3に対する危険度を物体64j+2等と比較してより高く判定すればよい。
Further, when the
図36、図37および図38は、実施の形態2におけるカーブミラー75の手前側に物体64が位置する場合の危険度の説明図である。図36には、一時停止している車両2aから物体64が手前側に映るカーブミラー75の画像を取得している場面が示されている。図37の(a)には、カーブミラー75に存在する物体64の位置とその大きさが示されており、(b)は、(a)のカーブミラー75の拡大図に該当し、物体64と道路との関係が示されている。図38には、図37に示される物体64と車両2aとカーブミラー75との位置関係が示されている。
36, 37, and 38 are explanatory diagrams of the degree of risk when the
図38に示されるように、人である物体64が車両2aから見て道路の奥側を交差点の方向に歩いているとする。そして、一時停止している車両2aに搭載されるシステム1Aが、図37に示すような、時刻tk、時刻tk+1または時刻tk+2における画像50k、画像50k+1または画像50k+2を取得するとする。この場合、システム1Aすなわち情報処理装置10Aは物体64k、物体64k+1または物体64k+2のカーブミラー75における位置を算出する。画像50k、画像50k+1または画像50k+2では、物体64k、物体64k+1または物体64k+2は手前側に存在するため、物体64k、物体64k+1または物体64k+2は車両2aから見て道路の奥側の位置する。つまり、一時停止中の車両2aが発進したときには物体64と衝突する危険が低いため、危険度を低めに判定する。
As shown in FIG. 38, it is assumed that an
なお、一時停止している車両2aに搭載されるシステム1Aは、画像50k、画像50k+1および画像50k+2を取得し、物体64k、物体64k+1または物体64k+2の位置およびそのサイズを算出してもよい。この場合、物体64k、物体64k+1または物体64k+2のサイズが大きくなってくるという連続性から、物体64が交差点で一時停止中の車両2aに近づいてくることがわかる。そのため、物体64k+2に対する危険度を物体64k+1等と比較して高く判定してもよい。このように、危険予測部1031Aは、時系列に連続する少なくとも2つの画像の各々に映る物体それぞれのサイズの変化情報および物体のカーブミラーにおける位置に応じて危険度を予測してもよい。つまり、危険予測部1031Aは、算出部101Aにより算出されたカーブミラーにおける物体の位置と、算出された物体のサイズとに基づいて、危険性を予測してもよい。
The
上記では、サイズの変化情報がサイズの変化量である例を説明したが、サイズの変化情報はサイズの変化内容を示す情報であってもよい。例えば、サイズの変化内容は、サイズが大きくなった(または小さくなった)、サイズが所定サイズ以上になった(所定のサイズ未満になった)などであってよい。 In the above description, the example in which the size change information is the size change amount has been described. However, the size change information may be information indicating the size change content. For example, the change contents of the size may be that the size is increased (or decreased), the size is equal to or larger than a predetermined size (becomes smaller than the predetermined size), and the like.
また、一時停止している車両2aに搭載されるシステム1Aが、画像50k+2、画像50k+3を取得した場合、画像50k+3のカーブミラー75には物体64が存在していない。しかし、連続性すなわち直前に取得した時刻tk+2における画像50k+2のカーブミラー75には物体64k+2が存在したことから、画像50k+3を当該物体64がカーブミラー75の死角に存在し得る死角画像と判定し、物体64k+3に対する危険度を物体64k+2等と比較してより高く予測すればよい。
Further, when the
また、危険予測部1031Aは、算出部101Aで算出された物体のカーブミラーにおける位置に基づいて、車両がこのまま進行したときに予測される危険度を判定してもよい。例えば、危険予測部1031Aは、算出部101Aにより算出された物体の位置がカーブミラーの中心線より下である場合、当該位置がカーブミラーの中心線より上であるときよりも高い危険度を判定するとしてもよい。また、危険予測部1031Aは、算出部101Aにより算出された物体の位置がカーブミラーの所定の位置よりも右にある場合、当該位置がカーブミラーの所定の位置よりも左側にあるときよりも高い危険度を判定するとしてもよい。なお、所定の位置は、中心軸の位置でもよいし、予め定められた中心近傍の位置であってもよい。また、中心線は、例えばカーブミラーの中心を通る線であり、水平線、垂直線、斜線、曲線などがある。中心線が水平線である場合には、上/下により危険度を判定すればよいし、中心線が垂直線である場合には、右/左により危険度を判定すればよい。また、中心線が斜線または曲線である場合には、一方/他方により危険度を判定すればよい。
Further, the
《情報生成部1032A》
情報生成部1032Aは、算出部101Aで算出されたカーブミラーにおける物体の位置に基づいて運転支援情報を生成する。例えば、情報生成部1032Aは、物体と、画像に映る道路から特定されるカーブミラーにおける領域と、の位置関係に応じて運転支援情報を生成してもよい。また、情報生成部1032Aは、算出部101Aで算出された物体のカーブミラーにおける位置と、算出部101Aで算出された物体のサイズとに基づいて運転支援情報を生成してもよく、例えば、時系列に連続する少なくとも2つの画像の各々に映る物体それぞれのサイズの変化情報および物体のカーブミラーにおける位置に応じて運転支援情報を生成してもよい。
<< Information Generation Unit 1032A >>
The information generation unit 1032A generates driving support information based on the position of the object in the curve mirror calculated by the
より詳細には、情報生成部1032Aは、物体位置算出部1013により算出された物体の位置と、中心軸算出部1016により算出された中心軸と、の位置関係に応じて運転支援情報を生成してもよい。例えば、情報生成部1032Aは、物体が画像において中心軸よりも上に位置している場合、車両に物体を回避させるための運転支援情報を生成する。
More specifically, the information generation unit 1032A generates driving support information according to the positional relationship between the object position calculated by the object
また、情報生成部1032Aは、算出部101Aにより算出された物体の位置とカーブミラーの中心線との位置関係に基づいて運転支援情報を生成してもよい。例えば、情報生成部1032Aは、(i)カーブミラーが車両からみて左に向いている場合に、物体が画像において中心線よりも右に位置しているとき、又は、(ii)カーブミラーが車両からみて右に向いている場合に、物体が画像において中心線よりも左に位置しているときは、車両に物体を回避させるための運転支援情報を生成すればよい。
Further, the information generation unit 1032A may generate driving support information based on the positional relationship between the position of the object calculated by the
本実施の形態では、情報生成部1032Aは、危険予測部1031Aで予測された危険性に応じて、運転支援情報を生成する。例えば、情報生成部1032Aは、危険予測部1031Aで予測された危険性に基づいて、車両制御情報を生成してもよい。また、情報生成部1032Aは、車両が前記カーブミラーに向かう方向へ進行する状況における、前記物体の前記カーブミラーにおける位置から予測される危険性に応じて運転支援情報を生成してもよい。
In the present embodiment, information generation unit 1032A generates driving support information according to the risk predicted by
なお、情報生成部1032Aは、危険予測部1031Aで予測された危険度を示す情報を、運転支援情報として出力してもよい。例えば、情報生成部1032Aは、危険予測部1031により時系列に連続する少なくとも2つの画像に対応する物体のサイズの変化量に応じて判定される危険度を示す情報を、運転支援情報として出力する。
Note that the information generation unit 1032A may output information indicating the degree of risk predicted by the
さらに、情報生成部1032Aは、物体位置算出部1013により算出された物体の位置と、死角判定部103により死角画像が判定されたことと、に基づいて、車両を一時停止させる車両制御情報を含む運転支援情報を生成してもよい。具体的には、情報生成部1032Aは、さらに、時系列に連続する複数の画像のうちの少なくとも1つの画像おいて認識部13により認識された物体が、少なくとも1つ画像より時系列的に後の画像において認識部13により認識されない場合に、運転支援情報を生成してもよい。また、情報生成部1032Aは、当該1つの画像に映る物体の位置と、その後の画像において物体が認識部13により認識されないことと、に基づいて運転支援情報を生成してもよい。
Furthermore, the information generation unit 1032A includes vehicle control information for temporarily stopping the vehicle based on the position of the object calculated by the object
《情報出力部1033A》
情報出力部1033Aは、情報生成部1032Aにより生成された運転支援情報を出力する。
<<
The
なお、上記では、運転支援情報が制御指令情報である例を説明したが、運転支援情報は提示情報であってもよい。例えば、提示情報は、後述する危険性を示す情報、運転手への推奨操作を示す情報であってよい。 In the above description, the example in which the driving support information is the control command information has been described. However, the driving support information may be presentation information. For example, the presentation information may be information indicating a risk described later and information indicating a recommended operation for the driver.
ここで、このように構成される出力処理部102Aが行う出力処理の一例について図を用いて説明する。
Here, an example of output processing performed by the
図39は、実施の形態2におけるT字交差点の一例を示す図である。図40は、実施の形態2における出力処理部102Aが行う出力処理の別の一例を示す説明図である。図40には、本実施の形態の情報処理装置10Aまたはシステム1Aが搭載された車両2aがT字交差点で一時停止している様子が示されている。
FIG. 39 is a diagram illustrating an example of a T-shaped intersection according to the second embodiment. FIG. 40 is an explanatory diagram illustrating another example of output processing performed by the
この場合において、出力処理部102Aすなわち危険予測部1031Aは、図40に示すように、物体の時間毎のサイズが小さくなるまたは変化がないときには、カーブミラー75内の物体の位置が奥側であっても手前側であっても危険度が低であると判定する。ここで、出力処理部102Aすなわち情報生成部1032Aは、危険予測部1031Aで予測された危険度が低であることを示す情報を出力してもよい。また、情報生成部1032Aは、図40に示すように、危険度が低であることに基づいて、一時停止中の車両2aを発進させるための車両制御情報を生成してもよい。図39に示す例では、危険予測部1031Aは、カーブミラー75内の車両3のサイズが小さくなるまたは変化がないときには、車両3は、車両2aから遠ざかる方向に進行中であると判定できるので、危険度が低であると判定する。そして、情報生成部1032Aは、判定された危険度が低であることを示す情報または一時停止中の車両2aを発進させるための車両制御情報を生成してもよい。
In this case, as shown in FIG. 40, the
また、危険予測部1031Aは、図40に示すように、カーブミラー75内の物体の位置が手前側、かつ、カーブミラー75内の物体のサイズが大きくなるときには、危険度が中であると判定する。ここで、情報生成部1032Aは、危険予測部1031Aで判定された危険度が中であることを示す情報を生成してもよい。また、情報生成部1032Aは、図40に示すように、危険度が中であることに基づいて、一時停止中の車両2aを徐行しながら発進させるための車両制御情報を生成してもよい。図39に示す例では、危険予測部1031Aは、カーブミラー75内の車両3の位置が手前、かつ、カーブミラー75内の車両3サイズが大きくなるときには、車両3は、道路の奥側を車両2aに向かう方向に進行中であると判定できるので、危険度が中であると判定する。そして、情報生成部1032Aは、判定された危険度が中であることを示す情報または一時停止中の車両2aを徐行で発進させるための車両制御情報を生成してもよい。
Further, as shown in FIG. 40, the
また、危険予測部1031Aは、図40に示すように、カーブミラー75内の物体の位置が奥側、かつ、カーブミラー75内の物体のサイズが大きくなるときには、危険度が高であると判定する。ここで、情報生成部1032Aは、危険予測部1031Aで判定された危険度が高であることを示す情報を生成してもよい。また、情報生成部1032Aは、図40に示すように、危険度が高であることに基づいて、対象物である車両3の通過をセンサ等で確認後に一時停止中の車両2aを発進させるための車両制御情報を生成してもよい。図39に示す例では、危険予測部1031は、カーブミラー75内の車両3のサイズが大きくなるときには、車両3は、道路の手前側を車両2aに向かう方向に進行中であると判定できるので、危険度が高であると判定する。そして、情報生成部1032Aは、判定された危険度が高であることを示す情報または、車両3の通過をセンサ等で確認後に一時停止中の車両2aを発進させるための車両制御情報を生成してもよい。
Further, as shown in FIG. 40, the
[システム1Aの動作]
次に、以上のように構成されたシステム1Aの情報処理方法について説明する。図41は、実施の形態2におけるシステム1Aの情報処理方法の概要を示すフローチャートである。図42は、実施の形態2におけるシステム1Aの情報処理方法の詳細を示すフローチャートである。なお、図19と同様の要素には同一の符号を付しており、詳細な説明は省略する。
[Operation of
Next, an information processing method of the
まず、図41に示すように、システム1Aは、画像情報に基づいて画像に映るカーブミラーとカーブミラーに映る物体を検出する(S20)。次に、システム1Aは、S20で検出されたカーブミラーにおける位置を算出する(S21)。次に、システム1Aは、S21で算出した位置に基づいて運転支援情報を生成する(S22)。そして、システム1Aは、S22で生成した運転支援情報を出力する(S23)。
First, as shown in FIG. 41, the
より詳細には、図42に示すように、S21の処理において、システム1Aは、S102で検出されたカーブミラーにおける、S103で認識された物体の位置を算出する物体位置算出処理を行う(S204)。次いで、システム1Aは、S102で検出されたカーブミラーを基準とした、S103で認識された物体の大きさを算出する物体サイズ算出処理を行う(S205)。次いで、システム1Aは、S102で検出されたカーブミラー内における路面領域を算出する路面領域算出処理を行う(S206)。次いで、システム1Aは、S206で算出された路面領域の中心軸を算出する中心軸算出処理を行う(S207)。なお、S204〜S207で行われる処理の詳細については上述した通りであるのでここでの詳細な説明は省略する。
More specifically, as shown in FIG. 42, in the process of S21, the
また、図41で説明したS22の処理において、システム1Aは、S21で算出された物体のカーブミラーにおける位置に基づいて、車両がこのまま進行したときに予測される危険度を判定する危険予測処理を行う(S221)。次いで、システム1Aは、S221で判定された危険度を示す情報を、運転支援情報として生成したり、S221で判定された危険度に基づいて、車両を制御するための車両制御情報を生成したりする情報生成処理を行う(S222)。なお、S221およびS222で行われる処理の詳細については上述した通りであるのでここでの説明は省略する。
In the process of S22 described with reference to FIG. 41, the
そして、システム1Aは、図41で説明したS23の処理を行う。より具体的には、S23において、システム1Aは、S222で生成された運転支援情報等を出力する情報出力処理を行う(S223)。
Then, the
[実施の形態2の効果等]
以上のように、実施の形態2に係る情報処理装置10Aまたはシステム1Aによれば、交差点など見通しが悪い場所において、カーブミラーを利用することで、危険度を判定することができ、判定した危険度に基づいて車両の運転支援情報を生成して出力することができる。それにより、情報処理装置10Aを搭載した車両の安全運転を支援することができる。
[Effects of Second Embodiment, etc.]
As described above, according to the
具体的には、交差点などの見通しが悪い場所において、カーブミラーに、人物などの物体が映っている場合には、当該物体が当該場所に飛び出してくる可能性がある。この場合、一時停止中の車両を早期に発進させると当該物体と衝突する危険がある。また、カーブミラーは左右反転して映すという特性がある。 Specifically, when an object such as a person is reflected on a curved mirror at a place with a poor visibility such as an intersection, the object may jump out to the place. In this case, there is a danger of colliding with the object if the vehicle that is temporarily stopped is started early. In addition, the curve mirror has a characteristic that it is reversed left and right.
したがって、カーブミラーの奥側に人物などの物体が映っている場合には、カーブミラーの手前側に人物などの物体が映っている場合に比べて、当該場所の一時停止中の車両に近い側の道路の路肩側近傍を移動中であることがわかる。つまり、カーブミラーの奥側に人物などの物体が映っている場合には、カーブミラーの手前側に人物などの物体が映っている場合に比べて、一時停止中の車両を早期に発進させると当該物体と衝突する危険が高い。 Therefore, when an object such as a person is reflected on the back side of the curved mirror, compared to a case where an object such as a person is reflected on the front side of the curved mirror, the side closer to the vehicle at the temporary stop of the location. It can be seen that the vehicle is moving near the shoulder side of the road. In other words, when an object such as a person is reflected on the back side of the curve mirror, if a vehicle that is paused is started earlier than when an object such as a person is reflected on the front side of the curve mirror, There is a high risk of collision with the object.
そこで、本実施の形態では、一時停止中の車両から得ることのできる画像に映るカーブミラー内の物体の位置と必要ならそのサイズ変化とから危険度を判定する。このようにして、実施の形態2に係る情報処理装置10Aは、カーブミラーを利用することで、危険度を判定することができる。
Therefore, in the present embodiment, the degree of risk is determined from the position of the object in the curve mirror reflected in the image that can be obtained from the temporarily stopped vehicle and the size change if necessary. In this way, the
なお、例えば自動運転中の車両が情報処理装置10Aを備える場合には、当該車両は、上記のようにカーブミラーを利用して、危険度を判定することできるので、予測した危険度に応じて車両制御を行うことができる。
Note that, for example, when a vehicle during automatic driving includes the
また、上述したように、例えば、実施の形態2に係る情報処理装置10Aは、物体が画像において中心軸よりも上に位置している場合、車両に物体を回避させるための運転支援情報を生成するとしてもよい。これにより、物体が車両に近い場合に物体を回避することができ、物体および車両の安全性を確保することができる。
Further, as described above, for example, the
また、例えば、実施の形態2に係る情報処理装置10Aは、(i)カーブミラーが車両からみて左に向いている場合に、物体が画像において中心線よりも右に位置しているとき、または(ii)カーブミラーが車両からみて右に向いている場合に、物体が画像において中心線よりも左に位置しているときは、車両に物体を回避させるための運転支援情報を生成するとしてもよい。これにより、物体が車両に近い場合に物体を回避することができ、物体および車両の安全性を確保することができる。また、道路の中心軸を特定するような複雑な処理を省くことができ、処理速度を向上させることができる。
Further, for example, the
以上のように、実施の形態2に係る情報処理装置10Aまたはシステム1Aによれば、交差点など見通しが悪い場所において、カーブミラーを利用することで、車両の安全運転を支援することができる。
As described above, according to the
なお、上記では、車両が一時停止中である例を説明したが、実施の形態2は低速(所定速度以下)で移動している車両について適用されてもよい。 Although an example in which the vehicle is temporarily stopped has been described above, the second embodiment may be applied to a vehicle that is moving at a low speed (a predetermined speed or less).
(変形例1)
実施の形態2では、カーブミラー内の物体の位置と必要ならその大きさに応じて危険度を判定する場合について説明したが、これに限らない。認識部13がカーブミラーに映る物体の属性を認識し、算出部101が当該属性を考慮して危険度を判定してもよい。本変形例では、カーブミラーに映る物体が有する移動速度に関する属性をさらに考慮して危険度を判定する場合について説明する。
(Modification 1)
In the second embodiment, the case where the degree of risk is determined according to the position of the object in the curve mirror and, if necessary, the size thereof is described, but the present invention is not limited to this. The
図43は、実施の形態2の変形例1における出力処理部102Aが行う危険予測処理の一例を示す説明図である。なお、図40と同様の内容には同一の文言が記載されており、詳細な説明は省略する。また、図43にはT字等の交差点において変形例1における出力処理部102Aが行う危険予測処理の一例が示されている。なお、低、中または高の危険度に基づく、車両制御情報は、図40に示す通りでよいため、図43では図示を省略している。
FIG. 43 is an explanatory diagram illustrating an example of a risk prediction process performed by the
図43に示すように、物体が人物である場合には、危険予測部1031Aは図40のときと同様の危険度を判定すればよい。一方で、物体が人物よりも移動速度の速い自転車、バイクまたは自動車である場合には、危険予測部1031Aは移動速度に応じて物体が人物であるときよりも高い危険度を判定すればよい。
As shown in FIG. 43, when the object is a person, the
以上のように、本変形例では、出力処理部102Aは、運転支援情報を、認識部13により認識された物体の属性に応じて生成して、生成した運転支援情報を出力する。
As described above, in the present modification, the
(変形例2)
変形例1では、カーブミラーに映る物体が有する移動速度に関する属性をさらに考慮して危険度を判定する場合について説明したが、これに限らない。カーブミラーに映る物体が人である場合には、危険予測部1031Aはその人の年齢に関する属性をさらに考慮して危険度を判定してもよい。この場合を変形例2として以下に説明する。
(Modification 2)
In the first modification, the case has been described in which the risk level is determined in consideration of the attribute related to the moving speed of the object reflected on the curved mirror, but the present invention is not limited to this. When the object reflected on the curve mirror is a person, the
図44は、実施の形態2の変形例2における出力処理部102Aが行う危険予測処理の一例を示す説明図である。なお、図40と同様の内容には同一の文言が記載されており、詳細な説明は省略する。また、図44にはT字等の交差点において変形例2における出力処理部102Aが行う危険予測処理の一例が示されている。なお、低、中または高の危険度に基づく、車両制御情報は、図40に示す通りでよいため、図44でも図示を省略している。
FIG. 44 is an explanatory diagram illustrating an example of a risk prediction process performed by the
図44に示すように、物体が人物であり、かつその人物が子供またはお年寄りである場合には、危険予測部1031Aは図40と同様の危険度を判定すればよい。一方で、物体が人物であり、かつ、その人物が子供およびお年寄り以外のその他である場合には、危険予測部1031Aは人物が子供またはお年寄りであるときよりも高い危険度を判定すればよい。
As shown in FIG. 44, when the object is a person and the person is a child or an elderly person, the
以上のように、本変形例では、出力処理部102Aは、認識部13により認識された物体の属性が人物の場合、認識部13により認識された当該物体の年齢に関する情報に応じて運転支援情報を変化させて生成し、生成した当該運転支援情報を出力する。なお、上記では、年齢に関する情報が人物の世代である例を説明したが、年齢に関する情報は人物の年齢または年代であってもよい。
As described above, in the present modification, when the attribute of the object recognized by the
(変形例3)
変形例2では、カーブミラーに映る物体が人である場合には、その人の年齢に関する属性をさらに考慮して危険度を判定する場合について説明したが、これに限らない。カーブミラーに映る物体が人である場合に、危険予測部1031Aは、さらに、その人がスマートフォンなどの携帯端末を見ながら歩いているか否かという属性をさらに考慮して危険度を判定してもよい。具体的には、不注意行動は、非前方視行動である。例えば、非前方視行動は、スマートフォンなどの携帯端末または本などの注視がある。この場合を変形例3として以下に説明する。
(Modification 3)
In the second modification, when the object reflected on the curved mirror is a person, the case where the risk level is determined in consideration of the attribute related to the age of the person has been described, but the present invention is not limited to this. When the object reflected on the curved mirror is a person, the
図45は、実施の形態2の変形例3における出力処理部102Aが行う危険予測処理の一例を示す説明図である。なお、図40と同様の内容には同一の文言が記載されており、詳細な説明は省略する。また、図45にはT字等の交差点において変形例1における出力処理部102Aが行う危険予測処理の一例が示されている。なお、低、中または高の危険度に基づく、車両制御情報は、図40に示す通りでよいため、図45でも図示を省略している。
FIG. 45 is an explanatory diagram illustrating an example of a risk prediction process performed by the
図45に示すように、物体が人物であり、かつその人物が携帯端末を見て移動行動を行う非前方視行動をしていないすなわちその人物が携帯端末を見ながら歩いていない場合には、危険予測部1031Aは、図40のときと同様の危険度を判定すればよい。一方で、物体が人物であり、かつ、その人物が非前方視行動をしているすなわちその人物が携帯端末を見ながら歩いている場合には、危険予測部1031Aは、その人物が非前方視行動をしていないときよりも高い危険度を判定すればよい。なお、上記では、不注意行動が非前方視行動である例を説明したが、不注意行動は、人物の前方だが上方または下方を見ている行動、または人物の前方にある乳母車もしくはボールなどの特定物を注視している行動であってもよい。
As shown in FIG. 45, when the object is a person and the person does not perform the non-forward-viewing action of performing the moving action while looking at the mobile terminal, that is, the person is not walking while watching the mobile terminal, The
以上のように、本変形例では、出力処理部102Aは、認識部13により認識された物体の属性が人物の場合、認識部13により認識された物体が不注意行動をしているか否かに応じて運転支援情報を変化させて生成し、生成した当該運転支援情報を出力する。
As described above, in this modification, the
(実施の形態3)
カーブミラーは、実施の形態1および2で説明したT字路または曲線カーブ道路以外の見通しが悪い場所にも存在する。
(Embodiment 3)
Curve mirrors are also present in places with poor visibility other than T-shaped roads or curved curve roads described in the first and second embodiments.
例えば車両専用道路の出口付近の場所では、車がスピードを緩めず飛び出してくる可能性が高いし、ショッピングモールの入庫口では人または車両の飛び出しがある可能性が高い。また、例えばショッピングモールの入り口では人の出入りが多いため人の飛び出しがある可能性が高い。また、例えば自動車がスピードを出しやすい直線に連なる曲がり角などの場所では、自動車がスピードを緩めず車線を越えて膨らむつまり飛び出してくる可能性がある。これらのようなカーブミラーが存在する見通しの悪い場所では、事故が発生する危険度が高い。つまり、自車両の位置またはカーブミラーの設置場所によっては、人が多く現れる場所かまたは自動車の速度が速い場所かなどの条件が異なることから危険度も異なる。 For example, in a place near the exit of a vehicle exclusive road, there is a high possibility that the vehicle will jump out without slowing down, and there is a high possibility that a person or vehicle will jump out at the entrance of the shopping mall. For example, since there are many people coming and going at the entrance of a shopping mall, there is a high possibility that people will jump out. In addition, for example, in places such as a corner that is connected to a straight line where the automobile can easily speed up, there is a possibility that the automobile swells out beyond the lane without slowing down. There is a high risk of accidents occurring in places where curve mirrors like these are present and where the prospect is poor. That is, depending on the position of the own vehicle or the installation location of the curve mirror, the degree of risk varies depending on conditions such as a place where many people appear or a place where the speed of the automobile is high.
そこで、実施の形態3では、カーブミラーの設置場所の特徴を考慮することで、一時停止中または進行中の車両の安全運転を支援することができる情報処理装置等について説明する。なお、以下では、実施の形態3におけるシステムまたは情報処理装置が搭載された車両を自車両と称する。
Therefore, in the third embodiment, an information processing apparatus and the like that can support safe driving of a vehicle that is temporarily stopped or in progress by considering the characteristics of the installation location of the curve mirror will be described. Hereinafter, a vehicle on which the system or the information processing apparatus according to
[システム1Bの構成]
図46は、実施の形態3におけるシステム1Bの構成の一例を示すブロック図である。なお、図1および図26と同様の要素には同一の符号を付しており、詳細な説明は省略する。
[Configuration of System 1B]
FIG. 46 is a block diagram showing an example of the configuration of the system 1B in the third embodiment. Elements similar to those in FIGS. 1 and 26 are denoted by the same reference numerals, and detailed description thereof is omitted.
図46に示すシステム1Bは、実施の形態1におけるシステム1と比較して、取得部11B、検出処理部12bおよび情報処理装置10Bの構成が異なる。システム1Bもまた、システム1と同様に、例えば自動車などの車両に搭載され、カーブミラーを利用することで、当該車両すなわち自車両の運転支援情報を出力することができる。
The system 1B shown in FIG. 46 differs from the
本実施の形態では、一時停止中または進行中の自車両の安全運転を支援するために、情報処理装置10Bは、カーブミラーの設置場所の特徴も加味する。
In the present embodiment, in order to support safe driving of the host vehicle that is temporarily stopped or in progress, the
[取得部11B]
取得部11Bは、画像取得部11と同様に、車両に搭載された撮像装置の撮像により得られる画像を示す画像情報を取得する。取得部11Bは、マップ情報を取得してもよい。マップ情報とは、地理上の位置における動的に変化する事象を示す情報または地理上の静的な情報である。マップ情報には、マップ上の交通事故、渋滞、工事、路面状態および気象の少なくとも1つを示す追加マップ情報を含む。
[Acquisition unit 11B]
Similar to the
なお、取得部11Bは、実施の形態1における画像取得部11と比較して、マップ情報を取得できる点が異なり、その他の点は同じである。取得部11Bでは、センシング部111が通信等によりマップ情報を取得し、画像記録部112に記録すればよい。
Note that the acquisition unit 11B is different from the
[検出処理部12b]
検出処理部12bは、カーブミラーおよびカーブミラーに映る物体を検出する。本実施の形態では、検出処理部12bは、マップ情報または、車両に搭載された撮像装置の撮像により得られる画像を示す画像情報に基づいて、車両周辺のカーブミラーを検出する。
[
The
検出処理部12bは、図46に示すように、検出部12Bと認識部13Bとを備える。
As shown in FIG. 46, the
<検出部12B>
検出部12Bは、カーブミラーを検出する。より具体的には、検出部12Bは、画像情報に基づいて車両周辺のカーブミラーを検出する。例えば、検出部12Bは、カーブミラーの識別情報またはカーブミラーの識別器を用いて、画像情報に基づいて車両周辺のカーブミラーを検出する。なお、画像情報に基づいて車両周辺のカーブミラーを検出する方法は、実施の形態1で画像中のカーブミラーを検出する方法と同様である。
<
The
また、検出部12Bは、マップ情報に基づいて車両周辺のカーブミラーを検出してもよい。例えば、検出部12Bは、車両の位置とマップ情報が示すカーブミラーの設置場所とに基づいて車両周辺のカーブミラーを検出する。
The
<認識部13B>
認識部13Bは、車両に搭載された撮像装置の撮像により得られる画像を示す画像情報に基づいてカーブミラーに映る物体を認識する。また、認識部13Bは、カーブミラーの識別情報またはカーブミラーの識別器を用いて、画像情報に基づいてカーブミラーの周囲環境を認識する。このように、認識部13Bは、取得部11Bにより取得された画像に映るカーブミラー内の物体およびカーブミラーの周囲環境を認識する。
<
The
なお、取得部11Bと、検出処理部12bとは、実施の形態1および2と同様に、情報処理装置10Bに構成されてもよい。
Note that the acquisition unit 11B and the
[情報処理装置10B]
実施の形態3における情報処理装置10Bは、カーブミラーを利用することで、一時停止中または進行中の自車両の運転支援情報を出力する。本実施の形態では、一時停止中または進行中の自車両の安全運転を支援するために、情報処理装置10Bは、カーブミラーの設置場所の特徴も加味する。上述したように、自車両の位置またはカーブミラーの設置場所によって異なる危険度を考慮することができるからである。
[
The
より具体的には、情報処理装置10Bは、図46に示すように、出力処理部102Bと、死角判定部103と、判定部104とを備える。図46に示す情報処理装置10Bは、実施の形態1における情報処理装置10と比較して、判定部104の構成が追加され、出力処理部102Bの構成が異なる。以下、判定部104および出力処理部102Bの構成等の詳細について説明する。
More specifically, the
<判定部104>
図47は、実施の形態3における判定部104の機能構成の一例を示す図である。
<Determining
FIG. 47 is a diagram illustrating an example of a functional configuration of the
判定部104は、図47に示すように、特徴判定部1041と、第1危険度判定部1042と、第2危険度判定部1043とを備える。
As shown in FIG. 47, the
《特徴判定部1041》
特徴判定部1041は、カーブミラーの設置場所の特徴を判定する。当該特徴には、カーブミラーの設置場所における道路の態様または設置場所における物体の通過の態様を含む。
<<
The
より具体的には、特徴判定部1041は、マップ情報に基づいて、カーブミラーの設置場所の特徴を判定する。例えば、特徴判定部1041は、カーブミラーの周辺のマップ情報に基づいて当該特徴を判定する。特徴判定部1041は、追加マップ情報から道路の態様または物体の通過の態様を判定してもよい。
More specifically, the
また、特徴判定部1041は、画像情報に基づいてカーブミラーの設置場所の特徴を判定してもよい。例えば、特徴判定部1041は、カーブミラーの周囲環境に基づいて特徴を判定してもよい。特徴判定部1041は、カーブミラーの周囲環境から道路の態様または物体の通過の態様を判定してもよい。
The
さらに、特徴判定部1041は、カーブミラーに映る物体に基づいて当該特徴を判定してもよい。この場合、特徴判定部1041は、カーブミラーに物体が映っていること、またはカーブミラーに映っている物体の多寡を当該特徴として判定してもよい。
Furthermore, the
なお、特徴判定部1041は、自車両の前方を時系列に連続して撮影することにより得られた画像に映るカーブミラーの設置場所の特徴に関する情報を取得する設置場所取得部をさらに有していてもよい。当該設置場所取得部は、特徴判定部1041が有する場合に限らず、検出処理部12bまたは取得部11Bが有していてもよい。
Note that the
例えば、設置場所取得部は、自車両の位置を示すGPS(Global PositioningSystem)情報から、自車両の前方を時系列に連続して撮影することにより得られた画像に映るカーブミラーの設置場所を取得することができる。この場合、設置場所取得部は、取得した設置場所と、交通事故多発地点の情報、渋滞情報、道路工事情報、事故現場および路面情報などが埋め込まれたローカルダイナミックマップとから、カーブミラーの設置場所の特徴に関する情報を取得する。 For example, the installation location acquisition unit acquires the installation location of the curve mirror reflected in the image obtained by continuously photographing the front of the host vehicle in time series from GPS (Global Positioning System) information indicating the position of the host vehicle. can do. In this case, the installation location acquisition unit determines the installation location of the curve mirror from the acquired installation location and the local dynamic map in which information on frequent traffic accidents, traffic congestion information, road construction information, accident site and road surface information, etc. are embedded. Get information about the characteristics of.
カーブミラーの設置場所の特徴とは、上述した道路の態様である。具体的には、道路の態様は、事故が起こりやすいもしくは実際に事故が起きた場所、車両の台数もしくは渋滞の有無などの道路の混雑度、落葉、落石、積雪もしくは凍結などの路面状況、または工事有無などである。例えば、事故が起こりやすい場所は、車両専用道路の出口付近、ショッピングモールの入庫口若しくは入口、または、自動車がスピードを出しやすい直線に連なる曲がり角である。 The characteristic of the installation location of the curve mirror is the aspect of the road described above. Specifically, the mode of the road is the location where the accident is likely to occur or actually occurred, the degree of congestion of the road such as the number of vehicles or the presence of traffic, road conditions such as fallen leaves, falling rocks, snow or freezing, or It is the presence or absence of construction. For example, a place where an accident is likely to occur is the vicinity of an exit of a vehicle-only road, a garage entrance or entrance of a shopping mall, or a corner that is connected to a straight line where a car can easily speed.
図48は、ダイナミックマップの一例を示す説明図である。ローカルダイナミックマップは、所定場所付近を含む一部のダイナミックマップであり、道路・地物など静的な情報である高精細な地図データに、自車両位置周辺の刻々と変化する動的な情報を重ね合わせることで高度化された地図情報である。ローカルダイナミックマップには、例えば図48に示すように、路面情報、車線情報および3次元構造物などの静的な情報である最下層の基盤データ上に、準静的データと準動的データと動的データとが重畳されている。ここで、準静的データには、例えば交通規制情報、道路工事情報および広域気象情報などが含まれ、準動的データには例えば事故情報、渋滞情報および狭域気象情報などが含まれる。動的データには例えば周辺車両情報、歩行者情報および信号情報などITS(Intelligent Transport Systems:高度道路交通システム)の先読み情報などが含まれる。 FIG. 48 is an explanatory diagram showing an example of a dynamic map. A local dynamic map is a part of a dynamic map including the vicinity of a predetermined place. Dynamic information that changes every moment around the position of the vehicle is added to high-resolution map data that is static information such as roads and features. The map information is sophisticated by superimposing. For example, as shown in FIG. 48, the local dynamic map includes quasi-static data and quasi-dynamic data on the base data of the lowest layer, which is static information such as road surface information, lane information, and a three-dimensional structure. Dynamic data is superimposed. Here, the quasi-static data includes, for example, traffic regulation information, road construction information, and wide area weather information, and the quasi-dynamic data includes, for example, accident information, traffic jam information, and narrow area weather information. The dynamic data includes, for example, pre-read information of ITS (Intelligent Transport Systems) such as surrounding vehicle information, pedestrian information and signal information.
また、設置場所取得部は、GPS情報により取得した設置場所と、自車両に設置された車載カメラなどにより撮影さすることにより得られた画像に映るカーブミラーの周囲環境とから、カーブミラーの設置場所の特徴に関する情報を取得してもよい。さらに、カーブミラーの設置場所の特徴とは、上述した設置場所における物体の通過の態様であってもよい。具体的には、設置場所における物体の通過の態様は、人または車両の出入りの有無または程度である。 In addition, the installation location acquisition unit installs the curve mirror from the installation location acquired from the GPS information and the surrounding environment of the curve mirror reflected in the image obtained by shooting with an in-vehicle camera installed in the host vehicle. You may acquire the information regarding the feature of a place. Furthermore, the characteristic of the installation location of the curve mirror may be the manner in which an object passes through the installation location described above. Specifically, the manner of passage of an object at the installation location is the presence or absence or degree of entry or exit of a person or vehicle.
ここでは、カーブミラーの設置場所の特徴に関する情報とは、上述したようなマップ情報または撮影画像を用いて得られる事故が起こりやすい場所か否かを示す情報である。 Here, the information related to the characteristics of the installation location of the curve mirror is information indicating whether or not an accident is likely to occur, which is obtained using the map information or the captured image as described above.
図49A〜図49Eは、実施の形態3におけるカーブミラーの周囲環境の一例である。周囲環境は、例えば図49A〜図49Eに示すようなショッピングセンターなどの商業施設の出入り口である。なお、商業施設の出入り口は、図49A〜図49Eに示すようなバリエーションがあるため、設置場所取得部は、商業施設の出入り口が映る画像を入力とする学習(Deep Learningなど)により得られる商業施設の出入り口認識器を備えるとしてよい。これにより、設置場所取得部は、画像に映るカーブミラーの周囲環境を示す画像から、ショッピングモールの入庫口若しくは入口などの事故が起こりやすい場所を示す情報を取得することができる。 49A to 49E are examples of the surrounding environment of the curve mirror in the third exemplary embodiment. The surrounding environment is, for example, an entrance of a commercial facility such as a shopping center as shown in FIGS. 49A to 49E. In addition, since there are variations as shown in FIG. 49A to FIG. 49E, the installation location acquisition unit obtains the commercial facility obtained by learning (Deep Learning, etc.) using an image showing the entrance of the commercial facility as an input. The entrance / exit recognizer may be provided. Thereby, the installation location acquisition part can acquire the information which shows the place where accidents like a store entrance or an entrance of a shopping mall are likely to occur from the image showing the surrounding environment of the curve mirror shown in the image.
図50は、実施の形態3における設置場所取得部が用いるマップ86の一例を示す図である。
FIG. 50 is a diagram illustrating an example of the
設置場所取得部は、自車両の現在位置を図50に示すマップ86を取得後に画像に映るカーブミラーの周囲環境からカーブミラーの設置場所の特徴に関する情報を取得してもよい。自車両の現在位置が図50に示すマップ86上のショッピングセンターなどの商業施設860付近にあり、その後自車両の現在位置がGPS情報が取得できない商業施設860の屋内駐車場である場合において、商業施設860に自車両の現在位置があることを取得できるからである。これにより、設置場所取得部は、画像に映るカーブミラーの周囲環境から、商業施設860の入庫口または出庫口などの事故が起こりやすい場所を示す情報をより精度よく取得できるからである。
The installation location acquisition unit may acquire information related to the characteristics of the installation location of the curve mirror from the surrounding environment of the curve mirror displayed in the image after acquiring the
なお、自車両の現在位置がGPS情報が取得できるショッピングセンターの屋外駐車場である場合には、設置場所取得部は、地理情報からカーブミラーの設置場所の特徴に関する情報を取得してもよい。 In addition, when the current position of the host vehicle is an outdoor parking lot of a shopping center from which GPS information can be acquired, the installation location acquisition unit may acquire information related to the characteristics of the installation location of the curve mirror from the geographic information.
《第1危険度判定部1042》
第1危険度判定部1042は、設置場所取得部により取得されたカーブミラーの設置場所の特徴に関する情報に基づいて、自車両の事故が起こる可能性の高さを示す第1危険度を判定する。第1危険度判定部1042は、自車両の現在位置とマップ情報とに基づいて判定(取得)されたカーブミラーの設置場所の特徴に関する情報に基づいて第1危険度を判定してもよいし、画像に映るカーブミラーの周囲環境に基づいて判定(取得)されたカーブミラーの設置場所の特徴に関する情報に基づいて第1危険度を判定してもよい。
<< First
The first
まず、図51〜図54を用いて、第1危険度判定部1042が地理情報に基づいて第1危険度を判定する方法の一例について説明する。図51〜図54は、実施の形態3における第1危険度判定部1042が判定に用いるローカルダイナミックマップの一例を示す図である。図51〜図54において、同様の要素には同一の符号を付している。
First, an example of a method in which the first
図51には、自車両の現在位置により取得される通勤時間帯のローカルダイナミックマップ86tの一例が示されている。図51において、道路861、道路862、高速道路863よび道路864は、自車両が走行する可能性のある道路を示すとする。また、ローカルダイナミックマップ86tでは、動的に変化する交通事故、渋滞情報および、道路861を抜けて通勤する人が多いことを示す情報を含んでいるとする。
FIG. 51 shows an example of the local
この場合、第1危険度判定部1042は、ハッチングされた道路861において自車両の事故の起こる可能性が最も高いとして、道路861の第1危険度を大と判定する。また、第1危険度判定部1042は、道路861に繋がり、商業施設865を通る道路862であってハッチングされた道路862において自車両の事故の起こる可能性が次に高いとして、その第1危険度を中と判定する。第1危険度判定部1042は、道路861および862以外の高速道路863および道路864においては自車両の事故の起こる可能性が低いとして、その第1危険度を小と判定する。
In this case, the first
図52には、自車両の現在位置により取得される大型連休時のローカルダイナミックマップ86t1の一例が示されている。ローカルダイナミックマップ86t1では、動的に変化する交通事故、渋滞情報として、高速道路863で渋滞および事故発生が多いことを示す情報を含んでいるとする。この場合、第1危険度判定部1042は、ハッチングされた高速道路863において自車両の事故の起こる可能性が最も高いとして、高速道路863の第1危険度を大と判定する。また、第1危険度判定部1042は、高速道路863に繋がるハッチングされた道路862および道路864において自車両の事故の起こる可能性が次に高いとして、それらの第1危険度を中と判定する。第1危険度判定部1042は、高速道路863、道路862および道路864以外の道路862においては自車両の事故の起こる可能性が低いとして、その第1危険度を小と判定する。
Figure 52 is an example of a local
また、図53には、自車両の現在位置により取得される土日の午後の時間帯のローカルダイナミックマップ86t2の一例が示されている。ローカルダイナミックマップ86t2では、動的に変化する交通事故、渋滞情報として、ショッピングセンターなどの商業施設865が混雑する時間帯を示すグラフと商業施設865に繋がる道路862で渋滞および事故発生が多いことを示す情報を含んでいるとする。
Further, in FIG. 53, an example of a local
この場合、第1危険度判定部1042は、ハッチングされた道路862において自車両の事故の起こる可能性が最も高いとして、道路862の第1危険度を大と判定する。また、第1危険度判定部1042は、道路862に繋がるハッチングされた道路861において車両の事故の起こる可能性が次に高いとして、その第1危険度を中と判定する。第1危険度判定部1042は、道路861および道路862以外の高速道路863および道路864においては自車両の事故が起こる可能性が低いとして、それらの第1危険度を小と判定する。
In this case, the first risk
また、図54には、自車両の現在位置により取得されるイベント時のローカルダイナミックマップ86t3の一例が示されている。また、ローカルダイナミックマップ86t3では、動的に変化する交通事故、渋滞情報として、コンサートなどのイベントが発生したコンサート会場866に繋がる道路862で渋滞および事故発生が多いことを示す情報を含んでいるとする。
Further, in FIG. 54, an example of a local
この場合、第1危険度判定部1042は、ハッチングされた道路862において自車両の事故の起こる可能性が最も高いとして、道路862の第1危険度を大と判定する。また、第1危険度判定部1042は、道路862に繋がるハッチングされた道路861において車両の事故の起こる可能性が次に高いとして、その第1危険度を中と判定する。第1危険度判定部1042は、道路861および道路862以外の高速道路863および道路864においては自車両の事故が起こる可能性が低いとして、それらの第1危険度を小と判定する。
In this case, the first risk
このようにして、第1危険度判定部1042は、自車両の現在位置と、現在の時間、季節または現在イベントが発生している等により動的に変化する交通事故、渋滞情報を示す地理情報に基づいて第1危険度を判定することができる。
In this way, the first
次に、第1危険度判定部1042が画像に映るカーブミラーの周囲環境に基づいて第1危険度を判定する方法の一例について説明する。ここで、設置場所取得部は、画像に映るカーブミラーの周囲環境から、ショッピングセンターの出入り口または駐車場などのカーブミラーの設置場所の特徴に関する情報を取得しているとする。
Next, an example of a method in which the first
第1危険度判定部1042は、カーブミラーの設置場所の特徴に関する情報から自車両の現在位置がショッピングセンターなどの商業施設の駐車場であると推定される場合には、自車両の事故の起こる可能性が中程度であるとして、第1危険度を中と判定する。駐車場では自動車が多数停車しており、駐車場内での自車両の移動は見通しが悪いためである。一方、第1危険度判定部1042は、カーブミラーの設置場所の特徴に関する情報から自車両の現在位置がショッピングセンターなどの商業施設の出入り口または入庫口である場合には、自車両の事故の起こる可能性が高いとして、第1危険度を大と判定する。商業施設の出入り口では、移動中の人が多く、自車両と人との衝突可能性が高いからである。また、ショッピングセンターの入庫口では、通常傾斜があり自動車またはバイクが一旦停止後に加速または飛び出しをする可能性があり、自車両と人との衝突可能性が高いからである。
The first
《第2危険度判定部1043》
第2危険度判定部1043は、第1危険度判定部1042で判定された第1危険度とカーブミラーに映る物体の有無とに基づいて、自車両が進行するときに予測される危険度である第2危険度を判定する。
<< Second
The second risk
第2危険度判定部1043は、カーブミラーに映る物体が有るときには、自車両が進行するときに物体と衝突する危険性が高まることから、これを加味した第2危険度を判定する。より具体的には、第2危険度判定部1043は、第1危険度判定部1042で判定された第1危険度が小の場合、カーブミラーに映る物体が有るときには第2危険度を中と判定し、カーブミラーに映る物体が無ければ第2危険度を低と判定する。第2危険度判定部1043は、第1危険度判定部1042で判定された第1危険度が中の場合、カーブミラーに映る物体が有れば第2危険度を中と判定し、カーブミラーに映る物体が無ければ第2危険度を低と判定する。また、第2危険度判定部1043は、第1危険度判定部1042で判定された第1危険度が大の場合、カーブミラーに映る物体が有れば第2危険度を高と判定し、カーブミラーに映る物体が無ければ第2危険度を中と判定する。
When there is an object reflected on the curve mirror, the second
例えば、自車両の位置がショッピングモールの入庫口では、入庫口では自動車またはバイクが一旦停止後に加速まはた飛び出しをする可能性があるため、上述したように第1危険度判定部1042により第1危険度が中であると判定される。第2危険度判定部1043は、カーブミラーに映る車があるときには、入庫口付近に位置する自車両とその車との衝突可能性が高いとして第2危険度を中と判定する。一方、第2危険度判定部1043は、カーブミラーに映る車がないときには、自車両と車との衝突可能性が低くなるため、第2危険度を低と判定する。
For example, when the position of the own vehicle is a shopping mall entrance, there is a possibility that an automobile or a motorcycle may accelerate or jump out after stopping once at the entrance. It is determined that 1 risk level is medium. When there is a vehicle reflected on the curve mirror, the second risk
また、例えば自車両の位置がショッピングモールの出入り口近辺の場合、出入り口近辺では、人の出入りが多く事故の発生確率も増えることから、上述したように第1危険度判定部1042により第1危険度が大であると判定される。第2危険度判定部1043は、カーブミラーに映る人があるときには、出入り口近辺に位置する自車両と人との衝突可能性が高いとして第2危険度を高と判定する。一方、第2危険度判定部1043は、カーブミラーに映る人がないときには、自車両と人との衝突可能性が低くなるため、第2危険度を中と判定する。
Further, for example, when the position of the own vehicle is in the vicinity of the entrance / exit of the shopping mall, there are many people entering / exiting near the entrance / exit, and thus the probability of occurrence of an accident increases. Is determined to be large. When there is a person reflected on the curve mirror, the second risk
なお、第2危険度判定部1043は、第1危険度判定部1042で判定された第1危険度のみに基づいて、第2危険度を判定してもよい。この場合には、第2危険度判定部1043は、第1危険度判定部1042で判定された第1危険度が大であれば第2危険度を高と判定すればよい。同様に、第2危険度判定部1043は、第1危険度判定部1042で判定された第1危険度が中または小であれば第2危険度を中または低と判定すればよい。
Note that the second risk
このようにして、判定部104は、自車両の前方を時系列に連続して撮影することにより得られた画像に映るカーブミラーの設置場所の特徴として、第2危険度を判定する。
In this way, the
なお、例えば自車両の位置が自動車専用道路または高速の出入り口近辺の場所である場合、出入り口近辺では、車両専用道路等から出た車がスピードを緩めない可能性があり事故の発生確率も増えることから、第1危険度判定部1042は第1危険度を大であると判定してもよい。そして。第2危険度判定部1043は、カーブミラーに映る車があるときには、自車両と人との衝突可能性が高いとして第2危険度を高と判定すればよい。一方、第2危険度判定部1043は、カーブミラーに映る車がないときには、自車両と人との衝突可能性が低くなるため、第2危険度を中と判定してもよい。
For example, if the location of the host vehicle is a car-only road or a place near a high-speed doorway, there is a possibility that a car coming out of the car-only road may not slow down near the doorway, increasing the probability of an accident. Therefore, the first
なお、上記では、第2危険度の判定にカーブミラーに映る物体の有無が用いられる例を説明したが、第2危険度の判定にはカーブミラーに映る物体の種類、数、多寡または密集度などが用いられてもよい。 In the above description, the example in which the presence / absence of an object appearing on the curve mirror is used for the determination of the second risk level has been described. Etc. may be used.
<出力処理部102B>
出力処理部102Bは、判定部104で判定された特徴に基づいて運転支援情報を生成し、生成した運転支援情報を出力する。ここで、運転支援情報は、車両の挙動の制御指令情報を含んでいてもよいし、車両の乗員へ提示される提示情報を含んでいてもよい。提示情報は、カーブミラーの設置場所における特徴から予測される危険性を提示する情報を含んでもよい。
<
The
図55は、実施の形態3における出力処理部102Bの機能構成の一例を示す図である。
FIG. 55 is a diagram illustrating an example of a functional configuration of the
本実施の形態では、出力処理部102Bは、図55に示すように、情報生成部1032Bと、情報出力部1033Bとを備える。
In the present embodiment, the
《情報生成部1032B》
情報生成部1032Bは、判定部104で判定された特徴に基づいて運転支援情報を生成する。情報生成部1032Bは、判定された道路の態様または物体の通過の態様に応じた運転支援情報を生成してもよい。例えば、情報生成部1032Bは、判定された道路の態様または物体の通過の態様が車両の安全な走行を妨げる態様である場合、車両を減速、停止または迂回させるための運転支援情報を生成する。また、例えば、情報生成部1032Bは、判定部104で判定された、カーブミラーに物体が映っていること、または前記カーブミラーに映っている物体の多寡に応じて、車両を減速、停止または迂回させるための運転支援情報を生成してもよい。
<<
The
なお、情報生成部1032Bは、特徴から予測される危険性に応じて運転支援情報を生成してもよい。
Note that the
また、実施の形態2同様に、出力処理部102Bは、さらに、上述の死角画像が判定された場合に、運転支援情報を生成してもよい。例えば、出力処理部102Bは、死角判定部103により死角画像が判定された時、運転支援情報として、一定期間、車両を一時停止させるための情報を生成してもよい。
Similarly to the second embodiment, the
《情報出力部1033B》
情報出力部1033Bは、情報生成部1032Bにより生成された運転支援情報を出力する。
<<
The
以下、このように構成される出力処理部102Bが行う出力処理の一例について図を用いて説明する。図56および図57は、実施の形態3における出力処理部102Bが行う出力処理の一例を示す説明図である。図56には、曲線カーブ道路において実施の形態3における出力処理部102Bが出力する自車両の車両制御情報の一例が示されており、図57にはT字交差点において実施の形態3における出力処理部102Bが出力する自車両の車両制御情報の一例が示されている。なお、図56および図57には、第2危険度とその車両制御情報に加えて、カーブミラー設置場所に基づく第1危険度およびカーブミラーに映る物体の有無も合わせて示されている。
Hereinafter, an example of output processing performed by the
したがって、出力処理部102Bは、自車両が曲線カーブ道路に位置する場合には、第2危険度判定部1043により判定された第2危険度に基づいて、図56に示すように車両を制御するための車両制御情報を生成して出力すればよい。一方、出力処理部102Bは、自車両がT字交差点に位置する場合には、第2危険度判定部1043により判定された第2危険度に基づいて、図57に示すように車両を制御するための車両制御情報を生成して出力すればよい。
Therefore, when the host vehicle is located on a curved curve road, the
なお、第2危険度と車両制御情報との関係は、図16および図17で説明した危険度と車両制御情報との関係と同様であるため、ここでの詳細な説明は省略する。 Since the relationship between the second risk level and the vehicle control information is the same as the relationship between the risk level and the vehicle control information described with reference to FIGS. 16 and 17, detailed description thereof will be omitted here.
[システム1Bの動作]
次に、以上のように構成されたシステム1Bの情報処理方法について説明する。図58は、実施の形態3におけるシステム1Bの情報処理方法の概要を示すフローチャートである。図59は、実施の形態3におけるシステム1Bの情報処理方法の詳細を示すフローチャートである。なお、図19等と同様の要素には同一の符号を付しており、詳細な説明は省略する。
[Operation of system 1B]
Next, an information processing method of the system 1B configured as described above will be described. FIG. 58 is a flowchart showing an outline of the information processing method of system 1B in the third embodiment. FIG. 59 is a flowchart showing details of the information processing method of system 1B in the third embodiment. In addition, the same code | symbol is attached | subjected to the element similar to FIG. 19 etc., and detailed description is abbreviate | omitted.
図58に示すように、まず、システム1Bは、マップ情報または車両に搭載された撮像装置の撮像により得られる画像を示す画像情報を取得する(S30)。次に、システム1Bは、S30で取得したマップ情報または画像情報に基づいて、車両周辺のカーブミラーを検出する(S31)。次に、システム1Bは、カーブミラーの設置場所の特徴を、マップ情報または画像情報に基づいて判定する(S32)。次に、システム1Bは、S32で判定した特徴に基づいて、運転支援情報を生成する(S33)。そして、システム1Bは、S33で生成した運転支援情報を出力する(S34)。 As shown in FIG. 58, first, the system 1B acquires map information or image information indicating an image obtained by imaging by an imaging device mounted on a vehicle (S30). Next, the system 1B detects a curve mirror around the vehicle based on the map information or image information acquired in S30 (S31). Next, the system 1B determines the characteristics of the installation location of the curve mirror based on the map information or the image information (S32). Next, the system 1B generates driving support information based on the characteristics determined in S32 (S33). Then, the system 1B outputs the driving support information generated in S33 (S34).
より詳細には、図59に示すように、まず、システム1Bは、図58で説明したS30の処理を行う。より具体的には、システム1Bは、S30の処理において、マップ情報または車両に搭載された撮像装置の撮像により得られた画像を示す画像情報を取得する取得処理を行う(S301)。 More specifically, as shown in FIG. 59, the system 1B first performs the process of S30 described in FIG. More specifically, in the process of S30, the system 1B performs an acquisition process for acquiring map information or image information indicating an image obtained by imaging of an imaging device mounted on a vehicle (S301).
次に、システム1Bは、図58で説明したS31の処理を行う。より具体的には、システム1Bは、S31の処理において、S301で取得したマップ情報または画像情報に基づいて車両周辺のカーブミラーを検出する検出処理を行う(S302)。また、システム1Bは、S302で取得した画像情報に基づいてカーブミラーに映る物体を認識する認識処理を行う(S303)。 Next, the system 1B performs the process of S31 described in FIG. More specifically, in the process of S31, the system 1B performs a detection process of detecting a curve mirror around the vehicle based on the map information or image information acquired in S301 (S302). Further, the system 1B performs recognition processing for recognizing an object reflected on the curve mirror based on the image information acquired in S302 (S303).
次に、システム1Bは、図58で説明したS32の処理を行う。より具体的には、システム1Bは、S32の処理において、マップ情報または画像情報に基づいてカーブミラーの設置場所の特徴を判定する特徴判定処理を行う(S304)。次いで、システム1Bは、カーブミラーの設置場所の特徴に関する情報に基づいて、自車両の事故が起こる可能性の高さを示す第1危険度を判定する第1危険度判定処理を行う(S305)。次いで、システム1Bは、S305で判定された第1危険度とカーブミラーに映る物体の有無とに基づいて、自車両が進行するときに予測される危険度である第2危険度を判定する第2危険度判定処理を行う(S306)。なお、S304〜S306で行われる処理の詳細については上述した通りであるのでここでの詳細な説明は省略する。 Next, the system 1B performs the process of S32 described in FIG. More specifically, in the process of S32, the system 1B performs a feature determination process for determining the feature of the installation location of the curve mirror based on the map information or the image information (S304). Next, the system 1B performs a first risk determination process for determining a first risk that indicates a high possibility of an accident of the host vehicle based on information regarding characteristics of the installation location of the curve mirror (S305). . Next, the system 1B determines a second risk level that is a risk level predicted when the host vehicle travels based on the first risk level determined in S305 and the presence or absence of an object reflected on the curve mirror. 2. A risk determination process is performed (S306). Note that the details of the processing performed in S304 to S306 are as described above, and thus detailed description thereof is omitted here.
また、S33の処理において、システム1Bは、S306で判定された第2危険度に応じて、運転支援情報として生成する情報生成処理を行う(S307)。なお、S307で行われる処理の詳細については上述した通りであるのでここでの説明は省略する。 In the process of S33, the system 1B performs an information generation process for generating the driving support information according to the second risk determined in S306 (S307). Note that the details of the processing performed in S307 are as described above, and thus the description thereof is omitted here.
そして、システム1Bは、図57で説明したS34の処理を行う。より具体的には、S34において、システム1Bは、S307で生成された運転支援情報等を出力する情報出力処理を行う(S308)。
Then, the system 1B performs the process of S34 described with reference to FIG. More specifically, in S <b> 34, the
[実施の形態3の効果等]
以上のように、実施の形態3に係る情報処理装置10Bまたはシステム1Bによれば、交差点に加えて駐車場または商業施設の出入口等の見通しが悪い場所においても、カーブミラーを利用することで、車両が進行するときの危険度(すなわち第2危険度)を判定することができる。そして、判定した第2危険度に基づいて車両の運転支援情報を生成して出力することができるので、情報処理装置10Bを搭載した車両の安全運転を支援することができる。
[Effects of
As described above, according to the
具体的には、カーブミラーの設置場所の特徴すなわちカーブミラーの設置場所が交差点または駐車場、商業施設の出入口、車両専用道路の出口付近など見通しが悪く事故が起こりやすい場所である場合、自車両にも事故が発生する可能性がある。つまり、この場所近辺に位置する車両を進行させた場合、自車両に事故が発生してしまう危険性がある。さらに、カーブミラーの設置場所が見通しが悪く事故が起こりやすい場所である場合、カーブミラーに物体が映っている場合には、さらに自車両に事故が発生してしまう危険性が高くなる。 Specifically, if the installation location of the curve mirror, that is, the location where the curve mirror is installed is an intersection or a parking lot, a commercial facility entrance or exit near a vehicle road, etc. Accidents can also occur. That is, if a vehicle located in the vicinity of this place is advanced, there is a risk that an accident will occur in the own vehicle. Furthermore, when the installation location of the curve mirror is a place where the prospect is poor and an accident is likely to occur, when an object is reflected on the curve mirror, the risk of an accident occurring in the own vehicle further increases.
そこで、本実施の形態では、一時停止中または進行中の車両から得ることのできる画像に映るカーブミラーの設置場所の特徴とカーブミラーに映る物体の有無とから、車両が進行するときに予測される危険度である第2危険度を判定する。 Therefore, in this embodiment, it is predicted when the vehicle travels from the characteristics of the installation location of the curve mirror reflected in the image that can be obtained from the vehicle that is paused or in progress and the presence or absence of the object reflected in the curve mirror. The second risk level is determined.
このように、実施の形態3に係る情報処理装置10Bは、カーブミラーを利用することで、車両が進行するときの危険度である第2危険度)を判定することができる。
As described above, the
なお、上述したように、一時停止中または進行中の車両から得ることのできる画像に映るカーブミラーの設置場所の特徴のみから、車両が進行するときに予測される危険度である第2危険度を判定してもよい。 Note that, as described above, the second risk level, which is a risk level predicted when the vehicle travels, is based only on the characteristics of the installation location of the curve mirror reflected in the image that can be obtained from the temporarily stopped or ongoing vehicle. May be determined.
また、例えば自動運転中の車両が情報処理装置10Bを備える場合には、当該車両は、上記のようにカーブミラーを利用して、第2危険度を判定することできるので、判定した第2危険度に応じて車両制御を行うことができる。
In addition, for example, when a vehicle during automatic driving includes the
以上のように、実施の形態3に係る情報処理装置10Bまたはシステム1Bによれば、見通しが悪い場所において、カーブミラーを利用することで、車両の安全運転を支援することができる。
As described above, according to the
(変形例1)
実施の形態3では、カーブミラーの設置場所の特徴とカーブミラーに映る物体の有無と車両が進行するときに予測される危険度である第2危険度を判定する場合について説明したが、これに限らない。認識部13Bがカーブミラーに映る物体の属性を認識し、判定部104が当該属性を考慮して危険度を判定してもよい。本変形例では、カーブミラーに映る物体が有する移動速度に関する属性をさらに考慮して危険度を判定する場合について説明する。
(Modification 1)
In the third embodiment, the characteristics of the installation location of the curve mirror, the presence / absence of an object reflected on the curve mirror, and the case of determining the second risk level, which is the risk level predicted when the vehicle travels, have been described. Not exclusively. The
図60は、実施の形態3の変形例1における第2危険度判定部1043が行う第2危険度判定処理の一例を示す説明図である。なお、図56および図57と同様の内容には同一の文言が記載されており、詳細な説明は省略する。また、低、中または高の第2危険度に基づく、自車両の車両制御情報は、図56または図57に示す通りでよいため、図60では図示を省略している。
FIG. 60 is an explanatory diagram illustrating an example of the second risk determination process performed by the second
図60に示すように、物体が人物である場合には、第2危険度判定部1043は、図56および図57と同様の第2危険度を判定すればよい。一方で、物体が人物よりも移動速度の速い自転車、バイクまたは自動車である場合には、第2危険度判定部1043は、移動速度に応じて物体が人物であるときよりも高い第2危険度を判定すればよい。
As shown in FIG. 60, when the object is a person, the second
以上のように、本変形例では、第2危険度判定部1043は、認識部13Bにより認識された物体の属性に応じて変化させた第2危険度を判定する。その結果、出力処理部102Bは、運転支援情報を、認識部13Bにより認識された物体の属性に応じて生成して、生成した運転支援情報を出力することができる。
As described above, in the present modification, the second risk
(変形例2)
変形例1では、カーブミラーに映る物体が有する移動速度に関する属性をさらに考慮して第2危険度を判定する場合について説明したが、これに限らない。カーブミラーに映る物体が人である場合には、その人の年齢に関する属性をさらに考慮して第2危険度を判定してもよい。この場合を変形例2として以下に説明する。
(Modification 2)
In the first modification, the case has been described in which the second risk level is determined in consideration of the attribute relating to the moving speed of the object reflected on the curved mirror, but the present invention is not limited to this. When the object reflected on the curve mirror is a person, the second risk level may be determined by further considering an attribute related to the age of the person. This case will be described below as a second modification.
図61は、実施の形態3の変形例2における第2危険度判定部1043が行う第2危険度判定処理の一例を示す説明図である。なお、図56および図57と同様の内容には同一の文言が記載されており、詳細な説明は省略する。また、低、中または高の第2危険度に基づく、自車両の車両制御情報は、図56または図57に示す通りでよいため、図60でも図示を省略している。
FIG. 61 is an explanatory diagram illustrating an example of the second risk determination process performed by the second
図61に示すように、物体が人物であり、かつその人物が子供またはお年寄りである場合には、第2危険度判定部1043は、図56および図57と同様の第2危険度を判定すればよい。一方で、物体が人物であり、かつ、その人物が子供およびお年寄り以外のその他である場合には、第2危険度判定部1043は、人物が子供またはお年寄りであるときよりも高い第2危険度を判定すればよい。
As shown in FIG. 61, when the object is a person and the person is a child or an elderly person, the second
以上のように、本変形例では、第2危険度判定部1043は、認識部13Bにより認識された物体の属性が人物の場合、認識部13Bにより認識された当該物体の年齢に応じて変化させた第2危険度を判定する。その結果、出力処理部102Bは、認識部13Bにより認識された物体の属性が人物の場合、認識部13Bにより認識された当該物体の年齢に応じて運転支援情報を変化させて生成し、生成した運転支援情報を出力することができる。なお、上記では、年齢に関する情報が人物の世代である例を説明したが、年齢に関する情報は人物の年齢または年代であってもよい。
As described above, in the present modification, when the attribute of the object recognized by the
(変形例3)
変形例2では、カーブミラーに映る物体が人である場合には、その人の年齢に関する属性をさらに考慮して第2危険度を判定する場合について説明したが、これに限らない。カーブミラーに映る物体が人である場合に、さらに、第2危険度判定部1043は、その人がスマートフォンなどの携帯端末を見ながら歩いているか否かという属性をさらに考慮して第2危険度を判定してもよい。具体的には、不注意行動は、非前方視行動である。例えば、非前方視行動は、スマートフォンなどの携帯端末または本などの注視がある。この場合を変形例3として以下に説明する。
(Modification 3)
In the second modification, when the object reflected on the curved mirror is a person, the second risk level is determined in consideration of the attribute related to the age of the person. However, the present invention is not limited to this. When the object reflected on the curve mirror is a person, the second
図62は、実施の形態3の変形例3における第2危険度判定部1043が行う第2危険度判定処理の一例を示す説明図である。なお、図56および図57と同様の内容には同一の文言が記載されており、詳細な説明は省略する。また、低、中または高の第2危険度に基づく、自車両の車両制御情報は、図56または図57に示す通りでよいため、図60では図示を省略している。
FIG. 62 is an explanatory diagram illustrating an example of the second risk determination process performed by the second
図62に示すように、物体が人物であり、かつその人物が携帯端末を見て移動行動を行う非前方視行動をしていないすなわちその人物が携帯端末を見ながら歩いていない場合には、第2危険度判定部1043は、図56および図57のときと同様の第2危険度を判定すればよい。一方で、物体が人物であり、かつ、その人物が非前方視行動をしているすなわちその人物が携帯端末を見ながら歩いている場合には、第2危険度判定部1043はその人物が非前方視行動をしていないときよりも高い第2危険度を判定すればよい。なお、上記では、不注意行動が非前方視行動である例を説明したが、不注意行動は、人物の前方だが上方または下方を見ている行動、または人物の前方にある乳母車もしくはボールなどの特定物を注視している行動であってもよい。
As shown in FIG. 62, when the object is a person and the person does not perform the non-forward-viewing behavior in which the person sees the mobile terminal and performs the moving action, that is, the person is not walking while watching the mobile terminal, The second risk
以上のように、本変形例では、第2危険度判定部1043は、認識部13Bにより認識された物体の属性が人物の場合、認識部13Bにより認識された物体が不注意行動をしているか否かに応じて変化させた第2危険度を判定する。その結果、出力処理部102Bは、認識部13Bにより認識された物体の属性が人物の場合、認識部13Bにより認識された物体が不注意行動をしているか否かに応じて運転支援情報を変化させて生成し、出力することができる。
As described above, in this modification, the second
以上のように、本開示の情報処理装置および情報処理方法等によれば、交差点など見通しが悪い場所において、当該場所に設置されたカーブミラーを利用することで車両の安全運転を支援することができる。また、日本以外の国では、あまりカーブミラーが普及していないこともあるが、交通事故の防止等の観点から将来的に見通しの悪い場所に交通事故防止のための何らかの設備が配置される可能性がある。ここで、本開示の各実施形態に係る情報処理装置等を用いられれば、配置される設備を高価な設備(例えばレーダーなど)にすることなく、安価なカーブミラーで交通の安全性を高めることができる。 As described above, according to the information processing apparatus, the information processing method, and the like of the present disclosure, it is possible to support safe driving of a vehicle by using a curve mirror installed in the place such as an intersection where visibility is bad. it can. In countries other than Japan, curved mirrors may not be widely used, but some facilities for preventing traffic accidents may be placed in places with poor prospects in the future from the viewpoint of preventing traffic accidents. There is sex. Here, if an information processing apparatus or the like according to each embodiment of the present disclosure is used, traffic safety is improved with an inexpensive curve mirror without using expensive equipment (for example, radar) as an installed equipment. Can do.
なお、上記の実施の形態等では、カーブミラーの形状は、円状または矩形状として説明したが、これに限らない。設置されたカーブミラーの形状がなんらかの理由により変形しミラーの表面が凸凹状になっている場合またはカーブミラーの鏡面が曇っている場合も本開示の範囲に含まれる。この場合、カーブミラーに映る物体の認識に信頼度を導入し、信頼度が閾値以下である場合には、カーブミラーに映る物体の情報が信頼できないとして、本開示の情報処理方法を使用しないとしてもよい。 In the above-described embodiment and the like, the shape of the curve mirror has been described as a circular shape or a rectangular shape, but is not limited thereto. The scope of the present disclosure also includes the case where the shape of the installed curved mirror is deformed for some reason and the surface of the mirror is uneven or the mirror surface of the curved mirror is cloudy. In this case, if the reliability is introduced into the recognition of the object reflected on the curve mirror and the reliability is equal to or lower than the threshold, the information processing method of the present disclosure is not used because the information of the object reflected on the curve mirror is not reliable Also good.
以上、本開示の情報処理装置および情報処理方法等について、実施の形態に基づいて説明したが、本発明は、この実施の形態に限定されるものではない。本発明の趣旨を逸脱しない限り、当業者が思いつく各種変形を本実施の形態に施したもの、または、異なる実施の形態における構成要素を組み合わせて構築される形態も、本発明の一つまたは複数の態様の範囲内に含まれてもよい。例えば、以下のような場合も本発明に含まれる。 As described above, the information processing apparatus, the information processing method, and the like of the present disclosure have been described based on the embodiment, but the present invention is not limited to this embodiment. Without departing from the spirit of the present invention, one or more of the present invention may be applied to various modifications that can be conceived by those skilled in the art, or forms constructed by combining components in different embodiments. It may be included within the scope of the embodiment. For example, the present invention includes the following cases.
(1)上記の各装置は、具体的には、マイクロプロセッサ、ROM、RAM、ハードディスクユニット、ディスプレイユニット、キーボード、マウスなどを備えるコンピュータシステムである。前記RAMまたはハードディスクユニットには、コンピュータプログラムが記憶されている。前記マイクロプロセッサが、前記コンピュータプログラムにしたがって動作することにより、各装置は、その機能を達成する。ここでコンピュータプログラムは、所定の機能を達成するために、コンピュータに対する指令を示す命令コードが複数個組み合わされて構成されたものである。 (1) Each of the above devices is specifically a computer system including a microprocessor, ROM, RAM, a hard disk unit, a display unit, a keyboard, a mouse, and the like. A computer program is stored in the RAM or hard disk unit. Each device achieves its functions by the microprocessor operating according to the computer program. Here, the computer program is configured by combining a plurality of instruction codes indicating instructions for the computer in order to achieve a predetermined function.
(2)上記の各装置を構成する構成要素の一部または全部は、1個のシステムLSI(Large Scale Integration:大規模集積回路)を備えるとしてもよい。システムLSIは、複数の構成部を1個のチップ上に集積して製造された超多機能LSIであり、具体的には、マイクロプロセッサ、ROM、RAMなどを含んで構成されるコンピュータシステムである。前記RAMには、コンピュータプログラムが記憶されている。前記マイクロプロセッサが、前記コンピュータプログラムにしたがって動作することにより、システムLSIは、その機能を達成する。 (2) A part or all of the components constituting each of the above devices may include one system LSI (Large Scale Integration). The system LSI is an ultra-multifunctional LSI manufactured by integrating a plurality of components on a single chip, and specifically, a computer system including a microprocessor, ROM, RAM, and the like. . A computer program is stored in the RAM. The system LSI achieves its functions by the microprocessor operating according to the computer program.
(3)上記の各装置を構成する構成要素の一部または全部は、各装置に脱着可能なICカードまたは単体のモジュールを備えるとしてもよい。前記ICカードまたは前記モジュールは、マイクロプロセッサ、ROM、RAMなどを備えるコンピュータシステムである。前記ICカードまたは前記モジュールは、上記の超多機能LSIを含むとしてもよい。マイクロプロセッサが、コンピュータプログラムにしたがって動作することにより、前記ICカードまたは前記モジュールは、その機能を達成する。このICカードまたはこのモジュールは、耐タンパ性を有するとしてもよい。 (3) A part or all of the components constituting each of the above devices may include an IC card that can be attached to and detached from each device or a single module. The IC card or the module is a computer system including a microprocessor, a ROM, a RAM, and the like. The IC card or the module may include the super multifunctional LSI described above. The IC card or the module achieves its function by the microprocessor operating according to the computer program. This IC card or this module may have tamper resistance.
(4)本開示は、上記に示す方法であるとしてもよい。また、これらの方法をコンピュータにより実現するコンピュータプログラムであるとしてもよいし、前記コンピュータプログラムからなるデジタル信号であるとしてもよい。 (4) The present disclosure may be the method described above. Further, the present invention may be a computer program that realizes these methods by a computer, or may be a digital signal composed of the computer program.
(5)また、本開示は、前記コンピュータプログラムまたは前記デジタル信号をコンピュータで読み取り可能な記録媒体、例えば、フレキシブルディスク、ハードディスク、CD−ROM、MO、DVD、DVD−ROM、DVD−RAM、BD(Blu−ray(登録商標) Disc)、半導体メモリなどに記録したものとしてもよい。また、これらの記録媒体に記録されている前記デジタル信号であるとしてもよい。 (5) In addition, the present disclosure provides a computer-readable recording medium such as a flexible disk, hard disk, CD-ROM, MO, DVD, DVD-ROM, DVD-RAM, BD ( It may be recorded on a Blu-ray (registered trademark) Disc), a semiconductor memory, or the like. The digital signal may be recorded on these recording media.
(6)また、本開示は、前記コンピュータプログラムまたは前記デジタル信号を、電気通信回線、無線または有線通信回線、インターネットを代表とするネットワーク、データ放送等を経由して伝送するものとしてもよい。 (6) Further, the present disclosure may transmit the computer program or the digital signal via an electric communication line, a wireless or wired communication line, a network represented by the Internet, a data broadcast, or the like.
(7)また、本開示は、マイクロプロセッサとメモリを備えたコンピュータシステムであって、前記メモリは、上記コンピュータプログラムを記憶しており、前記マイクロプロセッサは、前記コンピュータプログラムにしたがって動作するとしてもよい。 (7) The present disclosure may be a computer system including a microprocessor and a memory, the memory storing the computer program, and the microprocessor operating according to the computer program. .
(8)また、前記プログラムまたは前記デジタル信号を前記記録媒体に記録して移送することにより、または前記プログラムまたは前記デジタル信号を、前記ネットワーク等を経由して移送することにより、独立した他のコンピュータシステムにより実施するとしてもよい。 (8) Further, by recording and transferring the program or the digital signal on the recording medium, or by transferring the program or the digital signal via the network or the like, another independent computer It may be implemented by the system.
本開示は、自動運転を行うための車両に搭載される車載カメラ、CAN(Controller Area Network)などのシステムまたは、運転支援を行うための情報処理装置またはシステム等に利用できる。 The present disclosure can be used for a system such as an in-vehicle camera and a CAN (Controller Area Network) mounted on a vehicle for automatic driving, an information processing apparatus or system for driving support, and the like.
1、1A、1B システム
2、2a、3 車両
10、10A、10B 情報処理装置
11 画像取得部
11B 取得部
12、12B 検出部
12a、12b 検出処理部
13、13B 認識部
50、50a、50j、50j+1、50j+2、50j+3、50k、50k+1、
50k+2、50k+3、50m、50m+150m+2、50m+3、50n、50n+1、50n+2 画像
51、51m、51m+1、51m+2、51n+1、51n+2、51´、51´n+1、51´n+2、71、72、73、74、75 カーブミラー
51a エッジ
52 ミラー形状フィルタ
52a マッチング領域
53、53a 位置
54、54a 類似度マップ
60、60m、60m+1、60m+2、60n+1、60n+2、60´、60´n+1、60´n+2 人
61m+1、61m+2 動物体
64、64m、64m+1、64m+2 物体
80 路面領域
82 中心軸
86 マップ
86t、86t1、86t2、86t3 ローカルダイナミックマップ
101、101A 算出部
102、102A、102B 出力処理部
103 死角判定部
104 判定部
111 センシング部
112 画像記録部
860、865 商業施設
861、862、864 道路
863 高速道路
866 コンサート会場
1011 差異算出部
1012、1014 物体サイズ算出部
1013 物体位置算出部
1015 路面領域算出部
1016 中心軸算出部
1031、1031A 危険予測部
1032、1032A、1032B 情報生成部
1033、1033A、1033B 情報出力部
1041 特徴判定部
1042 第1危険度判定部
1043 第2危険度判定部
1, 1A,
50 k + 2, 50 k + 3, 50 m, 50 m + 1 50 m + 2, 50 m + 3, 50 n, 50 n + 1, 50 n + 2
Claims (18)
前記マップ情報または前記画像情報に基づいて前記車両周辺のカーブミラーを検出する検出部と、
検出された前記カーブミラーの設置場所の特徴を前記マップ情報または前記画像情報に基づいて判定する特徴判定部と、
判定された前記特徴に基づいて運転支援情報を生成する生成部と、
生成された前記運転支援情報を出力する出力部と、を備える、
情報処理装置。 An acquisition unit for acquiring map information or image information indicating an image obtained by imaging of an imaging device mounted on a vehicle;
A detection unit for detecting a curve mirror around the vehicle based on the map information or the image information;
A feature determination unit that determines the characteristics of the installation location of the detected curve mirror based on the map information or the image information;
A generator that generates driving support information based on the determined characteristics;
An output unit for outputting the generated driving support information,
Information processing device.
前記特徴判定部は、検出された前記カーブミラーの周辺の前記マップ情報に基づいて前記特徴を判定する、
請求項1に記載の情報処理装置。 The detection unit detects the curve mirror based on a position of the vehicle and an installation location of the curve mirror indicated by the map information,
The feature determination unit determines the feature based on the map information around the detected curve mirror;
The information processing apparatus according to claim 1.
前記特徴は、前記カーブミラーの設置場所における道路の態様または前記設置場所における物体の通過の態様を含み、
前記特徴判定部は、前記追加マップ情報から前記道路の態様または前記物体の通過の態様を判定し、
前記生成部は、判定された前記道路の態様または前記物体の通過の態様に応じた前記運転支援情報を生成する、
請求項2に記載の情報処理装置。 The map information includes additional map information indicating at least one of a traffic accident, traffic jam, construction, road surface condition, and weather on the map,
The characteristics include an aspect of a road at an installation location of the curve mirror or an aspect of passage of an object at the installation location,
The feature determination unit determines a mode of the road or a mode of passage of the object from the additional map information,
The generation unit generates the driving support information according to the determined aspect of the road or the aspect of passage of the object.
The information processing apparatus according to claim 2.
前記特徴判定部は、前記カーブミラーの周囲環境に基づいて前記特徴を判定する、
請求項1〜3のいずれか1項に記載の情報処理装置。 The detection unit detects the curve mirror based on the image information using the identification information of the curve mirror or the identifier of the curve mirror, recognizes the environment around the curve mirror,
The feature determination unit determines the feature based on an ambient environment of the curve mirror.
The information processing apparatus according to any one of claims 1 to 3.
前記特徴判定部は、前記カーブミラーの周囲環境から前記道路の態様または前記物体の通過の態様を判定し、
前記生成部は、判定された前記道路の態様または前記物体の通過の態様に応じた前記運転支援情報を生成する、
請求項4に記載の情報処理装置。 The characteristics include an aspect of a road at an installation location of the curve mirror or an aspect of passage of an object at the installation location,
The feature determination unit determines the mode of the road or the mode of passage of the object from the surrounding environment of the curve mirror,
The generation unit generates the driving support information according to the determined aspect of the road or the aspect of passage of the object.
The information processing apparatus according to claim 4.
請求項3または5に記載の情報処理装置。 The generation unit generates the driving support information for decelerating, stopping, or detouring the vehicle when the determined aspect of the road or the passage of the object is an aspect that hinders safe driving of the vehicle. To
The information processing apparatus according to claim 3 or 5.
請求項2〜6のいずれか1項に記載の情報処理装置。 The feature determination unit further determines the feature based on an object reflected on the curve mirror.
The information processing apparatus according to any one of claims 2 to 6.
請求項7に記載の情報処理装置。 The feature determination unit generates the driving support information for decelerating, stopping, or detouring the vehicle according to whether an object is reflected on the curve mirror or the number of objects reflected on the curve mirror. ,
The information processing apparatus according to claim 7.
請求項1〜8のいずれか1項に記載の情報処理装置。 The generation unit generates the driving support information according to a risk predicted from the characteristics.
The information processing apparatus according to any one of claims 1 to 8.
請求項1〜9のいずれか1項に記載の情報処理装置。 The driving support information includes control command information on the behavior of the vehicle,
The information processing apparatus according to claim 1.
請求項1〜10のいずれか1項に記載の情報処理装置。 The driving support information includes presentation information presented to a passenger of the vehicle.
The information processing apparatus according to claim 1.
請求項11に記載の情報処理装置。 The presentation information includes information presenting a risk predicted from the characteristics at the installation location of the curve mirror,
The information processing apparatus according to claim 11.
前記カーブミラーに映る物体を認識する認識部を備える、
請求項1〜12のいずれか1項に記載の情報処理装置。 The information processing apparatus includes:
A recognition unit for recognizing an object reflected on the curved mirror;
The information processing apparatus according to claim 1.
請求項13に記載の情報処理装置。 The generation unit generates the driving support information according to the attribute of the object recognized by the recognition unit.
The information processing apparatus according to claim 13.
請求項13に記載の情報処理装置。 When the attribute of the object recognized by the recognition unit is a person, the generation unit generates the driving support information by changing the information related to the age of the object recognized by the recognition unit.
The information processing apparatus according to claim 13.
請求項13に記載の情報処理装置。 When the attribute of the object recognized by the recognition unit is a person, the generation unit changes the driving support information depending on whether or not the object recognized by the recognition unit is inattentive. Generated,
The information processing apparatus according to claim 13.
マップ情報または車両に搭載された撮像装置の撮像により得られる画像を示す画像情報を取得し、
前記マップ情報または前記画像情報に基づいて前記車両周辺のカーブミラーを検出し、
検出された前記カーブミラーの設置場所の特徴を前記マップ情報または前記画像情報に基づいて判定し、
判定された前記特徴に基づいて運転支援情報を生成し、
生成された前記運転支援情報を出力する、
情報処理方法。 Using a processor
Obtain image information indicating map information or an image obtained by imaging by an imaging device mounted on a vehicle,
Detecting a curve mirror around the vehicle based on the map information or the image information,
Determining the characteristics of the installation location of the detected curve mirror based on the map information or the image information;
Generating driving support information based on the determined characteristics;
Outputting the generated driving assistance information;
Information processing method.
マップ情報または車両に搭載された撮像装置の撮像により得られる画像を示す画像情報を取得し、
前記マップ情報または前記画像情報に基づいて前記車両周辺のカーブミラーを検出し、
検出された前記カーブミラーの設置場所の特徴を前記マップ情報または前記画像情報に基づいて判定し、
判定された前記特徴に基づいて運転支援情報を生成し、
生成された前記運転支援情報を出力する、
プログラム。 A computer-readable program for performing an information processing method,
Obtain image information indicating map information or an image obtained by imaging by an imaging device mounted on a vehicle,
Detecting a curve mirror around the vehicle based on the map information or the image information,
Determining the characteristics of the installation location of the detected curve mirror based on the map information or the image information;
Generating driving support information based on the determined characteristics;
Outputting the generated driving assistance information;
program.
Priority Applications (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US15/832,818 US10272916B2 (en) | 2016-12-27 | 2017-12-06 | Information processing apparatus, information processing method, and recording medium |
EP17206308.3A EP3343534B1 (en) | 2016-12-27 | 2017-12-11 | Apparatus, method and computer program for providing driving assistance information |
CN201711380091.6A CN108248602B (en) | 2016-12-27 | 2017-12-20 | Information processing apparatus, information processing method, and recording medium |
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2016254514 | 2016-12-27 | ||
JP2016254514 | 2016-12-27 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2018106667A true JP2018106667A (en) | 2018-07-05 |
JP7051326B2 JP7051326B2 (en) | 2022-04-11 |
Family
ID=62788106
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2017153605A Active JP7051326B2 (en) | 2016-12-27 | 2017-08-08 | Information processing equipment, information processing methods and programs |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP7051326B2 (en) |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113232659A (en) * | 2020-02-06 | 2021-08-10 | 丰田自动车株式会社 | Blind spot information acquisition device and method, vehicle, and recording medium having program recorded thereon |
JP2022016902A (en) * | 2020-07-13 | 2022-01-25 | 三菱ロジスネクスト株式会社 | Human detection apparatus, industrial vehicle, and human detection method |
WO2024047818A1 (en) * | 2022-08-31 | 2024-03-07 | 株式会社Subaru | Driving assistance system, vehicle, recording medium having computer program recorded therein, and driving assistance method |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2007102691A (en) * | 2005-10-07 | 2007-04-19 | Denso Corp | View-field support apparatus for vehicle |
JP2009116527A (en) * | 2007-11-05 | 2009-05-28 | Mazda Motor Corp | Obstacle detecting apparatus for vehicle |
JP2009211624A (en) * | 2008-03-06 | 2009-09-17 | Aisin Aw Co Ltd | Driving support device, driving support method, and computer program |
JP2009271758A (en) * | 2008-05-08 | 2009-11-19 | Denso Corp | Image-recognizing device |
JP2010122821A (en) * | 2008-11-18 | 2010-06-03 | Fujitsu Ten Ltd | Vehicle driving support device |
-
2017
- 2017-08-08 JP JP2017153605A patent/JP7051326B2/en active Active
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2007102691A (en) * | 2005-10-07 | 2007-04-19 | Denso Corp | View-field support apparatus for vehicle |
JP2009116527A (en) * | 2007-11-05 | 2009-05-28 | Mazda Motor Corp | Obstacle detecting apparatus for vehicle |
JP2009211624A (en) * | 2008-03-06 | 2009-09-17 | Aisin Aw Co Ltd | Driving support device, driving support method, and computer program |
JP2009271758A (en) * | 2008-05-08 | 2009-11-19 | Denso Corp | Image-recognizing device |
JP2010122821A (en) * | 2008-11-18 | 2010-06-03 | Fujitsu Ten Ltd | Vehicle driving support device |
Cited By (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113232659A (en) * | 2020-02-06 | 2021-08-10 | 丰田自动车株式会社 | Blind spot information acquisition device and method, vehicle, and recording medium having program recorded thereon |
CN113232659B (en) * | 2020-02-06 | 2023-12-26 | 丰田自动车株式会社 | Dead angle information acquisition device and method, vehicle, and recording medium having program recorded thereon |
JP2022016902A (en) * | 2020-07-13 | 2022-01-25 | 三菱ロジスネクスト株式会社 | Human detection apparatus, industrial vehicle, and human detection method |
JP7149990B2 (en) | 2020-07-13 | 2022-10-07 | 三菱ロジスネクスト株式会社 | HUMAN DETECTION DEVICE, INDUSTRIAL VEHICLE, AND HUMAN DETECTION METHOD |
WO2024047818A1 (en) * | 2022-08-31 | 2024-03-07 | 株式会社Subaru | Driving assistance system, vehicle, recording medium having computer program recorded therein, and driving assistance method |
Also Published As
Publication number | Publication date |
---|---|
JP7051326B2 (en) | 2022-04-11 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN108241851B (en) | Information processing apparatus, information processing method, and program | |
CN108248602B (en) | Information processing apparatus, information processing method, and recording medium | |
CN108242182B (en) | Information processing apparatus, information processing method, and recording medium | |
US11250708B2 (en) | Moving object control apparatus, moving object control method, and moving object | |
JP6651031B2 (en) | Vehicle door collision prevention device and vehicle door collision prevention method | |
JP2005309797A (en) | Warning device for pedestrian | |
JP7051326B2 (en) | Information processing equipment, information processing methods and programs | |
WO2022138123A1 (en) | Available parking space identification device, available parking space identification method, and program | |
JP6901937B2 (en) | Information processing equipment, information processing methods and programs | |
JP6953228B2 (en) | Information processing equipment, information processing methods and programs | |
KR101702950B1 (en) | Display apparatus for vehicle and control method for the same | |
JP2022098397A (en) | Device and method for processing information, and program | |
JP7359099B2 (en) | Mobile object interference detection device, mobile object interference detection system, and mobile object interference detection program | |
CN114207685B (en) | Autonomous vehicle interaction system | |
CN114265403B (en) | Automatic parking method, system, equipment and vehicle based on welcome guidance | |
KR102322815B1 (en) | Electronic Device and the Method for Detecting Occupancy Lane of Road Event Based on Camera | |
JP7287342B2 (en) | electronic controller | |
JP2022118053A (en) | output device | |
KR20220095523A (en) | System for offering the information of the vehicles near to the parked vehicles with the artificial intelligence recognition | |
JP2023026559A (en) | Driving support device, driving support method, program, and vehicle |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20200219 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20210511 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20210621 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20210824 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20211008 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20211214 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20220131 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20220315 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20220330 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7051326 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |