JP2017092766A - Image processing device, information display system, image processing method and program - Google Patents
Image processing device, information display system, image processing method and program Download PDFInfo
- Publication number
- JP2017092766A JP2017092766A JP2015222208A JP2015222208A JP2017092766A JP 2017092766 A JP2017092766 A JP 2017092766A JP 2015222208 A JP2015222208 A JP 2015222208A JP 2015222208 A JP2015222208 A JP 2015222208A JP 2017092766 A JP2017092766 A JP 2017092766A
- Authority
- JP
- Japan
- Prior art keywords
- image
- vehicle
- rearview mirror
- background
- background image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000012545 processing Methods 0.000 title claims abstract description 61
- 238000003672 processing method Methods 0.000 title abstract description 15
- 238000003384 imaging method Methods 0.000 claims abstract description 23
- 238000006243 chemical reaction Methods 0.000 claims description 14
- 230000015572 biosynthetic process Effects 0.000 claims description 6
- 238000003786 synthesis reaction Methods 0.000 claims description 6
- 230000002194 synthesizing effect Effects 0.000 claims 2
- 238000010586 diagram Methods 0.000 description 24
- 238000000034 method Methods 0.000 description 18
- 230000006870 function Effects 0.000 description 17
- 230000000007 visual effect Effects 0.000 description 11
- 238000012937 correction Methods 0.000 description 7
- 238000001514 detection method Methods 0.000 description 4
- 238000004891 communication Methods 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 241000612151 Dodecatheon Species 0.000 description 1
- 235000008166 Dodecatheon meadia Nutrition 0.000 description 1
- 125000002066 L-histidyl group Chemical group [H]N1C([H])=NC(C([H])([H])[C@](C(=O)[*])([H])N([H])[H])=C1[H] 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
Images
Landscapes
- Fittings On The Vehicle Exterior For Carrying Loads, And Devices For Holding Or Mounting Articles (AREA)
- Processing Or Creating Images (AREA)
- Closed-Circuit Television Systems (AREA)
Abstract
Description
開示の実施形態は、画像処理装置、情報表示システム、画像処理方法およびプログラムに関する。 Embodiments disclosed herein relate to an image processing apparatus, an information display system, an image processing method, and a program.
従来、車両用の情報表示システムの一種として、車室内に配置された表示部の所定の表示領域に、車両後方を撮影した撮像画像から生成した電子ミラー画像を表示する電子ミラーシステムが知られている(例えば、特許文献1参照)。 2. Description of the Related Art Conventionally, an electronic mirror system that displays an electronic mirror image generated from a captured image obtained by photographing the rear of a vehicle in a predetermined display area of a display unit disposed in a vehicle interior is known as a kind of information display system for vehicles. (For example, refer to Patent Document 1).
しかしながら、上述した従来技術を用いた場合、電子ミラー画像は、運転者が実際のバックミラーを視認した場合と比較して違和感があり、運転者に対し、バックミラーに対応する電子ミラー画像であるとすぐに認知させにくいという問題点があった。 However, when the above-described conventional technology is used, the electronic mirror image is uncomfortable as compared with the case where the driver visually recognizes the actual rearview mirror, and is an electronic mirror image corresponding to the rearview mirror for the driver. There was a problem that it was difficult to recognize immediately.
実施形態の一態様は、上記に鑑みてなされたものであって、電子ミラーとして機能する表示部の表示領域を、違和感なく運転者に電子ミラーとして認知させることができる画像処理装置、情報表示システム、画像処理方法およびプログラムを提供することを目的とする。 One embodiment of the present invention has been made in view of the above, and an image processing apparatus and an information display system that allow a driver to recognize a display area of a display unit functioning as an electronic mirror as an electronic mirror without a sense of incongruity An object of the present invention is to provide an image processing method and a program.
実施形態の一態様に係る画像処理装置は、第1画像生成部と、第2画像生成部と、画像合成部とを備える。前記第1画像生成部は、車両の外部を撮像する撮像部により撮像された前記車両の後方画像を鏡像反転させた後写鏡画像を生成する。前記第2画像生成部は、前記車両の車速に応じた速度で、かつ、前記後写鏡画像とは異なる任意の流れ方向で流れる背景画像を生成する。前記画像合成部は、前記背景画像の内側に前記後写鏡画像が配置されるように前記背景画像および前記後写鏡画像を合成する。 An image processing apparatus according to an aspect of an embodiment includes a first image generation unit, a second image generation unit, and an image composition unit. The first image generation unit generates a rear-view mirror image obtained by inverting the mirror image of the rear image of the vehicle captured by an imaging unit that captures the outside of the vehicle. The second image generation unit generates a background image that flows in an arbitrary flow direction different from the rear-view mirror image at a speed according to the vehicle speed of the vehicle. The image synthesis unit synthesizes the background image and the rearview mirror image so that the rearview mirror image is arranged inside the background image.
実施形態の一態様によれば、電子ミラーとして機能する表示部の表示領域を、違和感なく運転者に電子ミラーとして認知させることができる。 According to one aspect of the embodiment, the display area of the display unit functioning as an electronic mirror can be recognized by the driver as an electronic mirror without a sense of incongruity.
以下、添付図面を参照して、本願の開示する画像処理装置、情報表示システム、画像処理方法およびプログラムの実施形態を詳細に説明する。なお、以下に示す実施形態によりこの発明が限定されるものではない。 Hereinafter, embodiments of an image processing apparatus, an information display system, an image processing method, and a program disclosed in the present application will be described in detail with reference to the accompanying drawings. In addition, this invention is not limited by embodiment shown below.
また、以下では、本実施形態に係る画像処理手法の概要について図1A〜図1Eを用いて説明した後に、この画像処理手法を適用した画像処理装置10およびこれを含む情報表示システム1について、図2〜図9を用いて説明することとする。なお、図1A〜図6を用いた説明では、第1の実施形態について、図7A〜図8を用いた説明では、第2の実施形態について、それぞれ説明する。
In the following, after an overview of the image processing method according to the present embodiment is described with reference to FIGS. 1A to 1E, an
また、以下では、情報表示システム1が、通常はバックミラー(後写鏡)に鏡像として映る車両の後方画像を、車載カメラの撮像画像に基づいて生成し、ディスプレイ等の表示部へ表示する、いわゆる「電子ミラー」の機能を提供する場合を主たる例に挙げて説明を進める。なお、バックミラーには、ルームミラー、ドアミラー、フェンダーミラーおよびサイドアンダーミラーのいずれをも含むものとする。これらのバックミラー(後写鏡)のうち、車体の外部に取り付けられるドアミラー、フェンダーミラーおよびサイドアンダーミラー等は、「車体外後写鏡」とも呼ばれる。
In the following, the
まず、本実施形態に係る画像処理手法の概要について、図1A〜図1Eを用いて説明する。図1A〜図1Eは、実施形態に係る画像処理手法の概要を示す図(その1)〜(その5)である。 First, an outline of the image processing method according to the present embodiment will be described with reference to FIGS. 1A to 1E. 1A to 1E are views (No. 1) to (No. 5) showing an overview of an image processing method according to the embodiment.
図1Aに示すように、本実施形態に係る情報表示システム1は、例えば車両Cの運転支援情報の表示用として構成される。具体的には、情報表示システム1は、表示部4と、画像処理装置10とを備える。
As shown in FIG. 1A, the
表示部4は、運転支援情報を車両Cの運転者に対して表示する表示領域として機能するデバイスであり、例えば図1Aに示すように、車両Cの運転席前方の運転者の視野へ直接情報を映し出すヘッドアップディスプレイとして構成される。本実施形態では、以下でも、表示部4がヘッドアップディスプレイであるものとして説明を進める。
The
なお、表示部4は、例えば車両Cの車室前方中央のセンターディスプレイ等として構成されてもよい。
In addition, the
画像処理装置10は、例えばインストルメント・パネル中央の内部等に配置され、表示部4へ出力する運転支援情報としての画像の生成処理を行う。かかる画像は、例えばドアミラーMR,MLにそれぞれ対応する電子ミラー画像として、また例えば車両Cの速度等の運行情報を示す画像として生成される。
The
具体的には、図1Bに示すように、本実施形態に係る情報表示システム1は、例えば表示部4の下部右側に、ドアミラーMRに対応する電子ミラー画像の表示領域D1を配置する。また、例えば表示部4の下部左側に、ドアミラーMLに対応する電子ミラー画像の表示領域D2を配置する。また、例えば表示部4の上部中央に、車両Cの運行情報としての速度の表示領域D3を配置する。
Specifically, as shown in FIG. 1B, the
ところで、通常、運転者がその視野に実際のバックミラーを捉える場合、運転者からはミラー自体に映る鏡像とミラー周辺の背景とが視認されることとなる。具体的には、図1Cに示すように、運転者が、実際のドアミラーMRをその視野に捉えた場合、運転者は、ドアミラーMRの内側の鏡像M1と、ドアミラーMRの外側の背景B1とを視認する。 By the way, normally, when the driver captures the actual rearview mirror in the field of view, the driver sees the mirror image reflected on the mirror itself and the background around the mirror. Specifically, as shown in FIG. 1C, when the driver captures the actual door mirror MR in the field of view, the driver displays a mirror image M1 inside the door mirror MR and a background B1 outside the door mirror MR. Visually check.
そして、かかる場合において、仮に車両Cが前方へ直進移動していれば、鏡像M1の流れてゆく「流れ方向」は、例えば鏡像M1の消失点へ向かう方向(流れ方向dm1)である。これに対し、背景B1の流れてゆく「流れ方向」は、運転者がドアミラーMRを視野に捉えた場合に、車両Cの移動方向とは相対的に後方へ流れる景色の移動方向(流れ方向db1)である。 In such a case, if the vehicle C is moving straight ahead, the “flow direction” in which the mirror image M1 flows is, for example, the direction toward the vanishing point of the mirror image M1 (flow direction dm1). On the other hand, the “flow direction” flowing in the background B1 is the movement direction of the scenery (flow direction db1) flowing backward relative to the movement direction of the vehicle C when the driver views the door mirror MR in the field of view. ).
すなわち、通常、運転者の視認する鏡像M1の「流れ方向」と背景B1の「流れ方向」とは、異なる方向であることが分かる。これは、言い換えれば、背景B1を模した背景画像の内側に鏡像M1を模した鏡像画像を配置し、車速に応じた速度で、かつ、車両Cの移動方向に応じた鏡像M1とは異なる「流れ方向」でそれぞれ流れさせれば、運転者が電子ミラー画像として違和感なく受け入れやすいということである。 That is, it can be seen that the “flow direction” of the mirror image M1 visually recognized by the driver is different from the “flow direction” of the background B1. In other words, a mirror image imitating the mirror image M1 is arranged inside the background image imitating the background B1, and is different from the mirror image M1 according to the moving speed of the vehicle C at a speed corresponding to the vehicle speed. If it is made to flow in each “flow direction”, it means that the driver can easily accept the electronic mirror image without a sense of incongruity.
図1Bの説明に戻る。そこで、本実施形態に係る情報表示システム1では、電子ミラーとして機能させる表示領域D1,D2につき、背景B1を模した背景画像の内側に鏡像M1を模した鏡像画像を配置し、車速に応じた速度で、かつ、車両Cの移動方向に応じた鏡像M1とは異なる「流れ方向」でそれぞれで流れさせることとした。
Returning to the description of FIG. Therefore, in the
なお、以下では、ドアミラーMRに対応する表示領域D1を主に例示して説明を行う。ドアミラーMLに対応する表示領域D2については、表示領域D1と左右対称である点が異なる。なお、これから説明する表示領域D1,D2の背景画像Bi1,Bi2を便宜上総称する場合、背景画像Biと言う場合がある。同様に、表示領域D1,D2のバックミラー画像Mi1,Mi2を便宜上総称する場合、バックミラー画像Miと言う場合がある。 In the following description, the display area D1 corresponding to the door mirror MR will be mainly exemplified and described. The display area D2 corresponding to the door mirror ML is different from the display area D1 in that it is bilaterally symmetric. Note that the background images Bi1 and Bi2 of the display areas D1 and D2 to be described below are collectively referred to as a background image Bi for convenience. Similarly, when the rearview mirror images Mi1 and Mi2 in the display areas D1 and D2 are collectively referred to for convenience, they may be referred to as rearview mirror images Mi.
具体的には図1Bに示すように、本実施形態では、表示領域D1につき、背景画像Bi1の内側にバックミラー画像(後写鏡画像)Mi1を配置することとした。バックミラー画像Mi1は、車両Cの撮像部(後述)により撮像された車両Cの後方画像を鏡像反転させて生成される。すなわち、バックミラー画像Mi1は実際の撮像画像に基づくので、流れる速度および流れ方向dm1については撮像されたままでよい。 Specifically, as shown in FIG. 1B, in this embodiment, the rearview mirror image (post-mirror image) Mi1 is arranged inside the background image Bi1 for the display area D1. The rearview mirror image Mi1 is generated by reversing a rear image of the vehicle C captured by an imaging unit (described later) of the vehicle C. That is, since the rearview mirror image Mi1 is based on an actual captured image, the flow velocity and the flow direction dm1 may remain captured.
一方、背景画像Bi1は、車両Cの車速に応じた速度で、かつ、バックミラー画像Mi1とは異なる流れ方向db1で流れるように生成される。このとき、背景画像Bi1は、必ずしも実際の撮像画像に基づいて生成される必要はない。 On the other hand, the background image Bi1 is generated so as to flow at a speed corresponding to the vehicle speed of the vehicle C and in a flow direction db1 different from the rearview mirror image Mi1. At this time, the background image Bi1 does not necessarily have to be generated based on the actual captured image.
すなわち、背景画像Bi1の流れ方向db1は、運転者に対し、車両Cの移動方向に対して相対的に流れる景色の移動方向を少なくとも想起させられればよく、厳密に撮像画像等の流れ方向と一致させる必要はない。したがって、背景画像Bi1の流れ方向db1は、バックミラー画像Mi1の流れ方向dm1とは異なる任意の方向でよい。 That is, the flow direction db1 of the background image Bi1 only needs to remind the driver of at least the moving direction of the scenery that flows relative to the moving direction of the vehicle C, and exactly matches the flowing direction of the captured image or the like. There is no need to let them. Therefore, the flow direction db1 of the background image Bi1 may be an arbitrary direction different from the flow direction dm1 of the rearview mirror image Mi1.
具体例を図1Dに一つ示す。図1Dに示すように、情報表示システム1では、例えば車両Cが直進する場合の表示領域D1における背景画像Bi1の流れ方向db1を、表示領域D1,D2の中点を消失点Pとした、かかる消失点Pから放射状に延びる各直線に沿った方向とする。
One specific example is shown in FIG. 1D. As shown in FIG. 1D, in the
この場合、表示領域D1の流れ方向db1は、車両Cの運転席からの実際の視野において車両Cの移動方向に対して相対的に流れる景色の移動方向とは一致しない。しかしながら、左右の電子ミラーとして機能する表示領域D1,D2の中央から放射状に拡散あるいは収束する方向へ背景画像を流れさせることで、直進する車両Cに対し相対的に流れる景色の移動方向を少なくとも運転者に想起させることができる。 In this case, the flow direction db1 of the display area D1 does not coincide with the moving direction of the scenery that flows relative to the moving direction of the vehicle C in the actual visual field from the driver's seat of the vehicle C. However, by driving the background image in a direction that diffuses or converges radially from the center of the display areas D1 and D2 that function as the left and right electronic mirrors, at least driving the moving direction of the scenery flowing relative to the vehicle C traveling straight ahead Can be recalled.
なお、背景画像Bi1,Bi2の流れ方向には車両Cの舵角に基づく回転等の要素が加味されるが、この点については図3A〜図3Cを用いた説明で後述する。また、消失点Pの他の例等についても同じく図3A〜図3Cを用いた説明で後述する。 Note that elements such as rotation based on the steering angle of the vehicle C are added to the flow direction of the background images Bi1 and Bi2, which will be described later in the description using FIGS. 3A to 3C. Further, other examples of the vanishing point P will be described later in the description using FIGS. 3A to 3C.
また、背景画像Bi1は、実際の撮像画像に基づく必要はなく、車両Cの進行方向に対し相対的に流れる景色の移動方向を少なくとも運転者に想起させられればよいことから、例えば幾何学模様が流れ方向db1に沿って移動するような画像であってもよい。 Further, the background image Bi1 does not have to be based on the actual captured image, and it is only necessary to remind the driver of the moving direction of the scenery flowing relative to the traveling direction of the vehicle C. The image may move along the flow direction db1.
具体例を図1Eに一つ示す。図1Eに示すように、情報表示システム1では、例えば幾何学模様aP1を含む背景画像Bi1を生成し、かかる幾何学模様aP1を車速に応じた速度で流れ方向db1に沿って移動させる。なお、ここで、幾何学模様aP1は、流れ方向db1を示す形状(例えば、矢印)を有していることが好ましい。
One specific example is shown in FIG. 1E. As shown in FIG. 1E, in the
このように、流れ方向db1を示す形状を有する幾何学模様aP1を車速に応じた速度で移動させる背景画像Bi1によっても、車両Cの進行方向に対し相対的に流れる景色の移動方向を少なくとも運転者に想起させることできる。なお、幾何学模様の他の例については、図4A〜図4Cを用いた説明で後述する。 As described above, the background image Bi1 in which the geometric pattern aP1 having the shape indicating the flow direction db1 is moved at a speed corresponding to the vehicle speed also indicates at least the movement direction of the scenery flowing relative to the traveling direction of the vehicle C. Can be recalled. Other examples of the geometric pattern will be described later with reference to FIGS. 4A to 4C.
そして、このような背景画像Bi1の内側に前述のバックミラー画像Mi1を配置することによって、電子ミラーとして機能する表示領域D1を、違和感なく運転者に電子ミラーとして認知させることができる。 And by arrange | positioning the above-mentioned back mirror image Mi1 inside such background image Bi1, the display area D1 which functions as an electronic mirror can be made to recognize a driver as an electronic mirror without a sense of incongruity.
このように、本実施形態では、車両Cの撮像部により撮像された車両Cの後方画像を鏡像反転させたバックミラー画像Miを生成し、車両Cの車速に応じた速度で、かつ、バックミラー画像Miとは異なる任意の流れ方向で流れる背景画像Biを生成し、背景画像Biの内側にバックミラー画像Miが配置されるように合成することとした。 Thus, in the present embodiment, a rearview mirror image Mi is generated by inverting the rear image of the vehicle C captured by the imaging unit of the vehicle C, and the rearview mirror is at a speed corresponding to the vehicle speed of the vehicle C. A background image Bi that flows in an arbitrary flow direction different from the image Mi is generated, and is synthesized so that the rearview mirror image Mi is arranged inside the background image Bi.
したがって、本実施形態によれば、電子ミラーとして機能する表示領域D1,D2を、違和感なく運転者に電子ミラーとして認知させることができる。 Therefore, according to the present embodiment, the display areas D1 and D2 that function as electronic mirrors can be recognized by the driver as electronic mirrors without a sense of incongruity.
以下、上述した画像処理手法によって画像処理を行う画像処理装置10およびこれを含む情報表示システム1について、さらに具体的に説明する。
Hereinafter, the
(第1の実施形態)
図2は、第1の実施形態に係る情報表示システム1のブロック図である。なお、図2では、本実施形態の特徴を説明するために必要な構成要素のみを機能ブロックで表しており、一般的な構成要素についての記載を省略している。
(First embodiment)
FIG. 2 is a block diagram of the
換言すれば、図2に図示される各構成要素は機能概念的なものであり、必ずしも物理的に図示の如く構成されていることを要しない。例えば、各機能ブロックの分散・統合の具体的形態は図示のものに限られず、その全部または一部を、各種の負荷や使用状況などに応じて、任意の単位で機能的または物理的に分散・統合して構成することが可能である。 In other words, each component illustrated in FIG. 2 is functionally conceptual and does not necessarily need to be physically configured as illustrated. For example, the specific form of distribution / integration of each functional block is not limited to the one shown in the figure, and all or a part thereof is functionally or physically distributed in arbitrary units according to various loads or usage conditions.・ It can be integrated and configured.
図2に示すように、情報表示システム1は、操作部2と、表示制御部3と、表示部4と、画像処理装置10とを備える。情報表示システム1は、車両Cに搭載された、撮像部20、車速センサ30、舵角センサ40および路面センサ50等の各種機器と情報の授受を行う。
As shown in FIG. 2, the
情報表示システム1につき、まず画像処理装置10以外の構成要素から説明する。操作部2は、例えば運転者といった利用者からの入力操作を受け付ける入力デバイスである。H/Wデバイスであっても、S/Wデバイスであってもよい。利用者は、かかる操作部2を介し、前述の消失点Pの位置を指定するといった操作や、例えば前述の幾何学模様を選択するといった操作等、背景画像Bi1,Bi2の生成に関する情報の入力操作を行うことが可能である。
The
表示制御部3は、後述する画像処理装置10によって生成され、出力される電子ミラー画像を受け付け、表示部4へ表示させる。表示部4は、例えば上述したようにヘッドアップディスプレイ等であって、表示制御部3が出力する運転支援情報としての電子ミラー画像を、表示領域D1,D2へ表示する。
The
つづいて画像処理装置10について説明する。画像処理装置10は、制御部11と、記憶部12とを備える。制御部11は、設定部11aと、バックミラー画像生成部11bと、背景画像生成部11cと、画像合成部11dとをさらに備える。
Next, the
記憶部12は、ハードディスクドライブや不揮発性メモリ、レジスタといった記憶デバイスであって、背景画像情報12aを記憶する。
The
制御部11は、画像処理装置10の各部を制御する。設定部11aは、操作部2を介しての利用者の入力操作を受け付け、入力操作の内容に応じて背景画像情報12aを設定する。
The control unit 11 controls each unit of the
背景画像情報12aは、背景画像Bi1,Bi2の生成に関する情報群であって、前述の消失点Pの位置や、前述の幾何学模様が、例えば選択可能に複数パターン含まれる。
The
バックミラー画像生成部11bは、撮像部20のうち、車両Cの後方撮像用に搭載された後方カメラ21により撮像された車両Cの後方画像を鏡像反転させたバックミラー画像Mi1,Mi2を生成する。また、バックミラー画像生成部11bは、生成したバックミラー画像Mi1,Mi2を画像合成部11dへ出力する。
The rearview mirror
背景画像生成部11cは、車速センサ30、舵角センサ40、路面センサ50等の検出値および背景画像情報12aに基づき、背景画像Bi1,Bi2を生成する。なお、車速センサ30は、車両Cの車速を検出する。また、舵角センサ40は、車両Cの舵角を検出する。また、路面センサ50は、車両Cが移動中の路面の起伏を検出する。
The background
背景画像生成部11cは、これらの検出値および背景画像情報12aに基づき、上述したように、車両Cの車速に応じた速度で、かつ、バックミラー画像Mi1,Mi2とは異なる任意の流れ方向で流れる背景画像Bi1,Bi2を生成する。また、背景画像生成部11cは、生成した背景画像Bi1,Bi2を画像合成部11dへ出力する。
Based on these detection values and
ここで、図3A〜図4Cを用いて、背景画像情報12aの一例およびこれに基づく背景画像生成部11cの処理について説明しておく。図3Aは、背景画像情報12aに含まれる選択可能な消失点Pの位置の一例を示す図である。
Here, an example of the
図3Bおよび図3Cは、背景画像生成部11cにおける背景画像Bi1,Bi2の流れ方向の決定方法を示す図(その1)および(その2)である。図4A〜図4Cは、背景画像情報12aに含まれる選択可能な幾何学模様の一例を示す図(その1)〜(その3)である。
3B and 3C are diagrams (No. 1) and (No. 2) illustrating a method of determining the flow direction of the background images Bi1, Bi2 in the background
図3Aに示すように、背景画像情報12aには、例えば、表示部4の表示領域D1,D2の中点の位置である消失点P1と、車両Cのフロントガラス中央の位置である消失点P2とが含まれる。なお、消失点P1は、既に図1Dを用いて説明した消失点Pに対応する。
As shown in FIG. 3A, the
そして、消失点P1が選択された場合、図3Bに示すように、背景画像生成部11cは、かかる消失点P1から放射状に延びる各直線に沿った方向に、例えば舵角センサ40の検出値に基づく回転角drおよび車両Cの進行方向を加味して、背景画像Bi1,Bi2における流れ方向db1,db2を決定する。
Then, when the vanishing point P1 is selected, as shown in FIG. 3B, the background
また、消失点P2が選択された場合、図3Cに示すように、背景画像生成部11cは、かかる消失点P2から放射状に延びる各直線がドアミラーMR,MLに重なる方向に、例えば上記回転角drおよび車両Cの進行方向を加味して、背景画像Bi1,Bi2における流れ方向db1,db2を決定する。
When the vanishing point P2 is selected, as shown in FIG. 3C, the background
また、背景画像情報12aには、図4Aに示すように、例えば幾何学模様aP1が含まれる。幾何学模様aP1は、流れ方向db1,db2を示す形状として矢印を有する。また、図4Bに示すように、流れ方向db1,db2を示す、例えば尾を引く流れ星のような形状の幾何学模様aP2が背景画像情報12aに含まれてもよい。
Further, the
また、図4Cに示すように、流れ方向db1,db2を示す矢印ではあるが、曲線を含む幾何学模様aP3が背景画像情報12aに含まれてもよい。なお、図4Aから図4Cに例示した幾何学模様は流れ方向を示す形状(矢印)を含んでいるが、かかる形状を含まない円形、矩形、多角形などを背景画像情報12aの幾何学模様に採用してもよい。また、所定のマークなどを背景画像情報12aの幾何学模様に採用してもよい。
Further, as shown in FIG. 4C, a geometric pattern aP3 including a curve may be included in the
そして、背景画像生成部11cは、例えばこれら幾何学模様aP1〜aP3のうちから選択されたものを用いて、かかる幾何学模様aP1〜aP3が決定した流れ方向db1,db2に沿って、かつ、車速センサ30の検出値に応じた速度で移動する背景画像Bi1,Bi2を生成する。
Then, the background
なお、例えば、図4Cに示す幾何学模様aP3が選択された場合、背景画像生成部11cは、かかる幾何学模様aP3の曲線形状によって、路面センサ50からの検出値に基づく路面の起伏を表すように背景画像Bi1,Bi2を生成してもよい。
For example, when the geometric pattern aP3 shown in FIG. 4C is selected, the background
図2の説明に戻り、つづいて画像合成部11dについて説明する。画像合成部11dは、背景画像Biの内側にバックミラー画像Miが配置されるように、背景画像Biおよびバックミラー画像Miを合成する。
Returning to the description of FIG. 2, the
ここで、これまでの説明をより分かりやすくするために、バックミラー画像生成部11b、背景画像生成部11cおよび画像合成部11dにおける各処理を概略的に図5にまとめておく。図5は、画像処理装置10における各処理の概略図である。
Here, in order to make the above description easier to understand, the processes in the rearview mirror
すなわち、図5に示すように、バックミラー画像生成部11bが、撮像部20の後方カメラ21により撮像された車両Cの後方画像を鏡像反転させたバックミラー画像Miを生成する(ステップS1)。
That is, as illustrated in FIG. 5, the rearview mirror
また、背景画像生成部11cが、車両Cの車速に応じた速度で、かつ、バックミラー画像Miとは異なる任意の流れ方向で流れる背景画像Biを生成する(ステップS2)。
In addition, the background
そして、画像合成部11dが、背景画像Biの内側にバックミラー画像Miが配置されるように、バックミラー画像Miと背景画像Biを合成する(ステップS3)。
Then, the
次に、本実施形態に係る画像処理装置10が実行する処理手順について、図6を用いて説明する。図6は、第1の実施形態に係る画像処理装置10が実行する処理手順を示すフローチャートである。
Next, a processing procedure executed by the
図6に示すように、まず設定部11aが、利用者の操作部2を介した入力操作に基づき、背景画像情報12aの初期設定を行う(ステップS101)。そして、電子ミラーの機能がONであるならば(ステップS102,Yes)、バックミラー画像生成部11bが、撮像部20から車両Cの後方画像を取得し(ステップS103)、これに基づいてバックミラー画像Miを生成する(ステップS104)。
As shown in FIG. 6, first, the
また、背景画像生成部11cは、車速センサ30から車両Cの車速を取得するとともに(ステップS105)、背景画像Biの流れ方向を決定する(ステップS106)。そして、背景画像生成部11cは、ステップS105およびS106の処理結果に基づいて背景画像Biを生成する(ステップS107)。
The background
そして、画像合成部11dが、バックミラー画像Miと背景画像Biを合成し(ステップS108)、表示制御部3へ出力した後、ステップS102からの処理を繰り返す。
Then, the
また、電子ミラーの機能がONでないならば(ステップS102,No)、処理を終了する。 If the function of the electronic mirror is not ON (step S102, No), the process is terminated.
上述してきたように、第1の実施形態に係る画像処理装置は、バックミラー画像生成部(「第1画像生成部」の一例に相当)と、背景画像生成部(「第2画像生成部」の一例に相当)と、画像合成部とを備える。 As described above, the image processing apparatus according to the first embodiment includes a rearview mirror image generation unit (corresponding to an example of a “first image generation unit”) and a background image generation unit (“second image generation unit”). And an image composition unit.
バックミラー画像生成部は、車両の外部を撮像する撮像部により撮像された車両の後方画像を鏡像反転させたバックミラー画像(「後写鏡画像」の一例に相当)を生成する。背景画像生成部は、車両の車速に応じた速度で、かつ、バックミラー画像とは異なる任意の流れ方向で流れる背景画像を生成する。画像合成部は、背景画像の内側にバックミラー画像が配置されるように背景画像およびバックミラー画像を合成する。 The rearview mirror image generation unit generates a rearview mirror image (corresponding to an example of a “rearview mirror image”) obtained by inverting the rear image of the vehicle captured by the imaging unit that captures the outside of the vehicle. The background image generation unit generates a background image that flows at an arbitrary flow direction different from the rearview mirror image at a speed corresponding to the vehicle speed of the vehicle. The image composition unit synthesizes the background image and the rearview mirror image so that the rearview mirror image is arranged inside the background image.
したがって、第1の実施形態に係る画像処理装置によれば、電子ミラーとして機能する表示部の表示領域を、違和感なく運転者に電子ミラーとして認知させることができる。 Therefore, according to the image processing apparatus which concerns on 1st Embodiment, a driver | operator can be made to recognize a display area of the display part which functions as an electronic mirror as an electronic mirror without a sense of incongruity.
ところで、これまでは、背景画像が、撮像部の撮像画像に基づくことなく生成される場合を例に挙げたが、かかる撮像画像に基づき、背景画像を生成してもよい。かかる場合を第2の実施形態として、以下、説明する。 By the way, the case where the background image is generated without being based on the captured image of the imaging unit has been described as an example, but the background image may be generated based on the captured image. Such a case will be described below as a second embodiment.
(第2の実施形態)
図7Aは、第2の実施形態に係る情報表示システム1’のブロック図である。なお、図7Aは、図2に対応しているため、図2と異なる部分について主に説明する。また、図7Bは、第2の実施形態に係る背景画像生成部11c’のブロック図である。
(Second Embodiment)
FIG. 7A is a block diagram of an
第2の実施形態に係る情報表示システム1’では、背景画像生成部11c’が、撮像部20のうち、例えば、車両Cの前方撮像用に搭載された前方カメラ22により撮像された車両Cの前方画像に基づき、背景画像Biを生成する。
In the
具体的には、背景画像生成部11c’は、前述の前方画像を、任意の視点位置へ視点変換した視点変換画像を背景画像Biとして生成する。より具体的には、図7Bに示すように、背景画像生成部11c’は、歪み補正部11caと、視点変換演算部11cbとをさらに備える。背景画像Biに用いられる視点変換画像は、任意の視点位置から任意の視野方向をみた画像であるとも言える。
Specifically, the background
歪み補正部11caは、前方カメラ22から取得した前方画像のレンズ歪みの補正処理を演算によって行う。また、歪み補正部11caは、補正処理後の前方画像を視点変換演算部11cbへ出力する。
The distortion correction unit 11ca performs correction processing of lens distortion of the front image acquired from the
視点変換演算部11cbは、歪み補正部11caから取得した補正処理後の前方画像を、例えば背景画像情報12aに含まれる任意の視点位置へ視点変換する演算処理を行う。また、視点変換演算部11cbは、演算処理後の視点変換画像を、背景画像Biとして画像合成部11dへ出力する。
The viewpoint conversion calculation unit 11cb performs calculation processing for converting the front image after the correction processing acquired from the distortion correction unit 11ca into, for example, an arbitrary viewpoint position included in the
なお、任意の視点位置および任意の視野方向は、あらかじめ操作部2を介した利用者の入力操作によって背景画像情報12aへ設定することができる。ここで、視点位置は、運転者が車両の運転席に着座した場合の運転者の目の位置に相当する所定位置(以下、「ドライバ視点位置」と言う)が好ましい。また、視野方向は、運転者が運転席に着座した状態で車両のドラミラーMR,MLに自然に視線を向ける方向に相当する所定方向(以下、「ドライバ視野方向」と言う)が好ましい。
An arbitrary viewpoint position and an arbitrary visual field direction can be set in the
しかし、第1の実施形態でも述べたように、背景画像Biは、運転者に対し、車両Cの移動方向に対して相対的に流れる景色の移動方向を少なくとも想起させられればよい。このため、視点位置および視野方向を厳密にドライバ視点位置およびドライバ視野方向に一致させなくてもよく、任意の位置および方向であってよい。また、視点位置および視野方向のいずれか一方のみを、ドライバ視点位置およびドライバ視野方向に一致させてもよい。たとえば、視野方向のみをドライバ視野方向に一致させることで、背景画像Biの流れ方向dbをより自然なものにすることができる。なお、かかる任意の視点位置および視野方向に応じて視点変換演算されれば、演算処理後の視点変換画像において背景画像Biの流れ方向dbは、選択された視点位置および視野方向に応じて自動的に決まることとなる。 However, as described in the first embodiment, the background image Bi only needs to remind the driver of the moving direction of the scenery that flows relative to the moving direction of the vehicle C. For this reason, the viewpoint position and the visual field direction need not exactly coincide with the driver viewpoint position and the driver visual field direction, and may be any position and direction. Further, only one of the viewpoint position and the visual field direction may be matched with the driver viewpoint position and the driver visual field direction. For example, the flow direction db of the background image Bi can be made more natural by matching only the visual field direction with the driver visual field direction. If the viewpoint conversion calculation is performed according to the arbitrary viewpoint position and the viewing direction, the flow direction db of the background image Bi in the viewpoint conversion image after the calculation process is automatically set according to the selected viewpoint position and the viewing direction. Will be determined.
レンズ歪みの補正のための演算処理や視点変換のための演算処理については、画像処理技術における公知の手法を用いることができるので、ここでの詳細な記載は省略する。 As the arithmetic processing for correcting lens distortion and the arithmetic processing for viewpoint conversion, a well-known method in the image processing technology can be used, and thus detailed description thereof is omitted here.
次に、本実施形態に係る画像処理装置10’が実行する処理手順について、図8を用いて説明する。図8は、第2の実施形態に係る画像処理装置10’が実行する処理手順を示すフローチャートである。
Next, a processing procedure executed by the image processing apparatus 10 'according to the present embodiment will be described with reference to FIG. FIG. 8 is a flowchart illustrating a processing procedure executed by the
図8に示すように、まず設定部11aが、利用者の操作部2を介した入力操作に基づき、背景画像情報12aの初期設定を行う(ステップS201)。本実施形態では、前述の任意の視点位置および視野方向が設定されることとなる。
As shown in FIG. 8, first, the
そして、電子ミラーの機能がONであるならば(ステップS202,Yes)、バックミラー画像生成部11bが、撮像部20から車両Cの後方画像を取得し(ステップS203)、これに基づいてバックミラー画像Miを生成する(ステップS204)。
If the function of the electronic mirror is ON (step S202, Yes), the rearview mirror
また、背景画像生成部11c’は、撮像部20から車両Cの前方画像を取得し(ステップS205)、かかる前方画像を視点変換演算する(ステップS206)。そして、背景画像生成部11c’は、視点変換後の視点変換画像を、背景画像Biとして生成する(ステップS207)。
Further, the background
そして、画像合成部11dが、バックミラー画像Miと背景画像Biを合成し(ステップS208)、表示制御部3へ出力した後、ステップS202からの処理を繰り返す。
Then, the
また、電子ミラーの機能がONでないならば(ステップS202,No)、処理を終了する。 If the function of the electronic mirror is not ON (step S202, No), the process ends.
上述してきたように、第2の実施形態に係る画像処理装置は、バックミラー画像生成部(「第1画像生成部」の一例に相当)と、背景画像生成部(「第2画像生成部」の一例に相当)と、画像合成部とを備える。 As described above, the image processing apparatus according to the second embodiment includes a rearview mirror image generation unit (corresponding to an example of a “first image generation unit”) and a background image generation unit (“second image generation unit”). And an image composition unit.
バックミラー画像生成部は、車両の外部を撮像する撮像部により撮像された車両の後方画像を鏡像反転させたバックミラー画像(「後写鏡画像」の一例に相当)を生成する。背景画像生成部は、車両の車速に応じた速度で、かつ、バックミラー画像とは異なる任意の流れ方向で流れる背景画像を生成する。画像合成部は、背景画像の内側にバックミラー画像が配置されるように背景画像およびバックミラー画像を合成する。 The rearview mirror image generation unit generates a rearview mirror image (corresponding to an example of a “rearview mirror image”) obtained by inverting the rear image of the vehicle captured by the imaging unit that captures the outside of the vehicle. The background image generation unit generates a background image that flows at an arbitrary flow direction different from the rearview mirror image at a speed corresponding to the vehicle speed of the vehicle. The image composition unit synthesizes the background image and the rearview mirror image so that the rearview mirror image is arranged inside the background image.
また、第2の実施形態に係る画像処理装置は、背景画像生成部が、撮像部により撮像された車両の前方画像を、任意の視点位置へ視点変換した視点変換画像を背景画像とする。 In the image processing apparatus according to the second embodiment, the background image generation unit uses the viewpoint converted image obtained by converting the front image of the vehicle imaged by the imaging unit into an arbitrary viewpoint position as the background image.
したがって、第2の実施形態に係る画像処理装置によれば、電子ミラーとして機能する表示部の表示領域を、違和感なく運転者に電子ミラーとして認知させることができる。 Therefore, according to the image processing apparatus which concerns on 2nd Embodiment, a driver | operator can be made to recognize a display area of the display part which functions as an electronic mirror as an electronic mirror without a sense of incongruity.
ところで、第1または第2の実施形態に係る情報表示システム1,1’は、図9に一例として示す構成のコンピュータ600で実現することができる。図9は、実施形態に係る情報表示システム1,1’の機能を実現するコンピュータの一例を示すハードウェア構成図である。
By the way, the
コンピュータ600は、CPU(Central Processing Unit)610と、ROM(Read Only Memory)620と、RAM(Random Access Memory)630と、HDD(Hard Disk Drive)640とを備える。また、コンピュータ600は、メディアインターフェイス(I/F)650と、通信インターフェイス(I/F)660と、入出力インターフェイス(I/F)670とを備える。
The
なお、コンピュータ600は、SSD(Solid State Drive)を備え、かかるSSDがHDD640の一部または全ての機能を実行するようにしてもよい。また、HDD640に代えてSSDを設けることとしてもよい。
The
CPU610は、ROM620およびHDD640の少なくとも一方に格納されるプログラムに基づいて動作し、各部の制御を行う。ROM620は、コンピュータ600の起動時にCPU610によって実行されるブートプログラムや、コンピュータ600のハードウェアに依存するプログラムなどを格納する。HDD640は、CPU610によって実行されるプログラムおよびかかるプログラムによって使用されるデータ等を格納する。
The
メディアI/F650は、記憶媒体680に格納されたプログラムやデータを読み取り、RAM630を介してCPU610に提供する。CPU610は、かかるプログラムを、メディアI/F650を介して記憶媒体680からRAM630上にロードし、ロードしたプログラムを実行する。あるいは、CPU610は、かかるデータを用いてプログラムを実行する。記憶媒体680は、例えばDVD(Digital Versatile Disc)などの光磁気記録媒体やSDカード、USBメモリなどである。
The media I /
通信I/F660は、ネットワーク690を介して他の機器からデータを受信してCPU610に送り、CPU610が生成したデータを、ネットワーク690を介して他の機器へ送信する。あるいは、通信I/F660は、ネットワーク690を介して他の機器からプログラムを受信してCPU610に送り、CPU610がかかるプログラムを実行する。
The communication I /
CPU610は、入出力I/F670を介して、ヘッドアップディスプレイ等の表示部4といった出力部、キーボードやマウス、ボタン等の操作部2といった入力部を制御する。CPU610は、入出力I/F670を介して、入力部からデータを取得する。また、CPU610は、生成したデータを入出力I/F670を介して表示部4や出力部に出力する。
The
例えば、コンピュータ600が情報表示システム1として機能する場合、コンピュータ600のCPU610は、RAM630上にロードされたプログラムを実行することにより、設定部11aと、バックミラー画像生成部11bと、背景画像生成部11c,11c’と、画像合成部11dとを含む画像処理装置10,10’の制御部11,11’および表示制御部3の各機能を実現する。
For example, when the
コンピュータ600のCPU610は、例えばこれらのプログラムを記憶媒体680から読み取って実行するが、他の例として、他の装置からネットワーク690を介してこれらのプログラムを取得してもよい。また、HDD640は、記憶部12が記憶する情報を記憶することができる。
For example, the
ところで、上述した実施形態では、電子ミラー画像中に、実際のバックミラーの外枠を模した外枠画像は含まれない場合を例示したが、かかる外枠画像を含むこととしてもよい。 By the way, in the above-described embodiment, the case where the outer frame image imitating the actual outer frame of the rearview mirror is not included in the electronic mirror image is exemplified, but the outer frame image may be included.
かかる場合、バックミラー画像生成部は、実際のバックミラーの外枠を模した外枠画像をさらに生成し、この外枠画像によってバックミラー画像の周囲を囲み、画像合成部は、背景画像の内側に外枠画像およびバックミラー画像が配置されるように背景画像、外枠画像およびバックミラー画像を合成すればよい。 In such a case, the rearview mirror image generation unit further generates an outer frame image imitating the outer frame of the actual rearview mirror, surrounds the periphery of the rearview mirror image by the outer frame image, and the image composition unit The background image, the outer frame image, and the rearview mirror image may be combined so that the outer frame image and the rearview mirror image are arranged on the screen.
また、上述した実施形態では、主にドアミラーを電子ミラーとする場合を例に挙げたが、サイドアンダーミラーやルームミラーを電子ミラーとする場合にも、本実施形態は適用が可能である。 In the above-described embodiment, the case where the door mirror is mainly an electronic mirror has been described as an example. However, the present embodiment can also be applied to a case where a side under mirror or a room mirror is an electronic mirror.
また、上述した実施形態では、背景画像の流れ方向が、少なくとも運転者に対し、車両の移動方向に対して相対的に流れる景色の流れ方向を想起させるものである場合を例に挙げた。しかし、実際のバックミラーを運転者が視野に捉える場合において、車両の移動方向に関わらず、鏡像の周囲に鏡像の周囲とは異なる流れ方向で流れる背景が存在するだけでも、単に鏡像のみを視認する場合に比べて、運転者がバックミラーであると認知できる可能性は高い。 In the above-described embodiment, the case where the flow direction of the background image reminds at least the driver of the flow direction of the scenery flowing relative to the moving direction of the vehicle is taken as an example. However, when the driver sees the actual rearview mirror in the field of view, regardless of the moving direction of the vehicle, even if there is a background that flows in a different flow direction around the mirror image, only the mirror image is visible. There is a high possibility that the driver can recognize that it is a rearview mirror.
したがって、背景画像は、その流れ方向が車両の移動方向に関わらずランダムなパターンであって、例えば幾何学模様がバックミラー画像の周囲を乱舞するようなものであってもよい。 Therefore, the background image may be a random pattern whose flow direction is random regardless of the moving direction of the vehicle, and for example, a geometric pattern may be turbulent around the rearview mirror image.
さらなる効果や変形例は、当業者によって容易に導き出すことができる。このため、本発明のより広範な態様は、以上のように表しかつ記述した特定の詳細および代表的な実施形態に限定されるものではない。したがって、添付の特許請求の範囲およびその均等物によって定義される総括的な発明の概念の精神または範囲から逸脱することなく、様々な変更が可能である。 Further effects and modifications can be easily derived by those skilled in the art. Thus, the broader aspects of the present invention are not limited to the specific details and representative embodiments shown and described above. Accordingly, various modifications can be made without departing from the spirit or scope of the general inventive concept as defined by the appended claims and their equivalents.
1,1’ 情報表示システム
2 操作部
3 表示制御部
4 表示部
10,10’ 画像処理装置
11,11’ 制御部
11a 設定部
11b バックミラー画像生成部
11c,11c' 背景画像生成部
11ca 歪み補正部
11cb 視点変換演算部
11d 画像合成部
12 記憶部
12a 背景画像情報
20 撮像部
21 後方カメラ
22 前方カメラ
30 車速センサ
40 舵角センサ
50 路面センサ
Bi,Bi1,Bi2 背景画像
C 車両
D1〜D3 表示領域
ML、MR ドアミラー
Mi,Mi1,Mi2 バックミラー画像
P,P1,P2 消失点
aP1〜aP3 幾何学模様
db,db1,db2 流れ方向
DESCRIPTION OF
Claims (10)
前記車両の車速に応じた速度で、かつ、前記後写鏡画像とは異なる任意の流れ方向で流れる背景画像を生成する第2画像生成部と、
前記背景画像の内側に前記後写鏡画像が配置されるように前記背景画像および前記後写鏡画像を合成する画像合成部と
を備えることを特徴とする画像処理装置。 A first image generation unit that generates a rearview mirror image obtained by inverting the rear image of the vehicle imaged by an imaging unit that images the outside of the vehicle;
A second image generation unit that generates a background image that flows at an arbitrary flow direction different from the rear-view mirror image at a speed according to the vehicle speed of the vehicle;
An image processing apparatus comprising: an image synthesis unit that synthesizes the background image and the rearview mirror image so that the rearview mirror image is arranged inside the background image.
前記車両の運転者に対し、少なくとも前記車両の移動方向に対して相対的に流れる景色の移動方向を想起させる方向となるように前記流れ方向を決定すること
を特徴とする請求項1に記載の画像処理装置。 The second image generator is
The flow direction is determined so as to be a direction reminiscent of at least a moving direction of scenery flowing relative to the moving direction of the vehicle for the driver of the vehicle. Image processing device.
幾何学模様を含む前記背景画像を生成し、前記幾何学模様を前記車速に応じた速度および前記流れ方向で移動させること
を特徴とする請求項1または2に記載の画像処理装置。 The second image generator is
The image processing apparatus according to claim 1, wherein the background image including a geometric pattern is generated, and the geometric pattern is moved at a speed corresponding to the vehicle speed and in the flow direction.
前記流れ方向を示す形状を有する前記幾何学模様を用いること
を特徴とする請求項3に記載の画像処理装置。 The second image generator is
The image processing apparatus according to claim 3, wherein the geometric pattern having a shape indicating the flow direction is used.
前記撮像部により撮像された前記車両の前方画像を、任意の視点位置へ視点変換した視点変換画像を前記背景画像とすること
を特徴とする請求項1〜4のいずれか一つに記載の画像処理装置。 The second image generator is
The image according to any one of claims 1 to 4, wherein a viewpoint conversion image obtained by converting a front image of the vehicle imaged by the imaging unit to an arbitrary viewpoint position is used as the background image. Processing equipment.
実際の後写鏡の外枠を模した外枠画像をさらに生成して、該外枠画像によって前記後写鏡画像の周囲を囲み、
前記画像合成部は、
前記背景画像の内側に前記外枠画像および前記後写鏡画像が配置されるように前記背景画像、前記外枠画像および前記後写鏡画像を合成すること
を特徴とする請求項1〜5のいずれか一つに記載の画像処理装置。 The first image generator is
Further generating an outer frame image imitating the outer frame of the actual rearview mirror, surrounding the rearview mirror image by the outer frame image,
The image composition unit
The background image, the outer frame image, and the rearview mirror image are synthesized so that the outer frame image and the rearview mirror image are arranged inside the background image. The image processing apparatus according to any one of the above.
車体外後写鏡に対応する前記後写鏡画像を生成すること
を特徴とする請求項1〜6のいずれか一つに記載の画像処理装置。 The first image generator is
The image processing apparatus according to claim 1, wherein the rearview mirror image corresponding to a rearview mirror outside the vehicle body is generated.
前記画像処理装置により処理された画像を運転支援情報として表示する表示部と
を備えることを特徴とする情報表示システム。 The image processing apparatus according to any one of claims 1 to 7,
An information display system comprising: a display unit that displays an image processed by the image processing device as driving support information.
前記車両の車速に応じた速度で、かつ、前記後写鏡画像とは異なる任意の流れ方向で流れる背景画像を生成する第2画像生成工程と、
前記背景画像の内側に前記後写鏡画像が配置されるように前記背景画像および前記後写鏡画像を合成する画像合成工程と
を含むことを特徴とする画像処理方法。 A first image generation step of generating a rearview mirror image obtained by inverting the rear image of the vehicle imaged by an imaging unit that images the outside of the vehicle;
A second image generation step of generating a background image flowing at an arbitrary flow direction different from the rear-view mirror image at a speed according to the vehicle speed of the vehicle;
And an image synthesis step of synthesizing the background image and the rearview mirror image so that the rearview mirror image is arranged inside the background image.
前記車両の車速に応じた速度で、かつ、前記後写鏡画像とは異なる任意の流れ方向で流れる背景画像を生成する第2画像生成ステップと、
前記背景画像の内側に前記後写鏡画像が配置されるように前記背景画像および前記後写鏡画像を合成する画像合成ステップと
をコンピュータに実行させることを特徴とするプログラム。 A first image generation step of generating a rearview mirror image obtained by inverting the rear image of the vehicle imaged by an imaging unit that images the outside of the vehicle;
A second image generation step of generating a background image flowing at an arbitrary flow direction different from the rear-view mirror image at a speed according to the vehicle speed of the vehicle;
A program causing a computer to execute an image synthesis step of synthesizing the background image and the rearview mirror image so that the rearview mirror image is arranged inside the background image.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2015222208A JP6618778B2 (en) | 2015-11-12 | 2015-11-12 | Image processing apparatus, information display system, image processing method, and program |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2015222208A JP6618778B2 (en) | 2015-11-12 | 2015-11-12 | Image processing apparatus, information display system, image processing method, and program |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2017092766A true JP2017092766A (en) | 2017-05-25 |
JP6618778B2 JP6618778B2 (en) | 2019-12-11 |
Family
ID=58770803
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2015222208A Active JP6618778B2 (en) | 2015-11-12 | 2015-11-12 | Image processing apparatus, information display system, image processing method, and program |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP6618778B2 (en) |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110308556A (en) * | 2018-03-20 | 2019-10-08 | 松下知识产权经营株式会社 | Image display system and method, moving body, non-transitory computer-readable medium |
CN110308557A (en) * | 2018-03-27 | 2019-10-08 | 松下知识产权经营株式会社 | Display system, electronic mirror system, moving body and display methods |
JP2019174794A (en) * | 2018-03-27 | 2019-10-10 | パナソニックIpマネジメント株式会社 | Display system, electronic mirror system, movable body, and display method |
JP7521268B2 (en) | 2020-06-08 | 2024-07-24 | スズキ株式会社 | Vehicle image processing device |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2006248374A (en) * | 2005-03-10 | 2006-09-21 | Seiko Epson Corp | Vehicle safety confirmation device and head-up display |
JP2010137697A (en) * | 2008-12-11 | 2010-06-24 | Honda Motor Co Ltd | Drive assisting device for vehicle |
-
2015
- 2015-11-12 JP JP2015222208A patent/JP6618778B2/en active Active
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2006248374A (en) * | 2005-03-10 | 2006-09-21 | Seiko Epson Corp | Vehicle safety confirmation device and head-up display |
JP2010137697A (en) * | 2008-12-11 | 2010-06-24 | Honda Motor Co Ltd | Drive assisting device for vehicle |
Cited By (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110308556A (en) * | 2018-03-20 | 2019-10-08 | 松下知识产权经营株式会社 | Image display system and method, moving body, non-transitory computer-readable medium |
CN110308556B (en) * | 2018-03-20 | 2021-12-21 | 松下知识产权经营株式会社 | Image forming system, image correcting system, image displaying method, moving object, and non-transitory computer-readable medium |
CN110308557A (en) * | 2018-03-27 | 2019-10-08 | 松下知识产权经营株式会社 | Display system, electronic mirror system, moving body and display methods |
JP2019174794A (en) * | 2018-03-27 | 2019-10-10 | パナソニックIpマネジメント株式会社 | Display system, electronic mirror system, movable body, and display method |
US10836314B2 (en) | 2018-03-27 | 2020-11-17 | Panasonic Intellectual Property Management Co., Ltd. | Display system, electronic mirror system, moving vehicle, and display method |
CN110308557B (en) * | 2018-03-27 | 2022-07-19 | 松下知识产权经营株式会社 | Display system, electron mirror system, moving object, and display method |
JP7521268B2 (en) | 2020-06-08 | 2024-07-24 | スズキ株式会社 | Vehicle image processing device |
Also Published As
Publication number | Publication date |
---|---|
JP6618778B2 (en) | 2019-12-11 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6608146B2 (en) | Virtually transparent instrument cluster with live video | |
JP6618778B2 (en) | Image processing apparatus, information display system, image processing method, and program | |
WO2015041005A1 (en) | Image generation device, image display system, image generation method, and image display method | |
JP5591364B2 (en) | Dynamic image processing method and vehicle image processing system | |
WO2015194501A1 (en) | Image synthesis system, image synthesis device therefor, and image synthesis method | |
JP6699370B2 (en) | Vehicle image processing device | |
JP7295123B2 (en) | Surround view system with adjusted projection plane | |
JP6257978B2 (en) | Image generation apparatus, image display system, and image generation method | |
JP6548900B2 (en) | Image generation apparatus, image generation method and program | |
JP2014041398A (en) | Image generation device, image display system, and image generation method | |
JP2004021307A (en) | Driving support device | |
JP2010130673A (en) | Image processing apparatus, image processing method, and image processing program | |
JP6958163B2 (en) | Display control device | |
JP2013168063A (en) | Image processing device, image display system, and image processing method | |
JP2007237785A (en) | On-vehicle information presentation system | |
JP2018509799A5 (en) | ||
JP6258000B2 (en) | Image display system, image display method, and program | |
JP2010257242A (en) | Image data generation device | |
JP2019009598A (en) | Display controller, display control method, and display control program | |
JP6852465B2 (en) | Bird's-eye view image generation device, bird's-eye view image generation system, bird's-eye view image generation method and program | |
JP2020052671A (en) | Display control device, vehicle, and display control method | |
JP2012065228A (en) | Image processing apparatus, image display system, and image display method | |
JPWO2019170202A5 (en) | ||
JP6488628B2 (en) | Video processing apparatus and in-vehicle video processing system | |
KR102569898B1 (en) | Driving assistance system using mixed reality and method for controlling the same |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20181101 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20190829 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20190903 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20190920 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20191023 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20191113 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6618778 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |