JP2021158542A

JP2021158542A - Display control device, display control method and program

Info

Publication number: JP2021158542A
Application number: JP2020057310A
Authority: JP
Inventors: 剛渡辺; Takeshi Watanabe; 渉片瀬; Wataru Katase; 勝川▲崎▼; Masaru Kawasaki; 武茨木; Takeshi Ibaraki
Original assignee: JVCKenwood Corp
Current assignee: JVCKenwood Corp
Priority date: 2020-03-27
Filing date: 2020-03-27
Publication date: 2021-10-07

Abstract

To provide a display control device that is able to show a display so that an object that needs to be visible by a user can be easily recognized.SOLUTION: A photographic data acquisition unit 112 acquires photographic data obtained by photographing an image of the periphery of a vehicle by an imaging device mounted in a vehicle. A detection unit 114 detects at least one moving object from the photographic data. A determination unit 116 determines an object to be subjected to an expansion process from the moving object, based on the direction in which the moving object is moving. An image processing unit 118 generates a display image by compressing the photographic data and subjecting an object image to the expansion process so as to obtain a size larger than the size of the compressed object image in a compressed image. A display control unit 120 executes control for displaying the display image.SELECTED DRAWING: Figure 2

Description

本発明は、表示制御装置、表示制御方法及びプログラムに関する。 The present invention relates to a display control device, a display control method and a program.

車両の周囲を車載カメラ等の撮像装置により撮影し、撮影した画像を車内のモニタに表示するシステムが普及している。また車載カメラにより撮影した画像を運転の支援に繋げるための提案が行われている。この技術に関連し、特許文献１は、カメラが撮影した車体周辺域の映像を整形してモニタに表示させるためのデータ処理を行う車両用映像システムを開示する。特許文献１にかかるシステムは、モニタ画面の少なくとも２つの部分に表示される映像の圧縮率を車両情報に応じて変化させる。 A system in which the surroundings of a vehicle are photographed by an imaging device such as an in-vehicle camera and the captured images are displayed on a monitor in the vehicle is widespread. In addition, proposals have been made to connect images taken by an in-vehicle camera to support driving. In relation to this technique, Patent Document 1 discloses a vehicle image system that performs data processing for shaping an image of a vehicle body peripheral area taken by a camera and displaying it on a monitor. The system according to Patent Document 1 changes the compression ratio of the image displayed on at least two parts of the monitor screen according to the vehicle information.

特開２０１９− ７５８２７号公報Japanese Unexamined Patent Publication No. 2019-75827

特許文献１にかかる技術では、モニタ画面の部分に応じて圧縮率が異なるように映像を表示する。一方、映像を圧縮すると、その映像にある物体も圧縮されて表示される。したがって、特許文献１にかかる技術では、運転者等のユーザが視認することが必要な対象物を認識することが困難になるおそれがある。 In the technique according to Patent Document 1, an image is displayed so that the compression ratio differs depending on the part of the monitor screen. On the other hand, when the image is compressed, the object in the image is also compressed and displayed. Therefore, in the technique according to Patent Document 1, it may be difficult for a user such as a driver to recognize an object that needs to be visually recognized.

本発明は、このような課題を解決するためになされたものであって、ユーザが視認することが必要な対象物を容易に認識できるように表示することが可能な表示制御装置、表示制御方法及びプログラムを提供するものである。 The present invention has been made to solve such a problem, and is a display control device and a display control method capable of displaying an object that needs to be visually recognized by a user so that the object can be easily recognized. And provides a program.

本発明にかかる表示制御装置は、車両に搭載された撮像装置によって前記車両の周囲の映像を撮影して得られた撮影データを取得する撮影データ取得部と、前記撮影データから、移動している物体である１つ以上の移動物体を検出する検出部と、前記移動物体の移動している方向に基づいて、検出された前記移動物体から伸張処理を施すべき対象物を判定する判定部と、前記撮影データを圧縮し、圧縮された圧縮像における圧縮された前記対象物の画像のサイズに比べて大きなサイズとなるように前記対象物の画像に対して前記伸張処理を施すことによって、表示画像を生成する画像処理部と、前記表示画像を表示するための制御を行う表示制御部と、を有する。 The display control device according to the present invention moves from a shooting data acquisition unit that acquires a shooting data obtained by shooting an image of the surroundings of the vehicle with an image pickup device mounted on the vehicle and the shooting data. A detection unit that detects one or more moving objects that are objects, and a determination unit that determines an object to be stretched from the detected moving object based on the moving direction of the moving object. The display image is obtained by compressing the captured data and performing the stretching process on the image of the object so that the size of the compressed image is larger than the size of the compressed image of the object. It has an image processing unit for generating the display image and a display control unit for controlling the display of the display image.

また、本発明にかかる表示制御方法は、車両に搭載された撮像装置によって前記車両の周囲の映像を撮影して得られた撮影データを取得し、前記撮影データから、移動している物体である１つ以上の移動物体を検出し、前記移動物体の移動している方向に基づいて、検出された前記移動物体から伸張処理を施すべき対象物を判定し、前記撮影データを縮小し、圧縮された圧縮画像における圧縮された前記対象物の画像のサイズに比べて大きなサイズとなるように前記対象物の画像に対して前記伸張処理を施すことによって、表示画像を生成し、前記表示画像を表示するための制御を行う。 Further, the display control method according to the present invention is an object that is moving from the photographed data by acquiring the photographed data obtained by photographing the image around the vehicle with an image pickup device mounted on the vehicle. One or more moving objects are detected, an object to be stretched is determined from the detected moving objects based on the moving direction of the moving objects, and the captured data is reduced and compressed. A display image is generated and the display image is displayed by performing the stretching process on the image of the object so that the size of the compressed image is larger than the size of the compressed image of the object. Control to do so.

また、本発明にかかるプログラムは、車両に搭載された撮像装置によって前記車両の周囲の映像を撮影して得られた撮影データを取得するステップと、前記撮影データから、移動している物体である１つ以上の移動物体を検出するステップと、前記移動物体の移動している方向に基づいて、検出された前記移動物体から伸張処理を施すべき対象物を判定するステップと、前記撮影データを圧縮し、圧縮された圧縮画像における圧縮された前記対象物の画像のサイズに比べて大きなサイズとなるように前記対象物の画像に対して前記伸張処理を施すことによって、表示画像を生成するステップと、前記表示画像を表示するための制御を行うステップと、をコンピュータに実行させる。 Further, the program according to the present invention is a step of acquiring an image obtained by photographing an image of the surroundings of the vehicle with an image pickup device mounted on the vehicle, and an object moving from the photographed data. A step of detecting one or more moving objects, a step of determining an object to be stretched from the detected moving object based on the moving direction of the moving object, and a step of compressing the shooting data. Then, a step of generating a display image by performing the stretching process on the image of the object so that the size of the compressed image is larger than the size of the image of the compressed object. , The step of performing control for displaying the display image, and the computer are made to execute.

本発明によれば、ユーザが視認することが必要な対象物を容易に認識できるように表示することが可能な表示制御装置、表示制御方法及びプログラムを提供することができる。 According to the present invention, it is possible to provide a display control device, a display control method, and a program capable of displaying an object that needs to be visually recognized by a user so that the object can be easily recognized.

実施の形態１にかかる車両を示す図である。It is a figure which shows the vehicle which concerns on Embodiment 1. FIG. 実施の形態１にかかる表示制御装置及び表示制御装置を有する表示システムの構成を示す図である。It is a figure which shows the structure of the display control device which concerns on Embodiment 1, and the display system which has the display control device. 実施の形態１にかかる表示制御装置によって実行される表示制御方法を示すフローチャートである。FIG. 5 is a flowchart showing a display control method executed by the display control device according to the first embodiment. 実施の形態１にかかる画像処理を説明するための図である。It is a figure for demonstrating the image processing which concerns on Embodiment 1. FIG. 実施の形態１にかかる画像処理を説明するための図である。It is a figure for demonstrating the image processing which concerns on Embodiment 1. FIG. 実施の形態１にかかる画像処理を説明するための図である。It is a figure for demonstrating the image processing which concerns on Embodiment 1. FIG. 実施の形態１にかかる画像処理を説明するための図である。It is a figure for demonstrating the image processing which concerns on Embodiment 1. FIG. 実施の形態２にかかる表示制御装置によって実行される表示制御方法を示すフローチャートである。It is a flowchart which shows the display control method executed by the display control apparatus which concerns on Embodiment 2. FIG. 再配置処理を説明するための図である。It is a figure for demonstrating the relocation process.

（実施の形態１）
以下、図面を参照して本発明の実施の形態について説明する。なお、実質的に同じ構成要素には、同じ符号が付される。 (Embodiment 1)
Hereinafter, embodiments of the present invention will be described with reference to the drawings. The substantially same components are designated by the same reference numerals.

図１は、実施の形態１にかかる車両１を示す図である。図１においては、車両１が、少なくとも１つの撮像装置２と、表示制御装置１００とを有する例が示されている。なお、撮像装置２は、それぞれ、２つ以上設けられていてもよい。複数の撮像装置２が、車両１の前後及び左右を撮影してもよい。また、撮像装置２は全周カメラであってもよく、その場合、１つの撮像装置２が車両１の全周囲を撮影してもよい。また、以下の説明では、表示制御装置１００が車両１に搭載されている例を示しているが、本実施の形態にかかる表示制御装置１００は、車両１に搭載されている必要はない。 FIG. 1 is a diagram showing a vehicle 1 according to the first embodiment. FIG. 1 shows an example in which the vehicle 1 has at least one imaging device 2 and a display control device 100. In addition, two or more image pickup apparatus 2 may be provided respectively. A plurality of image pickup devices 2 may photograph the front and rear and the left and right of the vehicle 1. Further, the image pickup device 2 may be an all-around camera, and in that case, one image pickup device 2 may take a picture of the entire circumference of the vehicle 1. Further, in the following description, an example in which the display control device 100 is mounted on the vehicle 1 is shown, but the display control device 100 according to the present embodiment does not need to be mounted on the vehicle 1.

撮像装置２は、例えばカメラである。撮像装置２は、車両１の周囲の映像を撮影する。そして、撮像装置２は、撮影データ（撮影画像）を生成する。撮像装置２は、例えば毎秒３０フレーム（３０ｆｐｓ）の撮影データを生成し、生成した撮影データを３０分の１秒ごとに表示制御装置１００に供給する。撮影データは、例えば、Ｈ．２６４もしくはＨ．２６５等の方式を用いて生成されてもよい。 The image pickup device 2 is, for example, a camera. The image pickup device 2 captures an image of the surroundings of the vehicle 1. Then, the imaging device 2 generates captured data (captured image). The image pickup device 2 generates, for example, 30 frames per second (30 fps) of shooting data, and supplies the generated shooting data to the display control device 100 every 1 / 30th of a second. The shooting data is, for example, H. 264 or H. It may be generated using a method such as 265.

表示制御装置１００は、車両１の任意の位置に設置され得る。表示制御装置１００は、撮像装置２によって撮影された画像において物体を検出し、検出された物体のうち予め定められた条件に合致する対象物がユーザにとって視認しやすくなるような画像処理を行う。詳しくは後述する。なお、以下、用語「映像」は、情報処理における処理対象としての、「映像を示す映像データ」も意味する。同様に、以下、用語「画像」は、情報処理における処理対象としての、「画像を示す画像データ」も意味する。 The display control device 100 can be installed at an arbitrary position of the vehicle 1. The display control device 100 detects an object in the image captured by the image pickup device 2, and performs image processing so that the object that meets the predetermined conditions among the detected objects can be easily visually recognized by the user. Details will be described later. In the following, the term "video" also means "video data indicating video" as a processing target in information processing. Similarly, hereinafter, the term "image" also means "image data indicating an image" as a processing target in information processing.

図２は、実施の形態１にかかる表示制御装置１００及び表示制御装置１００を有する表示システム５０の構成を示す図である。実施の形態１にかかる表示システム５０は、撮像装置２と、表示部３０と、表示制御装置１００とを有する。なお、表示制御装置１００は、撮像装置２及び表示部３０の少なくとも１つを有してもよい。 FIG. 2 is a diagram showing a configuration of a display control device 100 and a display system 50 including the display control device 100 according to the first embodiment. The display system 50 according to the first embodiment includes an image pickup device 2, a display unit 30, and a display control device 100. The display control device 100 may include at least one of the image pickup device 2 and the display unit 30.

表示部３０は、例えばディスプレイ等である。表示部３０は、表示制御装置１００の制御により映像を表示する。なお、表示部３０は、スピーカを含んでもよい。この場合、表示部３０は、スピーカから音声を出力してもよい。また、表示制御装置１００が車両１に搭載される場合、表示部３０は、車両１の内部に、車両の運転者が運転中に視認できる位置に設けられ得る。この場合、表示部３０は、後述するインタフェース部１０８によって実現されてもよい。また、表示部３０は、車両１に常設された車載装置である必要はない。表示部３０は、例えば、ユーザの所有するスマートフォン等の情報端末のディスプレイによって構成されてもよい。 The display unit 30 is, for example, a display or the like. The display unit 30 displays an image under the control of the display control device 100. The display unit 30 may include a speaker. In this case, the display unit 30 may output sound from the speaker. Further, when the display control device 100 is mounted on the vehicle 1, the display unit 30 may be provided inside the vehicle 1 at a position that can be visually recognized by the driver of the vehicle during driving. In this case, the display unit 30 may be realized by the interface unit 108, which will be described later. Further, the display unit 30 does not have to be an in-vehicle device permanently installed in the vehicle 1. The display unit 30 may be configured by, for example, the display of an information terminal such as a smartphone owned by the user.

表示制御装置１００は、主要なハードウェア構成として、制御部１０２と、記憶部１０４と、通信部１０６と、インタフェース部１０８（ＩＦ；Interface）とを有する。制御部１０２、記憶部１０４、通信部１０６及びインタフェース部１０８は、データバスなどを介して相互に接続されている。つまり、表示制御装置１００は、コンピュータとしての機能を有する。 The display control device 100 has a control unit 102, a storage unit 104, a communication unit 106, and an interface unit 108 (IF; Interface) as a main hardware configuration. The control unit 102, the storage unit 104, the communication unit 106, and the interface unit 108 are connected to each other via a data bus or the like. That is, the display control device 100 has a function as a computer.

制御部１０２は、例えばＣＰＵ（Central Processing Unit）等のプロセッサである。制御部１０２は、制御処理及び演算処理等を行う演算装置としての機能を有する。記憶部１０４は、例えばメモリ又はハードディスク等の記憶デバイスである。記憶部１０４は、例えばＲＯＭ（Read Only Memory）又はＲＡＭ（Random Access Memory）等である。記憶部１０４は、制御部１０２によってまたは制御部１０２の機能として実行される制御プログラム及び演算プログラム等を記憶するための機能を有する。また、記憶部１０４は、処理データ等を一時的に記憶するための機能を有する。 The control unit 102 is, for example, a processor such as a CPU (Central Processing Unit). The control unit 102 has a function as an arithmetic unit that performs control processing, arithmetic processing, and the like. The storage unit 104 is a storage device such as a memory or a hard disk. The storage unit 104 is, for example, a ROM (Read Only Memory) or a RAM (Random Access Memory). The storage unit 104 has a function for storing a control program, an arithmetic program, or the like executed by the control unit 102 or as a function of the control unit 102. In addition, the storage unit 104 has a function for temporarily storing processed data and the like.

通信部１０６は、撮像装置２及び表示部３０と通信を行うために必要な処理を行う。また、通信部１０６は、図示しないＣＡＮ（Control Area Network）と通信を行うために必要な処理を行ってもよい。通信部１０６は、通信ポートを含み得る。インタフェース部１０８（ＩＦ：Interface）は、例えばユーザインタフェース（ＵＩ：User Interface）である。インタフェース部１０８は、キーボード、タッチパネル又はマウス等の入力装置と、スピーカ等の出力装置とを有する。 The communication unit 106 performs processing necessary for communicating with the image pickup device 2 and the display unit 30. Further, the communication unit 106 may perform processing necessary for communicating with a CAN (Control Area Network) (not shown). The communication unit 106 may include a communication port. The interface unit 108 (IF: Interface) is, for example, a user interface (UI: User Interface). The interface unit 108 includes an input device such as a keyboard, a touch panel, or a mouse, and an output device such as a speaker.

また、表示制御装置１００は、撮影データ取得部１１２と、検出部１１４と、判定部１１６と、画像処理部１１８と、表示制御部１２０とを有する。なお、撮影データ取得部１１２、検出部１１４、判定部１１６、画像処理部１１８及び表示制御部１２０は、例えば、制御部１０２の制御によって、プログラムを実行させることによって実現できる。より具体的には、撮影データ取得部１１２、検出部１１４、判定部１１６、画像処理部１１８及び表示制御部１２０は、記憶部１０４に格納されたプログラムを、制御部１０２が実行することによって実現され得る。また、必要なプログラムを任意の不揮発性記録媒体に記録しておき、必要に応じてインストールすることで、撮影データ取得部１１２、検出部１１４、判定部１１６、画像処理部１１８及び表示制御部１２０を実現するようにしてもよい。以上のことは、後述する他の実施の形態においても同様である。 Further, the display control device 100 includes a shooting data acquisition unit 112, a detection unit 114, a determination unit 116, an image processing unit 118, and a display control unit 120. The shooting data acquisition unit 112, the detection unit 114, the determination unit 116, the image processing unit 118, and the display control unit 120 can be realized by, for example, executing a program under the control of the control unit 102. More specifically, the shooting data acquisition unit 112, the detection unit 114, the determination unit 116, the image processing unit 118, and the display control unit 120 are realized by the control unit 102 executing the program stored in the storage unit 104. Can be done. Further, by recording the necessary program on an arbitrary non-volatile recording medium and installing it as necessary, the photographing data acquisition unit 112, the detection unit 114, the determination unit 116, the image processing unit 118, and the display control unit 120 can be installed. May be realized. The above is the same in other embodiments described later.

また、撮影データ取得部１１２、検出部１１４、判定部１１６、画像処理部１１８及び表示制御部１２０は、プログラムによるソフトウェアで実現することに限ることなく、ハードウェア、ファームウェア及びソフトウェアのうちのいずれかの組み合わせ等により実現してもよい。また、撮影データ取得部１１２、検出部１１４、判定部１１６、画像処理部１１８及び表示制御部１２０は、例えばＦＰＧＡ（field-programmable gate array）又はマイコン等の、ユーザがプログラミング可能な集積回路を用いて実現してもよい。この場合、この集積回路を用いて、上記の各構成要素から構成されるプログラムを実現してもよい。以上のことは、後述する他の実施の形態においても同様である。 Further, the shooting data acquisition unit 112, the detection unit 114, the determination unit 116, the image processing unit 118, and the display control unit 120 are not limited to being realized by software by a program, and may be any one of hardware, firmware, and software. It may be realized by a combination of. Further, the shooting data acquisition unit 112, the detection unit 114, the determination unit 116, the image processing unit 118, and the display control unit 120 use a user-programmable integrated circuit such as an FPGA (field-programmable gate array) or a microcomputer. May be realized. In this case, this integrated circuit may be used to realize a program composed of each of the above components. The above is the same in other embodiments described later.

撮影データ取得部１１２は、撮像装置２が撮影した車両１の周囲の撮影データを取得する。検出部１１４は、撮影データから、移動している物体である１つ以上の移動物体を検出する。例えば、検出部１１４は、撮影データから得られる動きベクトル（オプティカルフロー）によって、移動している物体である移動物体を検出する。 The shooting data acquisition unit 112 acquires shooting data around the vehicle 1 shot by the imaging device 2. The detection unit 114 detects one or more moving objects that are moving objects from the captured data. For example, the detection unit 114 detects a moving object, which is a moving object, by using a motion vector (optical flow) obtained from the shooting data.

なお、動きベクトルは、例えば、物体の動き又は車両１の移動に伴って、時系列で得られた複数のフレームからなる撮影データにおける絵柄（画像パターン）が移動した距離と方向を、ベクトルで表したものである。ここで、移動している車両１に搭載された撮像装置２で撮影した撮影データでは、車両１の移動に伴って背景の画像（背景画像）も移動する。そして、撮影データにおける動きベクトルにおいて、移動していない背景にかかる物体の動きベクトルを延長すると、撮像装置２の撮影方向の延長線上にある収束点（ＦＯＥ：Focus Of Expansion）に収束し得る。言い換えると、背景にかかる物体の動きベクトルは、収束点から放射状に広がっている。一方、移動している物体の動きベクトルは、この収束点に収束しない可能性が高い。したがって、検出部１１４は、このように収束点に収束しない動きベクトルに関する物体を、移動物体として検出してもよい。ここで、例えば、収束点に収束する近傍の動きベクトル（つまり背景に関する動きベクトル）との角度が予め定められた角度以上である動きベクトルを、収束点に収束しない動きベクトルと判定してもよい。 The motion vector represents, for example, the distance and direction in which the pattern (image pattern) in the shooting data consisting of a plurality of frames obtained in time series moves with the movement of the object or the movement of the vehicle 1. It was done. Here, in the shooting data taken by the image pickup device 2 mounted on the moving vehicle 1, the background image (background image) also moves with the movement of the vehicle 1. Then, in the motion vector in the shooting data, if the motion vector of the object on the non-moving background is extended, it can converge to a convergence point (FOE: Focus Of Expansion) on the extension line of the shooting direction of the imaging device 2. In other words, the motion vector of the object in the background extends radially from the convergence point. On the other hand, the motion vector of a moving object is unlikely to converge to this convergence point. Therefore, the detection unit 114 may detect an object related to the motion vector that does not converge to the convergence point as a moving object. Here, for example, a motion vector whose angle with a motion vector in the vicinity (that is, a motion vector related to the background) that converges to the convergence point is equal to or larger than a predetermined angle may be determined as a motion vector that does not converge to the convergence point. ..

あるいは、撮影データにおける動きベクトルにおいて、収束点からの距離が同じ位置であるとき、移動していない背景にかかる物体の動きベクトルの大きさ（長さ）は略同じである。一方、移動している物体の動きベクトルの大きさは、収束点からの距離が同じである背景にかかる物体の動きベクトルの大きさと異なり得る。したがって、検出部１１４は、このように背景にかかる物体の動きベクトルの大きさと異なる大きさの動きベクトルに関する物体を、移動物体として検出してもよい。例えば、収束点からの距離が同じ位置における近傍の動きベクトルの大きさとの差分が予め定められた大きさ以上となる大きさの動きベクトルを、背景にかかる物体の動きベクトルの大きさと異なる大きさの動きベクトルと判定してもよい。 Alternatively, in the motion vector in the shooting data, when the distance from the convergence point is the same, the magnitude (length) of the motion vector of the object on the non-moving background is substantially the same. On the other hand, the magnitude of the motion vector of the moving object can be different from the magnitude of the motion vector of the object on the background having the same distance from the convergence point. Therefore, the detection unit 114 may detect an object having a motion vector having a magnitude different from the magnitude of the motion vector of the object on the background as a moving object. For example, a motion vector having a size such that the difference from the size of a motion vector in the vicinity at the same distance from the convergence point is equal to or larger than a predetermined size is different from the size of the motion vector of the object in the background. It may be determined as a motion vector of.

判定部１１６は、検出部１１４によって検出された移動物体のうち、特定の条件を満たす物体を、伸張処理を施すべき対象物として判定する。伸張処理については後述する。また、以降の説明において、「対象物」とは、その画像に対して伸張処理を施すべき物体のことをいう。 The determination unit 116 determines, among the moving objects detected by the detection unit 114, an object satisfying a specific condition as an object to be stretched. The decompression process will be described later. Further, in the following description, the "object" means an object to which the image should be stretched.

具体的には、実施の形態１において、判定部１１６は、移動物体の移動している方向に基づいて、移動物体から対象物を判定する。言い換えると、判定部１１６は、移動している方向に関する条件を満たす移動物体を、対象物と判定する。さらに言い換えると、判定部１１６は、予め定められた方向に移動している移動物体を、対象物と判定する。さらに具体的には、判定部１１６は、車両１に近づく方向に移動している移動物体を、対象物と判定する。ここで、対向車等の、車両１とすれ違う移動物体も、車両１に近づく方向に移動しているということができる。したがって、判定部１１６は、対向車等の車両１とすれ違う移動物体も対象物であると判定し得る。 Specifically, in the first embodiment, the determination unit 116 determines an object from the moving object based on the moving direction of the moving object. In other words, the determination unit 116 determines that a moving object that satisfies the conditions relating to the moving direction is an object. In other words, the determination unit 116 determines that a moving object moving in a predetermined direction is an object. More specifically, the determination unit 116 determines that a moving object moving in the direction approaching the vehicle 1 is an object. Here, it can be said that a moving object such as an oncoming vehicle that passes by the vehicle 1 is also moving in a direction approaching the vehicle 1. Therefore, the determination unit 116 can determine that a moving object such as an oncoming vehicle that passes by the vehicle 1 is also an object.

例えば、判定部１１６は、検出された移動物体（検出物体）に関する動きベクトルが車両１に近づく方向に向かっていることを示す場合に、この検出物体を対象物と判定してもよい。例えば、収束点が撮影データで示される撮影画像の中央近傍にあるとする。この場合、判定部１１６は、検出物体の動きベクトルの向きがその近傍の背景の動きベクトルの向きよりも中央側に向いている場合に、検出物体を対象物と判定してもよい。あるいは、判定部１１６は、検出物体の動きベクトルの向きが撮影画像において水平方向よりも下向きである場合に、検出物体を対象物と判定してもよい。なお、車両１と同じ方向に車両１よりも遅い速度で移動する移動物体は、車両１に近づく方向に移動していない。しかしながら、車両１との相対速度の関係から、この移動物体を車両１の前方から見ると、車両１に近づく方向に向かって見える。そして、車両１が前方に移動し撮影画像が車両１の前方を撮影した画像である場合、この移動物体の動きベクトルは、近傍の背景の動きベクトルの大きさよりも小さく、水平方向よりも下向きである。したがって、上述した条件に、検出物体の動きベクトルの大きさがその近傍の背景の動きベクトルの大きさよりも大きい場合という条件を追加してもよい。これらの動きベクトルを用いた判定方法は、図４を用いて後述する。 For example, the determination unit 116 may determine this detected object as an object when it indicates that the motion vector relating to the detected moving object (detected object) is heading toward the vehicle 1. For example, assume that the convergence point is near the center of the captured image indicated by the captured data. In this case, the determination unit 116 may determine the detected object as an object when the direction of the motion vector of the detected object is toward the center side of the direction of the motion vector of the background in the vicinity thereof. Alternatively, the determination unit 116 may determine the detected object as an object when the direction of the motion vector of the detected object is downward from the horizontal direction in the captured image. A moving object that moves in the same direction as the vehicle 1 at a speed slower than that of the vehicle 1 does not move in the direction approaching the vehicle 1. However, due to the relative speed relationship with the vehicle 1, when this moving object is viewed from the front of the vehicle 1, it appears toward the vehicle 1. When the vehicle 1 moves forward and the captured image is an image captured in front of the vehicle 1, the motion vector of this moving object is smaller than the magnitude of the motion vector of the background in the vicinity and downwards from the horizontal direction. be. Therefore, a condition may be added to the above-mentioned condition that the size of the motion vector of the detected object is larger than the size of the motion vector of the background in the vicinity thereof. The determination method using these motion vectors will be described later with reference to FIG.

あるいは、判定部１１６は、検出物体が車両１に近づく方向に移動する場合に、時系列で得られた撮影データにおいて検出物体の画像が拡大することを利用して、検出物体を対象物と判定してもよい。例えば、判定部１１６は、撮影データにおいて検出物体の画像の拡大速度が、検出物体の近傍の背景の画像の拡大速度よりも大きい場合に、検出物体を対象物と判定してもよい。なお、「拡大速度」とは、単位時間（１秒間）において増大する画像のサイズである。なお、拡大速度は、検出物体の画像を含む予め定められた形状の画像（矩形画像等）の寸法の単位時間当たりの変化量であってもよいし。矩形画像等の面積の単位時間当たりの変化量であってもよい。なお、矩形画像等は、検出物体の画像の範囲を定めた画像である。 Alternatively, the determination unit 116 determines that the detected object is an object by utilizing the fact that the image of the detected object is enlarged in the shooting data obtained in the time series when the detected object moves in the direction approaching the vehicle 1. You may. For example, the determination unit 116 may determine the detected object as an object when the enlargement speed of the image of the detected object is larger than the enlargement speed of the background image in the vicinity of the detected object in the captured data. The "enlargement speed" is the size of the image that increases in a unit time (1 second). The enlargement speed may be the amount of change in the dimensions of an image having a predetermined shape (rectangular image, etc.) including the image of the detected object per unit time. It may be the amount of change in the area of a rectangular image or the like per unit time. The rectangular image or the like is an image in which the range of the image of the detected object is defined.

画像処理部１１８は、撮影データに対して予め定められた画像処理を施して、表示部３０に表示される画像である表示画像（表示画像データ）を生成する。画像処理部１１８は、撮影データを圧縮し、圧縮された圧縮画像における圧縮された対象物の画像のサイズに比べて大きなサイズとなるように対象物の画像に対して伸張処理を施すことによって、表示画像を生成する。なお、伸張処理については後述する。また、画像処理部１１８は、撮影データから、表示画像が表示される表示領域よりも大きな予め定められた範囲の画像であるトリミング画像（第１の画像）を抽出し、抽出されたトリミング画像を表示領域に合わせて圧縮してもよい。 The image processing unit 118 performs predetermined image processing on the shooting data to generate a display image (display image data) which is an image displayed on the display unit 30. The image processing unit 118 compresses the captured data and performs decompression processing on the image of the object so that the size of the compressed image is larger than the size of the image of the compressed object. Generate a display image. The decompression process will be described later. Further, the image processing unit 118 extracts a trimmed image (first image) which is an image in a predetermined range larger than the display area in which the display image is displayed from the captured data, and extracts the extracted trimmed image. It may be compressed according to the display area.

ここで、圧縮処理とは、横方向の縮小、又は縦方向の縮小といった、縦横比（アスペクト比）を変更する画像処理である。圧縮処理は、例えば、圧縮率に応じて画素を間引き、必要な画素を周りの画素の輝度値から補完する間引き処理であってもよい。また、撮影データにおいて運転者等に必要な情報が含まれているのは、例えば縦方向における中央近傍等、限られた領域である。例えば、撮影データにおける上領域及び下領域は、運転者等によって必要でない可能性が高い。したがって、画像処理部１１８は、図４を用いて後述するように、上領域及び下領域を除くトリミング画像を抽出してもよい。そして、このような処理によって得られたトリミング画像は、例えば横長の画像である。したがって、画像処理部１１８は、図５を用いて後述するように、表示領域のアスペクト比に合わせて、トリミング画像を横方向に圧縮する。 Here, the compression process is an image process for changing the aspect ratio, such as reduction in the horizontal direction or reduction in the vertical direction. The compression process may be, for example, a thinning process in which pixels are thinned out according to the compression rate and necessary pixels are complemented from the brightness values of surrounding pixels. Further, the information necessary for the driver or the like in the shooting data is included in a limited area such as the vicinity of the center in the vertical direction. For example, it is highly possible that the upper region and the lower region in the captured data are not necessary by the driver or the like. Therefore, the image processing unit 118 may extract a trimmed image excluding the upper region and the lower region, as will be described later with reference to FIG. The cropped image obtained by such processing is, for example, a horizontally long image. Therefore, the image processing unit 118 compresses the trimmed image in the horizontal direction according to the aspect ratio of the display area, as will be described later with reference to FIG.

なお、圧縮処理は、車両１の進行方向に応じて、行われてもよい。例えば、車両１が左折する場合に、車両１の左側に設けられた撮像装置２の撮影データに対して、圧縮処理を行ってもよい。これにより、左側を表示する表示画像において、より広い画角で撮影データを表示することができる。なお、車両１の進行方向は、例えば、車両１が備えるＣＡＮを介して検出することができる。 The compression process may be performed according to the traveling direction of the vehicle 1. For example, when the vehicle 1 turns left, the imaging data of the imaging device 2 provided on the left side of the vehicle 1 may be compressed. As a result, the shooting data can be displayed in a wider angle of view in the display image displaying the left side. The traveling direction of the vehicle 1 can be detected, for example, via the CAN provided in the vehicle 1.

さらに、このように、トリミング画像を圧縮すると、図６を用いて後述するように、圧縮された圧縮画像において、対象物が視認しにくくなるおそれがある。したがって、画像処理部１１８は、対象物の画像（対象物画像）に対して伸張処理を施す。伸張処理は、圧縮された圧縮画像における圧縮された対象物画像のサイズよりも大きなサイズとなるように、対象物画像に対して画像処理を行うことである。例えば、伸張処理は、圧縮された圧縮画像における対象物画像を、圧縮方向とは逆方向に拡大（伸張）してもよい。なお、このとき、どれだけの伸張率（拡大率）で伸張するかは、適宜、設定され得る。例えば、伸張率は、上記の圧縮処理における圧縮率の逆数としてもよいが、これに限定されない。あるいは、伸張処理は、圧縮された圧縮画像における対象物画像に、圧縮処理が施されていない画像（撮影データ）における対象物画像を重畳してもよい。このような処理によって、ユーザは、表示画像において対象物を視認しやすくなる。なお、実施の形態１においては、対象物の数は任意である。つまり、実施の形態１においては、対象物の数が複数であれば、各対象物について、伸張処理が施される。 Further, when the trimmed image is compressed in this way, as will be described later with reference to FIG. 6, the object may be difficult to see in the compressed compressed image. Therefore, the image processing unit 118 performs stretching processing on the image of the object (object image). The stretching process is to perform image processing on the object image so that the size is larger than the size of the compressed object image in the compressed compressed image. For example, in the decompression process, the object image in the compressed compressed image may be enlarged (expanded) in the direction opposite to the compression direction. At this time, the expansion rate (enlargement rate) at which the extension is performed can be appropriately set. For example, the decompression rate may be the reciprocal of the compression rate in the above compression process, but is not limited thereto. Alternatively, the decompression process may superimpose the object image in the image (photographed data) that has not been compressed on the object image in the compressed compressed image. Such processing makes it easier for the user to visually recognize the object in the displayed image. In the first embodiment, the number of objects is arbitrary. That is, in the first embodiment, if the number of objects is a plurality, each object is stretched.

なお、画像処理部１１８が行うこれらの処理の具体的な手法は、既に当業者に知られているものを用いてもよい。そのため、ここでの詳述は省略するが、例えば画像を拡大または圧縮する手法としては、所定の画素と周囲の画素との間隔を変更し、その間の画素を補間する方法がある。また、画像を伸張するとは、画像を所定の方向に引き伸ばすことを意味する。この場合、引き伸ばす方向の画素について、画素同士の間隔を拡げ、その間の画素を補間する。また、画素を圧縮するとは、画像を所定の方向に縮めることを意味する。この場合、縮める方向の画素について、画素同士の間隔を狭め、適宜画素を補間する。 As a specific method of these processes performed by the image processing unit 118, those already known to those skilled in the art may be used. Therefore, although detailed description is omitted here, for example, as a method of enlarging or compressing an image, there is a method of changing the interval between a predetermined pixel and surrounding pixels and interpolating the pixels between them. Further, stretching the image means stretching the image in a predetermined direction. In this case, for the pixels in the stretching direction, the distance between the pixels is widened, and the pixels in between are interpolated. Further, compressing the pixels means shrinking the image in a predetermined direction. In this case, for the pixels in the shrinking direction, the distance between the pixels is narrowed and the pixels are interpolated as appropriate.

さらに、画像処理部１１８は、対象物画像の周囲の画像（画素）に対して再配置処理を施してもよい。再配置処理は、伸張処理が施された対象物画像と、対象物の周囲の画像との境界が連続的になるように、対象物の画像の周囲の画素を再配置する画像処理である。具体的には、例えば、対象物画像の周囲の画素に対して、対象物画像の中心に近い画素ほど伸張処理における伸張方向に大きく移動するように、画素を再配置する。言い換えると、画像処理部１１８は、対象物画像の周囲の画素に対して、対象物画像の中心から遠い画素ほど、移動距離は小さくなるように、画素を再配置してもよい。そして、画像処理部１１８は、移動した画素間を補完処理する。あるいは、例えば、画像処理部１１８は、再配置処理において、対象物画像の周囲に、再配置を施す領域（再配置領域）を設定する。再配置領域のサイズは、対象物画像の大きさに応じて適宜設定され得る。そして、例えば、画像処理部１１８は、再配置領域において、対象物画像に近い画素ほど、伸張処理における伸張方向に大きく移動させるように、画素を再配置してもよい。言い換えると、画像処理部１１８は、再配置領域において、再配置領域の外周に近い（つまり対象物画像から遠い）画素ほど、移動距離は小さくなるように、画素を再配置してもよい。 Further, the image processing unit 118 may perform rearrangement processing on the image (pixels) around the object image. The rearrangement process is an image process in which the pixels around the object image are rearranged so that the boundary between the stretched object image and the image around the object becomes continuous. Specifically, for example, the pixels are rearranged so that the pixels closer to the center of the object image move more in the expansion direction in the expansion process with respect to the pixels around the object image. In other words, the image processing unit 118 may rearrange the pixels so that the moving distance becomes smaller as the pixel is farther from the center of the object image with respect to the pixels around the object image. Then, the image processing unit 118 performs complementary processing between the moved pixels. Alternatively, for example, the image processing unit 118 sets an area (rearrangement area) to be rearranged around the object image in the rearrangement process. The size of the rearranged area can be appropriately set according to the size of the object image. Then, for example, the image processing unit 118 may rearrange the pixels so that the pixels closer to the object image in the rearrangement region are moved more in the stretching direction in the stretching process. In other words, the image processing unit 118 may rearrange the pixels in the rearranged region so that the pixels closer to the outer circumference of the rearranged region (that is, farther from the object image) have a smaller moving distance.

圧縮画像において対象物画像に対して伸張処理を施すと、対象物画像の境界で画像が不連続となり得る。したがって、再配置処理を行うことによって、対象物画像の見栄えが向上し得る。再配置処理は、例えば、２次元ワープ法を用いて行われ得る。また、再配置処理は、伸張処理と同時に行ってもよい。つまり、対象物画像に対して伸張処理を施すとともに、再配置処理を施してもよい。言い換えると、対象物画像に対してワープ処理等の何らかの処理を行うことにより、対象物画像に対して伸張処理及び再配置処理が施され得る。再配置処理については後述する。 When the object image is stretched in the compressed image, the images may be discontinuous at the boundary of the object image. Therefore, the appearance of the object image can be improved by performing the rearrangement process. The rearrangement process can be performed using, for example, a two-dimensional warp method. Further, the rearrangement process may be performed at the same time as the decompression process. That is, the object image may be stretched and rearranged. In other words, the object image can be stretched and rearranged by performing some processing such as warping on the object image. The relocation process will be described later.

表示制御部１２０は、表示画像を表示するための制御を行う。具体的には、表示制御部１２０は、表示画像（表示画像データ）を表示部３０に出力して、表示部３０に表示画像を表示させる。これにより、表示部３０に表示画像が表示される。 The display control unit 120 controls for displaying the display image. Specifically, the display control unit 120 outputs a display image (display image data) to the display unit 30 and causes the display unit 30 to display the display image. As a result, the display image is displayed on the display unit 30.

図３は、実施の形態１にかかる表示制御装置１００によって実行される表示制御方法を示すフローチャートである。撮影データ取得部１１２は、撮像装置２が撮影した車両１の周囲の撮影データを取得する（ステップＳ１０２）。検出部１１４は、撮影データを用いて、移動している１つ以上の物体を検出する（ステップＳ１０４）。 FIG. 3 is a flowchart showing a display control method executed by the display control device 100 according to the first embodiment. The shooting data acquisition unit 112 acquires shooting data around the vehicle 1 shot by the imaging device 2 (step S102). The detection unit 114 detects one or more moving objects using the captured data (step S104).

判定部１１６は、Ｓ１０４の処理で検出された移動物体が車両１に近づく方向に移動しているか否かを判定する（ステップＳ１１０）。検出された移動物体が車両１に近づく方向に移動していないと判定された場合（Ｓ１１０のＮＯ）、処理フローはＳ１３０の処理に進む。一方、検出された移動物体が車両１に近づく方向に移動していると判定された場合（Ｓ１１０のＹＥＳ）、判定部１１６は、その移動物体を、対象物と判定する（ステップＳ１２０）。そして、処理フローはＳ１４０の処理に進む。 The determination unit 116 determines whether or not the moving object detected in the process of S104 is moving in the direction approaching the vehicle 1 (step S110). When it is determined that the detected moving object is not moving in the direction approaching the vehicle 1 (NO in S110), the processing flow proceeds to the processing in S130. On the other hand, when it is determined that the detected moving object is moving in the direction approaching the vehicle 1 (YES in S110), the determination unit 116 determines the moving object as an object (step S120). Then, the processing flow proceeds to the processing of S140.

ステップＳ１３０において、画像処理部１１８は、撮影データに対して画像処理を行って、表示画像を生成する。ここで、ステップＳ１３０においては、画像処理部１１８は、撮影データを表示領域に合わせて圧縮する圧縮処理のみ行う。つまり、撮影データにおける移動物体に対象物が存在しなかった場合、画像処理部１１８は、上述した伸張処理及び再配置処理を行わない。そして、処理フローはＳ１５０の処理に進む。 In step S130, the image processing unit 118 performs image processing on the captured data to generate a display image. Here, in step S130, the image processing unit 118 only performs a compression process of compressing the captured data according to the display area. That is, when the moving object in the shooting data does not have an object, the image processing unit 118 does not perform the above-mentioned stretching process and rearrangement process. Then, the processing flow proceeds to the processing of S150.

ステップＳ１４０において、画像処理部１１８は、撮影データに対して画像処理を行って、表示画像を生成する。ここで、ステップＳ１４０においては、画像処理部１１８は、撮影データを表示領域に合わせて圧縮する圧縮処理と、対象物に対する伸張処理と、対象物画像の周囲に対する再配置処理とを行う。そして、処理フローはＳ１５０の処理に進む。ステップＳ１５０において、表示制御部１２０は、表示画像を表示するための制御を行う。 In step S140, the image processing unit 118 performs image processing on the captured data to generate a display image. Here, in step S140, the image processing unit 118 performs a compression process for compressing the captured data according to the display area, a decompression process for the object, and a rearrangement process for the periphery of the object image. Then, the processing flow proceeds to the processing of S150. In step S150, the display control unit 120 controls to display the display image.

図４〜図７は、実施の形態１にかかる画像処理を説明するための図である。図４は、撮影データにかかる撮影画像９０を例示する図である。図５は、トリミング画像９４を例示する図である。図６は、圧縮画像９６を例示する図である。図７は、表示画像９８を例示する図である。 4 to 7 are diagrams for explaining the image processing according to the first embodiment. FIG. 4 is a diagram illustrating a photographed image 90 related to the photographed data. FIG. 5 is a diagram illustrating a trimmed image 94. FIG. 6 is a diagram illustrating the compressed image 96. FIG. 7 is a diagram illustrating the display image 98.

図４には、車両１が前方に移動している際に車両１の前方を撮影して得られた撮影データにかかる撮影画像９０が示されている。また、表示部３０における表示領域９２が、一点鎖線で示されている。また、表示画像に対応するトリミング画像９４が、破線で示されている。図４に示すように、トリミング画像９４は、表示領域９２よりも、より広い範囲の風景を表示している。つまり、表示領域９２よりも横に長いアスペクト比のトリミング画像９４を用いることで、ユーザは、横方向により広い範囲を視認することができる。 FIG. 4 shows a captured image 90 related to the captured data obtained by photographing the front of the vehicle 1 while the vehicle 1 is moving forward. Further, the display area 92 in the display unit 30 is indicated by a alternate long and short dash line. Further, the trimmed image 94 corresponding to the displayed image is shown by a broken line. As shown in FIG. 4, the cropped image 94 displays a landscape in a wider range than the display area 92. That is, by using the trimmed image 94 having an aspect ratio that is wider than the display area 92, the user can visually recognize a wider range in the horizontal direction.

画像処理部１１８は、図５に示すように、撮影画像９０から、トリミング画像９４を抽出する。そして、画像処理部１１８は、矢印Ａで示すように、表示領域９２のアスペクト比に合わせて、トリミング画像９４を圧縮する（Ｓ１３０，Ｓ１４０）。これにより、図６に示すように、画像処理部１１８は、圧縮画像９６を生成する。 As shown in FIG. 5, the image processing unit 118 extracts the trimmed image 94 from the captured image 90. Then, as shown by the arrow A, the image processing unit 118 compresses the trimmed image 94 according to the aspect ratio of the display area 92 (S130, S140). As a result, as shown in FIG. 6, the image processing unit 118 generates the compressed image 96.

また、図４に例示するように、撮影画像９０において、移動しているのはトラック及び自転車である。したがって、検出部１１４は、検出物体として、トラック画像８４に関するトラックと、自転車画像８２に関する自転車とを検出する（Ｓ１０４）。 Further, as illustrated in FIG. 4, in the photographed image 90, it is a truck and a bicycle that are moving. Therefore, the detection unit 114 detects the track related to the track image 84 and the bicycle related to the bicycle image 82 as the detection objects (S104).

図４において、背景にかかる動きベクトル６０が示されている。背景の動きベクトル６０を延長すると、収束点Ｐに収束し得る。ここで、トラック画像８４に関する動きベクトル６４を延長しても収束点Ｐに収束しない可能性が高い。つまり、トラック画像８４に関する動きベクトル６４の向きは、その近傍の背景に関する動きベクトル６０Ａの向きと異なり得る。さらに、トラック画像８４に関する動きベクトル６４の大きさは、その近傍の背景に関する動きベクトル６０Ａの大きさと異なる。したがって、検出部１１４は、トラック画像８４に関するトラックを検出する。また、自転車画像８２に関する動きベクトル６２を延長しても収束点Ｐに収束しない可能性が高い。つまり、自転車画像８２に関する動きベクトル６２の向きは、その近傍の背景に関する動きベクトル６０Ｂの向きと異なり得る。さらに、自転車画像８２に関する動きベクトル６２の大きさは、その近傍の背景に関する動きベクトル６０Ｂの大きさと異なる。したがって、検出部１１４は、自転車画像８２に関する自転車を検出する。 In FIG. 4, the motion vector 60 applied to the background is shown. By extending the background motion vector 60, it can converge to the convergence point P. Here, even if the motion vector 64 with respect to the track image 84 is extended, there is a high possibility that the motion vector 64 does not converge to the convergence point P. That is, the direction of the motion vector 64 with respect to the track image 84 may be different from the direction of the motion vector 60A with respect to the background in the vicinity thereof. Further, the size of the motion vector 64 with respect to the track image 84 is different from the size of the motion vector 60A with respect to the background in the vicinity thereof. Therefore, the detection unit 114 detects the track related to the track image 84. Further, even if the motion vector 62 related to the bicycle image 82 is extended, there is a high possibility that the movement vector 62 does not converge to the convergence point P. That is, the orientation of the motion vector 62 with respect to the bicycle image 82 may differ from the orientation of the motion vector 60B with respect to the background in the vicinity thereof. Further, the size of the motion vector 62 with respect to the bicycle image 82 is different from the size of the motion vector 60B with respect to the background in the vicinity thereof. Therefore, the detection unit 114 detects the bicycle related to the bicycle image 82.

また、自転車画像８２に関する動きベクトル６２の大きさは、その近傍の背景に関する動きベクトル６０Ｂの大きさよりも小さい。したがって、判定部１１６は、自転車が車両１とは離れる方向に移動していると判定する（Ｓ１１０のＮＯ）。したがって、判定部１１６は、自転車画像８２で示される自転車を対象物と判定しない。一方、トラック画像８４に関する動きベクトル６４の大きさは、その近傍の背景に関する動きベクトル６０Ａの大きさよりも大きい。したがって、判定部１１６は、トラックが車両１に近づく方向に移動していると判定する（Ｓ１１０のＹＥＳ）。したがって、判定部１１６は、トラック画像８４で示される物体（つまりトラック）を対象物と判定する（Ｓ１２０）。このとき、判定部１１６は、トラック画像８４を含む矩形画像７４を、対象物であるトラックを特定する画像としてもよい。 Further, the size of the motion vector 62 with respect to the bicycle image 82 is smaller than the size of the motion vector 60B with respect to the background in the vicinity thereof. Therefore, the determination unit 116 determines that the bicycle is moving in a direction away from the vehicle 1 (NO in S110). Therefore, the determination unit 116 does not determine the bicycle shown in the bicycle image 82 as an object. On the other hand, the size of the motion vector 64 with respect to the track image 84 is larger than the size of the motion vector 60A with respect to the background in the vicinity thereof. Therefore, the determination unit 116 determines that the truck is moving in the direction approaching the vehicle 1 (YES in S110). Therefore, the determination unit 116 determines that the object (that is, the track) shown in the track image 84 is an object (S120). At this time, the determination unit 116 may use the rectangular image 74 including the track image 84 as an image for identifying the track as the object.

図６に例示した圧縮画像９６をそのまま表示すると、ユーザにとって、縮小されたトラック画像８４Ａは見にくいおそれがある。そこで、画像処理部１１８は、上述したように、矢印Ｂで示すように、圧縮されたトラック画像８４Ａを圧縮方向と逆方向に伸張する。これにより、図７に例示するように、伸張されたトラック画像８４Ｂが表示されることとなる。このとき、画像処理部１１８は、矩形画像７４Ａを伸張してもよい。この場合、伸張された矩形画像７４Ｂが表示されることとなる。このようにして、表示画像９８が生成される（Ｓ１４０）。これにより、表示画像９８において、トラック画像８４Ｂ（又は矩形画像７４Ｂ）が視認しやすくなる。なお、上述したように、画像処理部１１８は、伸張されたトラック画像８４Ｂの境界部分に対して、再配置処理を施してもよい。これにより、対象物画像の境界の不連続性が抑制されるので、ユーザは、さらに、トラック画像８４Ｂを見やすくなる。再配置処理の具体例については後述する。 If the compressed image 96 illustrated in FIG. 6 is displayed as it is, the reduced track image 84A may be difficult for the user to see. Therefore, as described above, the image processing unit 118 stretches the compressed track image 84A in the direction opposite to the compression direction, as shown by the arrow B. As a result, as illustrated in FIG. 7, the stretched track image 84B is displayed. At this time, the image processing unit 118 may stretch the rectangular image 74A. In this case, the stretched rectangular image 74B will be displayed. In this way, the display image 98 is generated (S140). This makes it easier to visually recognize the track image 84B (or the rectangular image 74B) in the display image 98. As described above, the image processing unit 118 may perform the rearrangement processing on the boundary portion of the stretched track image 84B. As a result, the discontinuity of the boundary of the object image is suppressed, so that the user can further easily see the track image 84B. A specific example of the rearrangement process will be described later.

運転者等のユーザにとって、移動物体の動きを注視することは、車両１を運転する際に重要である。したがって、ユーザにとって移動物体を視認できることは重要である。ここで、上述したように、表示画像の画角を拡げるために表示領域よりも大きな範囲でトリミングされた撮影データ（トリミング画像）を圧縮することがある。この場合、移動物体に対して何らの処理を施さないと、移動物体が見にくくなるおそれがある。したがって、圧縮画像９６において、移動物体の画像に対して伸張処理を施すことが考えられる。 For a user such as a driver, it is important to watch the movement of a moving object when driving the vehicle 1. Therefore, it is important for the user to be able to see the moving object. Here, as described above, in order to widen the angle of view of the display image, the captured data (trimmed image) trimmed in a range larger than the display area may be compressed. In this case, if no processing is performed on the moving object, the moving object may be difficult to see. Therefore, in the compressed image 96, it is conceivable to perform stretching processing on the image of the moving object.

一方、全ての移動物体の画像について伸張処理を施すと、特に移動物体の画像が多い場
合に、伸張された画像が多くなる。これにより、注意すべき移動物体が却って見づらくなるおそれがある。したがって、伸張処理を施す移動物体を絞り込むことが必要である。 On the other hand, when the images of all moving objects are stretched, the number of stretched images increases, especially when there are many images of moving objects. This may make it difficult to see moving objects that should be noted. Therefore, it is necessary to narrow down the moving objects to be stretched.

ここで、車両１に近づく方向に移動していない移動物体は、車両１と接触する可能性は低い。したがって、このような移動物体をユーザが視認することの重要度は、比較的低い。例えば、図７の表示画像９８における自転車画像８２Ａをユーザが視認することの重要度は、比較的低い。したがって、このような移動物体の画像については、伸張処理を施す優先度を低くしてもよい。つまり、図７に例示するように、表示画像９８において、自転車画像８２Ａに対しては、伸張処理が施されなくてもよい。 Here, a moving object that has not moved in the direction approaching the vehicle 1 is unlikely to come into contact with the vehicle 1. Therefore, it is relatively less important for the user to visually recognize such a moving object. For example, the importance of visually recognizing the bicycle image 82A in the display image 98 of FIG. 7 is relatively low. Therefore, for the image of such a moving object, the priority of performing the stretching process may be lowered. That is, as illustrated in FIG. 7, in the display image 98, the bicycle image 82A does not have to be stretched.

これに対し、車両１に近づく方向に移動している移動物体は、車両１と接触する可能性がある。したがって、このような移動物体は、車両１の運転者等にとって、より注意すべき物体である。したがって、このような移動物体をユーザが視認することの重要度は高い。例えば、図６に例示した圧縮画像に９６におけるトラック画像８４Ａをユーザが視認することの重要度は高い。したがって、このような移動物体の画像について伸張処理を施すことにより、より注意すべき移動物体について、視認しやすくなる。そして、より優先度の高い移動物体の画像についてのみ伸張処理を施すことにより、伸張処理を施す優先度が低い移動物体の画像についても伸張処理を施す場合と比較して、ユーザは、表示画像を視認しやすくなる。したがって、ユーザが視認することが必要な対象物を容易に認識できるように表示することが可能となる。 On the other hand, a moving object moving in a direction approaching the vehicle 1 may come into contact with the vehicle 1. Therefore, such a moving object is an object that the driver of the vehicle 1 and the like should pay more attention to. Therefore, it is very important for the user to visually recognize such a moving object. For example, it is very important for the user to visually recognize the track image 84A in 96 in the compressed image illustrated in FIG. Therefore, by performing the stretching process on the image of such a moving object, it becomes easier to visually recognize the moving object to be more careful. Then, by performing the stretching process only on the image of the moving object having a higher priority, the user can perform the stretching process as compared with the case where the image of the moving object having a lower priority is also stretched. It becomes easier to see. Therefore, it is possible to display an object that the user needs to visually recognize so that it can be easily recognized.

（実施の形態２）
次に、実施の形態２について説明する。実施の形態２では、特定の条件（図３のＳ１１０のＹＥＳ）を満たす物体が複数ある場合に、そのうちの特定の物体を対象物とする点で、実施の形態１と異なる。なお、実施の形態２にかかる車両１のハードウェア構成及び表示制御装置１００の構成については、実施の形態１にかかるものと実質的に同様であるので、説明を省略する。 (Embodiment 2)
Next, the second embodiment will be described. The second embodiment is different from the first embodiment in that when there are a plurality of objects satisfying a specific condition (YES in S110 of FIG. 3), the specific object is the object. The hardware configuration of the vehicle 1 and the configuration of the display control device 100 according to the second embodiment are substantially the same as those according to the first embodiment, and thus the description thereof will be omitted.

図８は、実施の形態２にかかる表示制御装置１００によって実行される表示制御方法を示すフローチャートである。図３のＳ１０２と同様に、撮影データ取得部１１２は、撮像装置２が撮影した車両１の周囲の撮影データを取得する（ステップＳ２０２）。図３のＳ１０４と同様に、検出部１１４は、撮影データを用いて、移動している１つ以上の物体を検出する（ステップＳ２０４）。 FIG. 8 is a flowchart showing a display control method executed by the display control device 100 according to the second embodiment. Similar to S102 in FIG. 3, the shooting data acquisition unit 112 acquires shooting data around the vehicle 1 shot by the imaging device 2 (step S202). Similar to S104 in FIG. 3, the detection unit 114 detects one or more moving objects using the shooting data (step S204).

図３のＳ１１０と同様に、判定部１１６は、Ｓ２０４の処理で検出された移動物体が車両１に近づく方向に移動しているか否かを判定する（ステップＳ２１０）。検出された移動物体の種類が特定種類でないと判定された場合（Ｓ２１０のＮＯ）、処理フローはＳ２３０の処理に進む。一方、検出された移動物体が車両１に近づく方向に移動していると判定された場合（Ｓ２１０のＹＥＳ）、判定部１１６は、上記の条件を満たす移動物体が複数存在するか否かを判定する（ステップＳ２１４）。上記の条件を満たす移動物体が複数存在しない、つまり当該物体が１つである場合（Ｓ２１４のＮＯ）、判定部１１６は、その移動物体を、対象物と判定する（ステップＳ２２０）。そして、処理フローはＳ２４０に進む。 Similar to S110 in FIG. 3, the determination unit 116 determines whether or not the moving object detected in the process of S204 is moving in the direction approaching the vehicle 1 (step S210). When it is determined that the type of the detected moving object is not a specific type (NO in S210), the processing flow proceeds to the processing in S230. On the other hand, when it is determined that the detected moving object is moving in the direction approaching the vehicle 1 (YES in S210), the determination unit 116 determines whether or not there are a plurality of moving objects satisfying the above conditions. (Step S214). When there are no plurality of moving objects satisfying the above conditions, that is, there is only one moving object (NO in S214), the determination unit 116 determines the moving object as an object (step S220). Then, the processing flow proceeds to S240.

一方、上記の条件を満たす移動物体が複数存在する場合（Ｓ２１４のＹＥＳ）、判定部１１６は、移動速度の大きなＮ個の移動物体を、対象物と判定する（ステップＳ２１６）。ここで、Ｎは、予め定められた１以上の整数である。Ｎは、例えば、１又は２であるが、これに限定されない。例えば、Ｎ＝２であって、上記の条件を満たす移動物体が３つ検出された場合、移動速度の大きな２つの移動物体が、対象物と判定される。なお、Ｎ＝１とした場合、上記の条件を満たし速度が最も大きな移動物体が、対象物と判定される。そして、処理フローはＳ２４０の処理に進む。 On the other hand, when there are a plurality of moving objects satisfying the above conditions (YES in S214), the determination unit 116 determines N moving objects having a high moving speed as objects (step S216). Here, N is a predetermined integer of 1 or more. N is, for example, 1 or 2, but is not limited to this. For example, when N = 2 and three moving objects satisfying the above conditions are detected, the two moving objects having a high moving speed are determined to be objects. When N = 1, the moving object that satisfies the above conditions and has the highest speed is determined to be the object. Then, the processing flow proceeds to the processing of S240.

図３のＳ１３０と同様に、ステップＳ２３０において、画像処理部１１８は、撮影データに対して画像処理（圧縮処理）を行って、表示画像を生成する。そして、処理フローはＳ２５０の処理に進む。また、図３のＳ１４０と同様に、ステップＳ２４０において、画像処理部１１８は、撮影データに対して画像処理（圧縮処理、伸張処理及び再配置処理）を行って、表示画像を生成する。そして、図３のＳ１５０と同様に、ステップＳ２５０において、表示制御部１２０は、表示画像を表示するための制御を行う。 Similar to S130 in FIG. 3, in step S230, the image processing unit 118 performs image processing (compression processing) on the captured data to generate a display image. Then, the processing flow proceeds to the processing of S250. Further, similarly to S140 in FIG. 3, in step S240, the image processing unit 118 performs image processing (compression processing, decompression processing, and rearrangement processing) on the captured data to generate a display image. Then, similarly to S150 in FIG. 3, in step S250, the display control unit 120 controls to display the display image.

予め定められた条件（Ｓ２１０のＹＥＳ）を満たす移動物体が多数ある場合、それらの移動物体を全て対象物として伸張処理を行うと、伸張処理が施された対象物画像が多くなってしまう。これにより、例えば、多数の対象物画像が重なってしまったり、表示画像における対象物画像の割合が大きくなりすぎて他の画像を視認しづらくなったりといったことが発生し得る。したがって、伸張処理を施す物体を実施の形態１の場合よりもさらに絞り込むことが必要である。そして、移動速度が大きな物体は、車両１により早く接近し得るので、ユーザにとって特に注意すべき物体である。したがって、伸張処理を施す優先度は高い。したがって、実施の形態２にかかる方法によって、ユーザが視認することの優先度が極めて高い対象物を、容易に視認できるように表示することが可能となる。 When there are many moving objects that satisfy the predetermined condition (YES in S210), if the stretching process is performed with all the moving objects as the objects, the number of the stretched object images will increase. As a result, for example, a large number of object images may overlap, or the ratio of the object images in the displayed image may become too large, making it difficult to visually recognize other images. Therefore, it is necessary to further narrow down the objects to be stretched as compared with the case of the first embodiment. An object having a high moving speed can approach the vehicle 1 faster, and is therefore an object that the user should pay particular attention to. Therefore, the priority of performing the decompression process is high. Therefore, according to the method according to the second embodiment, it is possible to display an object having an extremely high priority for being visually recognized by the user so that the object can be easily visually recognized.

（再配置処理）
上述した再配置処理の具体例について、図面を用いて説明する。図９は、再配置処理を説明するための図である。図に示す矩形は、撮影画像ＣＤを示している。撮影画像ＣＤには、第１楕円ＣＡ、第２楕円ＣＫおよび第３楕円ＣＢが示されている。 (Relocation process)
A specific example of the above-mentioned rearrangement processing will be described with reference to the drawings. FIG. 9 is a diagram for explaining the rearrangement process. The rectangle shown in the figure indicates a captured image CD. The captured image CD shows a first ellipse CA, a second ellipse CK, and a third ellipse CB.

第１楕円ＣＡは、中心ＣＣを有する縦長の楕円であって、横方向の径（短径）が長さ２ｃであり、縦方向の径（長径）が長さ２ｄである。第２楕円ＣＫは、第１楕円ＣＡと同心であり、且つ、第１楕円ＣＡより大きい楕円である。第２楕円ＣＫは、横方向の径が長さ２＊ｇ＊ｃであり、縦方向の径が長さ２＊ｈ＊ｄである。すなわち第２楕円ＣＫは、第１楕円ＣＡを横方向にｇ倍、縦方向にｈ倍伸張したものである。第３楕円ＣＢは、第１楕円ＣＡおよび第２楕円ＣＫと同心であって第２楕円ＣＫより大きい横長の楕円であって、横方向の径（長径）が長さ２ｅであり、縦方向の径（短径）が長さ２ｆである。なお、上述の楕円は、横方向の径と縦方向の径とが同じ場合、すなわち真円の場合も含む。 The first ellipse CA is a vertically long ellipse having a central CC, and has a horizontal diameter (minor diameter) of 2c and a vertical diameter (major diameter) of 2d. The second ellipse CK is an ellipse that is concentric with the first ellipse CA and larger than the first ellipse CA. The second ellipse CK has a horizontal diameter of 2 * g * c and a vertical diameter of 2 * h * d. That is, the second ellipse CK is obtained by extending the first ellipse CA by g times in the horizontal direction and h times in the vertical direction. The third ellipse CB is a horizontally long ellipse that is concentric with the first ellipse CA and the second ellipse CK and larger than the second ellipse CK, and has a horizontal diameter (major diameter) of 2e and a vertical diameter. The diameter (minor diameter) is 2f in length. The above-mentioned ellipse also includes a case where the diameter in the horizontal direction and the diameter in the vertical direction are the same, that is, a case where the ellipse is a perfect circle.

第１楕円ＣＡは、伸張処理を施す対象の物体にかかる画像である対象物画像Ｔ１の外縁を示している。第１楕円ＣＡの内側には例えば移動体の画像が含まれる。第１楕円ＣＡを外縁とする対象物画像Ｔ１は、伸張処理により第２楕円ＣＫに伸張される。すなわち対象物画像Ｔ１は、伸張される前の外縁が第１楕円ＣＡであって、伸張された後の外縁が第２楕円ＣＫである。 The first ellipse CA shows the outer edge of the object image T1, which is an image of the object to be stretched. Inside the first ellipse CA, for example, an image of a moving body is included. The object image T1 having the first ellipse CA as the outer edge is stretched to the second ellipse CK by the stretching process. That is, in the object image T1, the outer edge before being stretched is the first ellipse CA, and the outer edge after being stretched is the second ellipse CK.

また第１楕円ＣＡと第３楕円ＣＢとの間にハッチングにより示された領域は、対象物画像Ｔ１が伸張される前の再配置領域Ｔ２である。再配置領域Ｔ２は、対象物画像Ｔ１が伸張されることにより、内縁部が第１楕円ＣＡから第２楕円ＣＫに拡がる。これにともない、再配置領域Ｔ２における各画素の配置は、後述のように再配置される。なお、対象物画像Ｔ１が伸張される場合に、再配置領域Ｔ２の外縁である第３楕円ＣＢの大きさは変化しない。 The region indicated by hatching between the first ellipse CA and the third ellipse CB is the rearranged region T2 before the object image T1 is stretched. The inner edge of the rearranged region T2 expands from the first ellipse CA to the second ellipse CK by extending the object image T1. Along with this, the arrangement of each pixel in the rearrangement region T2 is rearranged as described later. When the object image T1 is stretched, the size of the third ellipse CB, which is the outer edge of the rearranged region T2, does not change.

第３楕円ＣＢは、対象物画像Ｔ１の周囲の画像である周囲画像Ｔ３と再配置領域Ｔ２との境界を示している。周囲画像Ｔ３は、対象物画像Ｔ１の伸張処理および再配置領域Ｔ２の再配置処理の前後において同じ状態が維持される。 The third ellipse CB indicates the boundary between the peripheral image T3, which is an image around the object image T1, and the rearranged region T2. The surrounding image T3 is maintained in the same state before and after the expansion process of the object image T1 and the rearrangement process of the rearrangement region T2.

ここで、中心ＣＣから右側に延びる横軸が中心ＣＣ周りに反時計回りに回転したときの角度を、角度θとすると、任意の角度θにおける第１楕円ＣＡの中心ＣＣからの距離ａ（θ）は、以下の式（１）により示される。

同様に、任意の角度θにおける第３楕円ＣＢの中心ＣＣからの距離ｂ（θ）は、以下の式（２）により示される。

また図に示すように、任意の角度θにおける第２楕円ＣＫの中心ＣＣからの距離は、ｋ（θ）＊ａ（θ）として示される。このときｋ（θ）は、以下の式（３）により示される。

Here, if the angle when the horizontal axis extending to the right from the center CC rotates counterclockwise around the center CC is an angle θ, the distance a (θ) from the center CC of the first ellipse CA at an arbitrary angle θ. ) Is represented by the following equation (1).

Similarly, the distance b (θ) from the center CC of the third ellipse CB at an arbitrary angle θ is expressed by the following equation (2).

Further, as shown in the figure, the distance from the center CC of the second ellipse CK at an arbitrary angle θ is shown as k (θ) * a (θ). At this time, k (θ) is represented by the following equation (3).

このとき、対象物画像Ｔ１において、任意の角度θにおける任意の画素の中心ＣＣからの距離は、以下の式（４）により示される。

ここで、ｙ_Ｔ１は、伸張処理後における画素の距離であり、ｘ_Ｔ１は、伸張処理前における画素の距離である。例えば図に黒い円で示された点Ｐ１１および点Ｐ１２は、伸張処理により、上記の式（４）にしたがいそれぞれ白抜きの円で示された点Ｐ２１および点Ｐ２２に移動する。なお、対象物画像Ｔ１がこのように伸張される場合に、図に示した例のように移動した画素同士の間隔が開き、開いた間隔に新たな画素を配置する必要が生じる場合がある。この場合、画像処理部１１８は、周囲の画素の輝度値を利用して新たな画素の輝度値を補間処理によって設定する。 At this time, in the object image T1, the distance from the center CC of an arbitrary pixel at an arbitrary angle θ is expressed by the following equation (4).

Here, y _T1 is the distance of the pixels after the stretching process, and x _T1 is the distance of the pixels before the stretching process. For example, the points P11 and P12 shown by the black circles in the figure move to the points P21 and P22 shown by the white circles, respectively, according to the above equation (4) by the stretching process. When the object image T1 is stretched in this way, the intervals between the moved pixels are widened as in the example shown in the figure, and it may be necessary to arrange new pixels at the opened intervals. In this case, the image processing unit 118 sets the brightness value of a new pixel by interpolation processing using the brightness value of the surrounding pixels.

また、再配置領域Ｔ２において、任意の角度θにおける任意の画素の中心ＣＣからの距離は、以下の式（５）により示される。

ここで、ｙ_Ｔ２は、再配置処理後における画素の距離であり、ｘ_Ｔ２は、再配置処理前における画素の距離である。例えば図に黒い円で示された点Ｐ１３および点Ｐ１４は、再配置処理により、上記の式（５）にしたがいそれぞれ白抜きの円で示された点Ｐ２３および点Ｐ２４に再配置される。なお、再配置領域Ｔ２がこのように処理される場合に、図に示した例のように移動した画素同士の間隔が狭まり、例えば再配置処理される前に隣接していた複数の画素の移動先が重複する場合がある。この場合、画像処理部１１８は、適宜補間処理により重複する画素の輝度値を設定する。 Further, in the rearrangement region T2, the distance from the center CC of an arbitrary pixel at an arbitrary angle θ is expressed by the following equation (5).

Here, y _T2 is the pixel distance after the rearrangement process, and x _T2 is the pixel distance before the rearrangement process. For example, the points P13 and P14 shown by the black circles in the figure are rearranged at the points P23 and P24 shown by the white circles, respectively, according to the above equation (5) by the rearrangement process. When the rearrangement region T2 is processed in this way, the distance between the moved pixels is narrowed as in the example shown in the figure, for example, the movement of a plurality of adjacent pixels before the rearrangement processing is performed. The destination may overlap. In this case, the image processing unit 118 appropriately sets the brightness values of the overlapping pixels by interpolation processing.

以上、再配置処理の具体例について説明した。上述の処理によれば、再配置処理は、対象物画像Ｔ１の周囲の再配置領域Ｔ２に対して、対象物画像Ｔ１の中心ＣＣに近い画素ほど、移動距離が大きくなるように、画素を再配置する。また上述の処理によれば、再配置処理は、対象物画像Ｔ１の周囲の再配置領域Ｔ２に対して、対象物画像Ｔ１の中心ＣＣから遠い画素ほど、移動距離が小さくなるように、画素を再配置する。以上の処理を行うことにより、再配置処理は、対象物画像の中心位置から楕円状に伸張処理をする場合に、対象物画像と周囲画像との境界が連続的になるように、対象物の画像の周囲の画素を再配置する。 The specific example of the relocation process has been described above. According to the above-mentioned processing, the rearrangement processing rearranges the pixels so that the moving distance becomes larger as the pixel closer to the center CC of the object image T1 with respect to the rearrangement region T2 around the object image T1. Deploy. Further, according to the above-mentioned processing, in the rearrangement processing, the pixels are arranged so that the moving distance becomes smaller as the pixel is farther from the center CC of the object image T1 with respect to the rearrangement region T2 around the object image T1. Relocate. By performing the above processing, the rearrangement processing performs the rearrangement processing so that the boundary between the object image and the surrounding image becomes continuous when the object is expanded in an elliptical shape from the center position of the object image. Rearrange the pixels around the image.

（変形例）
なお、本発明は上記実施の形態に限られたものではなく、趣旨を逸脱しない範囲で適宜変更することが可能である。例えば、上述したフローチャートにおける各処理の順序は、適宜、変更可能である。また、上述したフローチャートにおける各処理のうちの１つ以上は、省略され得る。 (Modification example)
The present invention is not limited to the above embodiment, and can be appropriately modified without departing from the spirit. For example, the order of each process in the above-mentioned flowchart can be changed as appropriate. Further, one or more of each process in the above-mentioned flowchart may be omitted.

また、上述した実施の形態では、伸張処理を施す対象物画像に対して再配置処理を施すとしたが、対象物画像に対して再配置処理を施す必要はない。しかしながら、対象物画像に対して再配置処理を施すことにより、上述したように、対象物画像が見やすくなり得る。なお、対象物画像に対して再配置処理を施さなくても、伸張処理を施すことのみで、対象物画像は、ある程度、ユーザにとって視認しやすくなる。また、対象物画像のエッジ（輪郭）を認識できる場合は、矩形画像ではなく対象物画像そのものの画像に対して伸張処理を施してもよい。これにより、対象物画像の境界における不連続性は抑制される。 Further, in the above-described embodiment, the rearrangement process is performed on the object image to be stretched, but it is not necessary to perform the rearrangement process on the object image. However, by performing the rearrangement processing on the object image, the object image can be easily seen as described above. It should be noted that the object image can be easily visually recognized by the user to some extent only by performing the stretching process without performing the rearrangement process on the object image. Further, if the edge (contour) of the object image can be recognized, the image of the object image itself may be stretched instead of the rectangular image. As a result, the discontinuity at the boundary of the object image is suppressed.

また、上述したプログラムは、様々なタイプの非一時的なコンピュータ可読媒体（non-transitory computer readable medium）を用いて格納され、コンピュータに供給することができる。非一時的なコンピュータ可読媒体は、様々なタイプの実体のある記録媒体（tangible storage medium）を含む。非一時的なコンピュータ可読媒体の例は、磁気記録媒体（例えばフレキシブルディスク、磁気テープ、ハードディスクドライブ）、光磁気記録媒体（例えば光磁気ディスク）、ＣＤ−ＲＯＭ（Read Only Memory）、ＣＤ−Ｒ、ＣＤ−Ｒ／Ｗ、半導体メモリ（例えば、マスクＲＯＭ、ＰＲＯＭ（Programmable ROM）、ＥＰＲＯＭ（Erasable PROM）、フラッシュＲＯＭ、ＲＡＭ（random access memory））を含む。また、プログラムは、様々なタイプの一時的なコンピュータ可読媒体（transitory computer readable medium）によってコンピュータに供給されてもよい。一時的なコンピュータ可読媒体の例は、電気信号、光信号、及び電磁波を含む。一時的なコンピュータ可読媒体は、電線及び光ファイバ等の有線通信路、又は無線通信路を介して、プログラムをコンピュータに供給できる。 In addition, the programs described above can be stored and supplied to a computer using various types of non-transitory computer readable medium. Non-transient computer-readable media include various types of tangible storage media. Examples of non-temporary computer-readable media include magnetic recording media (eg, flexible disks, magnetic tapes, hard disk drives), magneto-optical recording media (eg, magneto-optical disks), CD-ROMs (Read Only Memory), CD-Rs. It includes a CD-R / W and a semiconductor memory (for example, a mask ROM, a PROM (Programmable ROM), an EPROM (Erasable PROM), a flash ROM, and a RAM (random access memory)). The program may also be supplied to the computer by various types of transient computer readable medium. Examples of temporary computer-readable media include electrical, optical, and electromagnetic waves. The temporary computer-readable medium can supply the program to the computer via a wired communication path such as an electric wire and an optical fiber, or a wireless communication path.

１車両
２撮像装置
３０表示部
５０表示システム
７４矩形画像
８２自転車画像
８４トラック画像
９０撮影画像
９２表示領域
９４トリミング画像
９６圧縮画像
９８表示画像
１００表示制御装置
１０２制御部
１０４記憶部
１０６通信部
１０８インタフェース部
１１２撮影データ取得部
１１４検出部
１１６判定部
１１８画像処理部
１２０表示制御部 1 Vehicle 2 Imaging device 30 Display unit 50 Display system 74 Rectangular image 82 Bicycle image 84 Track image 90 Captured image 92 Display area 94 Trimmed image 96 Compressed image 98 Display image 100 Display control device 102 Control unit 104 Storage unit 106 Communication unit 108 Interface Unit 112 Shooting data acquisition unit 114 Detection unit 116 Judgment unit 118 Image processing unit 120 Display control unit

Claims

A shooting data acquisition unit that acquires shooting data obtained by shooting an image of the surroundings of the vehicle with an imaging device mounted on the vehicle.
A detection unit that detects one or more moving objects that are moving objects from the captured data, and
A determination unit that determines an object to be stretched from the detected moving object based on the moving direction of the moving object.
The displayed image is obtained by compressing the captured data and performing the decompression processing on the image of the object so that the size of the compressed image is larger than the size of the compressed image of the object. Image processing unit that generates
A display control unit that controls the display of the display image,
Display control device having.

When the moving object is moving in a direction approaching the vehicle, the determination unit determines the moving object as the object.
The display control device according to claim 1.

When there are a plurality of the moving objects moving in the direction approaching the vehicle, the determination unit determines that a predetermined number of the moving objects from the one having the highest moving speed are the objects.
The display control device according to claim 2.

The image processing unit extracts a first image in a predetermined range larger than the display area in which the display image is displayed from the shooting data, and puts the extracted first image in the display area. Compress together,
The display control device according to any one of claims 1 to 3.

The image processing unit rearranges the pixels around the image of the object so that the boundary between the image of the object to which the stretching process has been applied and the image around the object is continuous. Perform relocation processing,
The display control device according to any one of claims 1 to 4.

The imaging device mounted on the vehicle captures an image of the surroundings of the vehicle and acquires the shooting data obtained.
One or more moving objects, which are moving objects, are detected from the photographed data, and the moving objects are detected.
Based on the moving direction of the moving object, the detected object to be stretched is determined from the moving object.
The displayed image is obtained by compressing the captured data and performing the decompression processing on the image of the object so that the size of the compressed image is larger than the size of the compressed image of the object. To generate
Control for displaying the display image,
Display control method.

A step of acquiring shooting data obtained by shooting an image of the surroundings of the vehicle with an imaging device mounted on the vehicle, and
A step of detecting one or more moving objects that are moving objects from the photographed data, and
A step of determining an object to be stretched from the detected moving object based on the moving direction of the moving object, and
The displayed image is obtained by compressing the captured data and performing the decompression processing on the image of the object so that the size of the compressed image is larger than the size of the compressed image of the object. And the steps to generate
A step of controlling the display of the display image and
A program that causes a computer to run.