JP2012147308A

JP2012147308A - Image processing apparatus, image display system, and image processing method

Info

Publication number: JP2012147308A
Application number: JP2011004861A
Authority: JP
Inventors: Naoshi Kakita; 直士垣田
Original assignee: Denso Ten Ltd
Current assignee: Denso Ten Ltd
Priority date: 2011-01-13
Filing date: 2011-01-13
Publication date: 2012-08-02

Abstract

PROBLEM TO BE SOLVED: To detect abnormal writing of an image into a memory.SOLUTION: In an image display system 200, a data imparting part 22 imparts inspection data different from an image adjacent temporally, to an image before being written into a frame memory 23. An abnormality detection part 24 detects abnormality on the basis of the update state of the inspection data imparted to the image read periodically from the frame memory 23. If there is abnormal writing of the image into the frame memory 23, the inspection data is not updated, which facilitates the detection of the abnormal writing of the image.

Description

本発明は、画像を処理する技術に関する。 The present invention relates to a technique for processing an image.

表示装置への表示に用いる映像信号は、画像（フレーム）を所定の周期で含んでいる。この映像信号を処理対象とする画像表示システムは、映像信号の同期タイミングの調整や映像信号の同期周波数の変更などに、一の画像（一のフレーム）全体を記憶可能なフレームメモリと呼ばれるメモリを一般的に利用する。 The video signal used for display on the display device includes images (frames) at a predetermined cycle. An image display system for processing this video signal has a memory called a frame memory that can store an entire image (one frame) for adjusting the synchronization timing of the video signal or changing the synchronization frequency of the video signal. Generally used.

例えば、画像表示システムは、映像信号に含まれる画像をメモリの所定の記憶領域に周期的に書き込む。そして、画像表示システムは、このメモリの記憶領域から所定のタイミングで画像を周期的に読み出す。これにより、映像信号の同期タイミングの調整や、映像信号の同期周波数などが実現される。 For example, the image display system periodically writes an image included in the video signal in a predetermined storage area of the memory. Then, the image display system periodically reads an image from the storage area of the memory at a predetermined timing. As a result, adjustment of the synchronization timing of the video signal, synchronization frequency of the video signal, and the like are realized.

なお、本明細書で説明する技術に関連する技術を開示した文献として特許文献１がある。 Note that there is Patent Document 1 as a document disclosing a technology related to the technology described in this specification.

特開２００３−５２０５９号公報JP 2003-52059 A

ところで、上記のようにメモリを利用する画像表示システムにおいて、映像信号に含まれる画像を書き込む側の処理部に異常が生じる一方で、画像を読み出す側の処理部は正常となる場合がある。この場合においては、画像を記憶すべきメモリの領域には新たな画像が書き込まれないため、メモリの当該領域は最後に書き込まれた画像を継続的に記憶する状態となる。一方で、画像を読み出す側の処理部は正常であるため、メモリに記憶された同一の画像が繰り返し読み出されて、表示装置への表示に用いられる。これにより、画像表示システムは、表示する画像の内容が更新されない状態（以下、「画面固着状態」という。）に陥ることになる。 By the way, in the image display system using the memory as described above, an abnormality may occur in the processing unit that writes the image included in the video signal, while the processing unit that reads the image may be normal. In this case, since a new image is not written in the area of the memory where the image is to be stored, the area in the memory is in a state of continuously storing the last written image. On the other hand, since the processing unit on the image reading side is normal, the same image stored in the memory is repeatedly read and used for display on the display device. As a result, the image display system falls into a state where the content of the image to be displayed is not updated (hereinafter referred to as “screen sticking state”).

画像表示システムがこの画面固着状態となったとしても、表示装置に画像は表示されることから、画像表示システムに何らかの異常が生じたことをユーザは把握しにくい。一方で、表示装置が表示する画像の内容が更新されないことから、画像中の被写体の本来の様子が表示されなくなる。これにより、表示装置を視認するユーザが、画像表示システムの異常に気づかずに、表示装置に表示された画像の内容に基づいて誤った判断をする可能性がある。 Even if the image display system is in this screen fixing state, the image is displayed on the display device, so that it is difficult for the user to grasp that some abnormality has occurred in the image display system. On the other hand, since the content of the image displayed on the display device is not updated, the original state of the subject in the image is not displayed. Thereby, the user who visually recognizes the display device may make an erroneous determination based on the content of the image displayed on the display device without noticing the abnormality of the image display system.

特に、車両の周辺を撮影して得られた画像を車両内の表示装置に表示する画像表示システムがこのような画面固着状態となった場合においては、車両の周辺の様子をユーザが誤って判断し、ユーザが誤った運転を行う可能性がある。 In particular, when an image display system that displays an image obtained by photographing the periphery of the vehicle on the display device in the vehicle is in such a screen fixing state, the user erroneously determines the state of the periphery of the vehicle. However, there is a possibility that the user will perform an incorrect driving.

本発明は、上記課題に鑑みてなされたものであり、メモリへの画像の書き込みの異常を検出できる画像処理装置を提供することを目的とする。 The present invention has been made in view of the above problems, and an object of the present invention is to provide an image processing apparatus capable of detecting an abnormality in writing an image into a memory.

上記課題を解決するため、請求項１の発明は、画像を処理する画像処理装置であって、画像を周期的にメモリに書き込む書込手段と、前記メモリから前記画像を周期的に読み出す読出手段と、前記メモリから読み出された前記画像に基づく表示画像を表示装置に出力して表示させる出力手段と、前記メモリに書き込む前の前記画像それぞれに、時間的に隣り合う画像とは異なる検査用データを付与する付与手段と、前記メモリから周期的に読み出された前記画像それぞれに付与された前記検査用データの更新状態に基づいて、異常を検出する検出手段と、を備えている。 In order to solve the above-mentioned problem, the invention of claim 1 is an image processing apparatus for processing an image, wherein a writing means for periodically writing an image into a memory and a reading means for periodically reading the image from the memory. Output means for outputting a display image based on the image read from the memory to a display device and displaying the display image, and for inspection different from images temporally adjacent to each of the images before being written to the memory And providing means for assigning data, and detecting means for detecting an abnormality based on the update state of the inspection data assigned to each of the images periodically read from the memory.

また、請求項２の発明は、請求項１に記載の画像処理装置において、前記検出手段が前記異常を検出した場合は、前記表示画像に前記異常の発生を示す警告情報を含める警告手段、を備えている。 According to a second aspect of the present invention, in the image processing apparatus according to the first aspect, when the detection unit detects the abnormality, the warning unit includes warning information indicating the occurrence of the abnormality in the display image. I have.

また、請求項３の発明は、請求項２に記載の画像処理装置において、前記書込手段は、車両の周辺を撮影するカメラで取得された画像を前記メモリに書き込み、前記出力手段は、前記車両に搭載された表示装置に前記表示画像を出力して表示させる。 According to a third aspect of the present invention, in the image processing apparatus according to the second aspect, the writing unit writes an image acquired by a camera that captures the periphery of the vehicle into the memory, and the output unit The display image is output and displayed on a display device mounted on the vehicle.

また、請求項４の発明は、請求項１ないし３のいずれかに記載の画像処理装置において、前記付与手段は、前記メモリに書き込む前の前記画像を周期的に含む映像信号の、ブランキング期間に対応する部分に前記検査用データを付加する。 According to a fourth aspect of the present invention, there is provided the image processing apparatus according to any one of the first to third aspects, wherein the adding unit is a blanking period of a video signal that periodically includes the image before being written to the memory. The inspection data is added to the portion corresponding to.

また、請求項５の発明は、画像を表示する画像表示システムであって、請求項１ないし４のいずれかに記載の画像処理装置と、前記画像処理装置から出力された表示画像を表示する表示装置と、を備えている。 According to a fifth aspect of the present invention, there is provided an image display system for displaying an image, the image processing apparatus according to any one of the first to fourth aspects, and a display for displaying a display image output from the image processing apparatus. And a device.

また、請求項６の発明は、画像を処理する画像処理方法であって、（ａ）画像を周期的にメモリに書き込む工程と、（ｂ）前記メモリから前記画像を周期的に読み出す工程と、（ｃ）前記メモリから読み出された前記画像に基づく表示画像を表示する工程と、（ｄ）前記メモリに書き込む前の前記画像それぞれに、時間的に隣り合う画像とは異なる検査用データを付与する工程と、（ｅ）前記メモリから周期的に読み出された前記画像それぞれに付与された前記検査用データの更新状態に基づいて、異常を検出する工程と、を備えている。 The invention of claim 6 is an image processing method for processing an image, wherein (a) a step of periodically writing an image into a memory; (b) a step of periodically reading out the image from the memory; (C) a step of displaying a display image based on the image read from the memory; and (d) applying inspection data different from temporally adjacent images to each of the images before being written to the memory. And (e) detecting an abnormality based on an updated state of the inspection data given to each of the images periodically read from the memory.

請求項１ないし６の発明によれば、メモリに書き込む前の画像に時間的に隣り合う画像と異なる検査用データを付与し、メモリから読み出した画像に付与された検査用データの更新状態に基づいて異常を検出する。メモリへの画像の書き込みの異常があれば検査用データが更新されないため、その異常を検出することができる。 According to the first to sixth aspects of the present invention, the inspection data different from the temporally adjacent image is given to the image before being written to the memory, and the inspection data given to the image read from the memory is updated. To detect abnormalities. If there is an abnormality in writing an image to the memory, the inspection data is not updated, and thus the abnormality can be detected.

また、特に請求項２の発明によれば、表示装置に表示される表示画像に警告情報が含まれているため、異常が発生したことを表示画像を視認するユーザに報知することができる。 In particular, according to the invention of claim 2, since the warning information is included in the display image displayed on the display device, it is possible to notify the user who visually recognizes the display image that an abnormality has occurred.

また、特に請求項３の発明によれば、車両の周辺を示す画像を表示装置に表示させる場合に、映像信号に異常があったとしても異常の発生をユーザに報知できるため、安全性を維持することができる。 In particular, according to the invention of claim 3, when an image showing the periphery of the vehicle is displayed on the display device, even if there is an abnormality in the video signal, the occurrence of the abnormality can be notified to the user, thus maintaining safety. can do.

また、特に請求項４の発明によれば、画像に影響を与えること無く、画像の書き込みの異常を検出することができる。 In particular, according to the fourth aspect of the present invention, it is possible to detect an abnormal writing of an image without affecting the image.

図１は、実施の形態で採用される技術の概要を説明するための図である。FIG. 1 is a diagram for explaining the outline of the technology employed in the embodiment. 図２は、連続する複数の画像の例を示している。FIG. 2 shows an example of a plurality of continuous images. 図３は、連続する複数の画像の例を示している。FIG. 3 shows an example of a plurality of continuous images. 図４は、連続する複数の画像の例を示している。FIG. 4 shows an example of a plurality of continuous images. 図５は、連続する複数の画像の例を示している。FIG. 5 shows an example of a plurality of continuous images. 図６は、画像表示システムの構成を示す図である。FIG. 6 is a diagram illustrating a configuration of the image display system. 図７は、車載カメラが車両に配置される位置を示す図である。FIG. 7 is a diagram illustrating a position where the in-vehicle camera is arranged in the vehicle. 図８は、画像処理部が備える機能を示す図である。FIG. 8 is a diagram illustrating functions included in the image processing unit. 図９は、任意視点画像を生成する手法を説明するための図である。FIG. 9 is a diagram for explaining a method of generating an arbitrary viewpoint image. 図１０は、結合画像を生成する手法を説明するための図である。FIG. 10 is a diagram for explaining a method of generating a combined image. 図１１は、画像処理部の画像を書き込む側の処理部の処理の流れを示す図である。FIG. 11 is a diagram illustrating a processing flow of the processing unit on the image writing side of the image processing unit. 図１２は、同期信号と映像信号との関係を示す図である。FIG. 12 is a diagram illustrating the relationship between the synchronization signal and the video signal. 図１３は、画像処理部の画像を読み出す側の処理部の処理の流れを示す図である。FIG. 13 is a diagram illustrating a processing flow of the processing unit on the image reading unit that reads an image. 図１４は、同期信号と映像信号との関係を示す図である。FIG. 14 is a diagram illustrating the relationship between the synchronization signal and the video signal. 図１５は、連続する複数の結合画像の例を示す図である。FIG. 15 is a diagram illustrating an example of a plurality of continuous combined images. 図１６は、連続する複数の結合画像の例を示す図である。FIG. 16 is a diagram illustrating an example of a plurality of continuous combined images. 図１７は、警告情報が表示される様子を示す図である。FIG. 17 is a diagram showing how warning information is displayed.

以下、図面を参照しつつ本発明の実施の形態について説明する。 Hereinafter, embodiments of the present invention will be described with reference to the drawings.

＜１．技術概要＞
まず、本発明の実施の形態の具体的な構成を説明する前に、この実施の形態で採用される技術の概要を説明する。図１は、この技術の概要を説明するための図であり、画像表示システム２００の簡略構成を示している。 <1. Technology Overview>
First, before describing a specific configuration of an embodiment of the present invention, an outline of a technique employed in this embodiment will be described. FIG. 1 is a diagram for explaining the outline of this technique, and shows a simplified configuration of an image display system 200.

画像表示システム２００は、映像信号にフレームとして周期的に含まれる画像を処理する画像処理装置２０と、表示装置２９とを備えている。画像処理装置２０では表示画像が生成され、この表示画像が表示装置２９で表示される。 The image display system 200 includes an image processing device 20 that processes an image periodically included as a frame in a video signal, and a display device 29. In the image processing device 20, a display image is generated, and this display image is displayed on the display device 29.

画像表示システム２００は、映像信号に含まれる一の画像（一のフレーム）全体を記憶可能な記憶容量を有するメモリであるフレームメモリ２３を備えている。画像表示システム２００は、このフレームメモリ２３を、映像信号の同期タイミングの調整や映像信号の同期周波数の変更などに用いる。 The image display system 200 includes a frame memory 23 that is a memory having a storage capacity capable of storing an entire image (one frame) included in the video signal. The image display system 200 uses the frame memory 23 for adjusting the synchronization timing of the video signal, changing the synchronization frequency of the video signal, and the like.

また、画像表示システム２００は、画像書込部２１、画像読出部２４、及び、表示画像生成部２６を備えている。 The image display system 200 includes an image writing unit 21, an image reading unit 24, and a display image generation unit 26.

画像書込部２１は、映像信号に含まれる画像をフレームメモリ２３の所定の記憶領域に周期的に書き込む。すなわち、フレームメモリ２３の当該記憶領域においては、所定の周期ごとに画像が上書きされることになる。 The image writing unit 21 periodically writes an image included in the video signal in a predetermined storage area of the frame memory 23. In other words, in the storage area of the frame memory 23, the image is overwritten every predetermined cycle.

また、画像読出部２４は、当該記憶領域に記憶された画像を、フレームメモリ２３から周期的に読み出す。これにより、画像読出部２４は、読み出した画像を所定の周期で含む映像信号を生成する。 Further, the image reading unit 24 periodically reads out the image stored in the storage area from the frame memory 23. Accordingly, the image reading unit 24 generates a video signal including the read image at a predetermined cycle.

表示画像生成部２６は、画像読出部２４が生成した映像信号に含まれる画像に基づいて表示画像を生成し、この表示画像を表示装置２９に所定の周期で出力する。これにより、表示装置２９において表示画像が表示される。 The display image generation unit 26 generates a display image based on the image included in the video signal generated by the image reading unit 24 and outputs the display image to the display device 29 at a predetermined cycle. Thereby, the display image is displayed on the display device 29.

このような画像表示システム２００において、回路の故障や制御装置の暴走などにより、画像書込部２１などの画像を書き込む側の処理部に異常が生じることがある。この場合、フレームメモリ２３への画像の書き込みができなくなることから、フレームメモリ２３において映像信号の画像を記憶すべき記憶領域には新たな画像が上書きされない。その結果、当該記憶領域は最後に書き込まれた画像を継続的に記憶する状態となる。 In such an image display system 200, an abnormality may occur in the processing unit on the image writing side such as the image writing unit 21 due to a circuit failure or a control device runaway. In this case, since it becomes impossible to write an image to the frame memory 23, a new image is not overwritten in the storage area in the frame memory 23 where the image of the video signal is to be stored. As a result, the storage area is in a state of continuously storing the last written image.

画像読出部２４は、画像を書き込む側の処理部とは独立して動作する。このため、画像の書き込みに異常が生じていたとしても、画像読出部２４は、フレームメモリ２３から同一の画像を繰り返し読み出すことになる。そして、読み出された画像は表示画像生成部２６により表示画像とされ、この表示画像が表示装置２９において表示される。その結果、表示装置２９では、同一の内容の表示画像が継続的に表示される。すなわち、表示装置２９は、画面上に表示する表示画像の内容が更新されない画面固着状態となる。 The image reading unit 24 operates independently of the processing unit on the image writing side. For this reason, even if there is an abnormality in image writing, the image reading unit 24 repeatedly reads the same image from the frame memory 23. Then, the read image is made into a display image by the display image generation unit 26, and this display image is displayed on the display device 29. As a result, the display device 29 continuously displays display images having the same content. That is, the display device 29 enters a screen fixing state in which the content of the display image displayed on the screen is not updated.

図２は、映像信号に含まれる時間的に連続する複数の画像の例を示している。図中において右側ほど時間が経過していることを示している。すなわち、図中左側ほど先の画像であり、右側ほど後の画像となる（以降の図でも同様。）。 FIG. 2 shows an example of a plurality of temporally continuous images included in the video signal. In the figure, the right side shows that time has passed. That is, the image on the left side is the earlier image and the image on the right side is the later image (the same applies to the following drawings).

この図２に示す映像信号の画像Ｆ１〜Ｆ５を画像書込部２１がフレームメモリ２３に正常に書き込み、フレームメモリ２３からこれらの画像Ｆ１〜Ｆ５を画像読出部２４が読み出した場合においては、画像読出部２４が生成する映像信号は図２と同様の画像Ｆ１〜Ｆ５を含むことになる。これらの画像Ｆ１〜Ｆ５には、球状の被写体の像Ｓｂが含まれている。図２に示す映像信号の画像Ｆ１〜Ｆ５が表示画像として表示装置２９に連続的に表示されると、この被写体の像Ｓｂは表示装置２９の画面の左上から右下へ移動する。 When the image writing unit 21 normally writes the images F1 to F5 of the video signal shown in FIG. 2 into the frame memory 23 and the image reading unit 24 reads these images F1 to F5 from the frame memory 23, the image The video signal generated by the reading unit 24 includes the same images F1 to F5 as in FIG. These images F1 to F5 include a spherical subject image Sb. When images F1 to F5 of the video signal shown in FIG. 2 are continuously displayed as display images on the display device 29, the image Sb of the subject moves from the upper left to the lower right of the screen of the display device 29.

一方、画像を書き込む側の処理部に異常が生じ、図２に示す映像信号の画像Ｆ１〜Ｆ５をフレームメモリ２３に正常に書き込めなかった場合を想定する。図３は、この場合において、画像読出部２４が生成する映像信号に含まれる時間的に連続する複数の画像Ｆ１１〜Ｆ１５の一例を示している。 On the other hand, it is assumed that an abnormality occurs in the processing unit on the image writing side and the images F1 to F5 of the video signal shown in FIG. FIG. 3 shows an example of a plurality of temporally continuous images F11 to F15 included in the video signal generated by the image reading unit 24 in this case.

図３に示す映像信号においては画像Ｆ１３以降はその内容が更新されていない。すなわち、画像Ｆ１４及び画像Ｆ１５は、フレームメモリ２３に最後に書き込まれた画像Ｆ１３と同一の内容となっている。なお、図中には示していないが、映像信号の画像Ｆ１５よりも後の画像についても、画像Ｆ１３と同一の内容となる。 The content of the video signal shown in FIG. 3 is not updated after the image F13. That is, the image F14 and the image F15 have the same contents as the image F13 written last in the frame memory 23. Although not shown in the drawing, the image after the image F15 of the video signal has the same contents as the image F13.

図３に示す映像信号の画像Ｆ１３〜Ｆ１５が表示画像として表示装置２９に連続的に表示されると、被写体の像Ｓｂは画面の左上から中央へ移動した後、画面の中央で停止することになる。すなわち、表示装置２９は画面固着状態となり、表示する表示画像の内容が更新されなくなる。このように画面固着状態となると、画面上において本来の被写体の状態を示すことができなくなる。 When the video signal images F13 to F15 shown in FIG. 3 are continuously displayed as display images on the display device 29, the subject image Sb moves from the upper left to the center of the screen and then stops at the center of the screen. Become. That is, the display device 29 is in a screen fixing state, and the content of the display image to be displayed is not updated. In this way, when the screen is fixed, the original state of the subject cannot be shown on the screen.

画像処理装置２０は、このような異常を検出するため、図１に示すように、データ付与部２２と、異常検出部２７と、警告部２８とを備えている。 In order to detect such an abnormality, the image processing apparatus 20 includes a data adding unit 22, an abnormality detection unit 27, and a warning unit 28 as shown in FIG.

データ付与部２２は、画像書込部２１がフレームメモリ２３に書き込む前の画像のそれぞれに、検査用データを付与する。この検査用データは、例えば数字である。データ付与部２２は、映像信号において時間的に連続する画像に同一の数字ではなく、異なる数字を検査用データとして付与する。具体的には、データ付与部２２は、検査用データを画像に付与するごとに、検査用データとする数字を１ずつ増加していく。これにより、画像に付与される検査用データは、映像信号において時間的に隣り合う画像に付与されるものとは異なることになる。 The data assigning unit 22 assigns inspection data to each of the images before the image writing unit 21 writes in the frame memory 23. This inspection data is, for example, a number. The data assigning unit 22 assigns different numbers as inspection data to the temporally continuous images in the video signal instead of the same numbers. Specifically, every time the data for inspection 22 is added to the image, the data adding unit 22 increments the number used as the data for inspection by one. Thereby, the inspection data given to the image is different from that given to the temporally adjacent images in the video signal.

映像信号の各画像は、このような検査用データが付与された状態で、フレームメモリ２３に記憶される。画像読出部２４は、検査用データが付与されてフレームメモリ２３に記憶された画像を、フレームメモリ２３から検査用データとともに読み出す。 Each image of the video signal is stored in the frame memory 23 with such inspection data. The image reading unit 24 reads the image to which the inspection data is attached and stored in the frame memory 23 from the frame memory 23 together with the inspection data.

異常検出部２７は、画像読出部２４に周期的に読み出された画像（画像読出部２４が生成した映像信号に周期的に含まれる画像）の検査用データを監視し、この検査用データの更新状態に基づいて異常を検出する。具体的には、異常検出部２７は、検査用データが画像ごとに更新されていれば正常であると判断する。一方、異常検出部２７は、連続する複数の画像の検査用データが同一となる場合は、異常が発生したと判断する。 The abnormality detection unit 27 monitors inspection data of an image periodically read by the image reading unit 24 (an image periodically included in the video signal generated by the image reading unit 24). An abnormality is detected based on the update state. Specifically, the abnormality detection unit 27 determines that the inspection data is normal if the inspection data is updated for each image. On the other hand, the abnormality detection unit 27 determines that an abnormality has occurred when the inspection data of a plurality of consecutive images are the same.

前述の通り、画像書込部２１が書き込む連続する複数の画像には、互いに異なる検査用データが付与されている。したがって、画像読出部２４が読み出した連続する複数の画像の検査用データが同一となる場合とは、同一の画像が繰り返し読み出された場合、すなわち、画像の書き込みに異常が生じた場合に相当する。 As described above, different inspection data are assigned to a plurality of consecutive images written by the image writing unit 21. Therefore, the case where the inspection data of a plurality of consecutive images read by the image reading unit 24 is the same corresponds to the case where the same image is repeatedly read, that is, when an abnormality occurs in image writing. To do.

警告部２８は、異常検出部２７が異常を検出した場合は、表示画像生成部２６が生成する表示画像に異常の発生を示す文字などを含む警告情報を重畳する。これにより、この警告情報は表示装置２９において表示される。その結果、表示装置２９を視認するユーザに異常の発生が報知される。 When the abnormality detection unit 27 detects an abnormality, the warning unit 28 superimposes warning information including characters indicating the occurrence of abnormality on the display image generated by the display image generation unit 26. Thereby, the warning information is displayed on the display device 29. As a result, the occurrence of abnormality is notified to the user who visually recognizes the display device 29.

図４は、図２に示す映像信号に含まれる各画像Ｆ１〜Ｆ５にデータ付与部２２が検査用データＴＤを付与した様子を示す図である。図に示すように、連続する画像Ｆ１〜Ｆ５にそれぞれ異なる数字が検査用データＴＤとして付与されている。フレームメモリ２３への画像の書き込みが正常の場合においては、画像読出部２４が生成する映像信号は図４と同様の画像Ｆ１〜Ｆ５を含むことになる。異常検出部２７は、このように連続する複数の画像に付与された検査用データＴＤが、画像ごとに更新されることを確認することで正常であると判断する。 FIG. 4 is a diagram illustrating a state in which the data adding unit 22 adds the inspection data TD to each of the images F1 to F5 included in the video signal shown in FIG. As shown in the figure, different numbers are assigned to the continuous images F1 to F5 as inspection data TD. When the image writing to the frame memory 23 is normal, the video signal generated by the image reading unit 24 includes the same images F1 to F5 as in FIG. The abnormality detection unit 27 determines that the inspection data TD assigned to the plurality of continuous images is normal by confirming that the data is updated for each image.

一方、図５は、フレームメモリ２３への画像の書き込みに異常が生じた場合において、画像読出部２４が生成する映像信号に含まれる画像の例を示す図である。図５に示す映像信号においては、画像Ｆ１３以降はその内容が更新されておらず、各画像に付与された検査用データＴＤも「３」のまま更新されていない。異常検出部２７は、このように連続する複数の画像に付与された検査用データＴＤが更新されないことに基づいて、画像の書き込みの異常を検出できることになる。 On the other hand, FIG. 5 is a diagram illustrating an example of an image included in a video signal generated by the image reading unit 24 when an abnormality occurs in writing an image to the frame memory 23. In the video signal shown in FIG. 5, the content of the image F13 and later is not updated, and the inspection data TD assigned to each image is not updated as “3”. The abnormality detection unit 27 can detect an image writing abnormality based on the fact that the inspection data TD assigned to a plurality of continuous images is not updated in this way.

＜２．画像表示システムの構成＞
以下、上記で説明した技術を採用する画像表示システムについて具体的に説明する。図６は、本実施の形態に係る画像表示システム１００の構成を示す図である。この画像表示システム１００は、車両に搭載され、当該車両の周辺の様子を示す画像を生成して車室内に表示する機能を有している。以下、車両は自動車であるものとして説明する。 <2. Configuration of image display system>
Hereinafter, an image display system that employs the technique described above will be specifically described. FIG. 6 is a diagram showing a configuration of the image display system 100 according to the present embodiment. The image display system 100 is mounted on a vehicle, and has a function of generating an image showing a state around the vehicle and displaying the image in the passenger compartment. In the following description, the vehicle is assumed to be an automobile.

図６に示すように、画像表示システム１００は、ユーザに対して各種情報を表示する表示装置７と、表示装置７に表示する表示画像を生成する画像処理装置１０と、車両の周辺を撮影する撮影部５とを主に備えている。 As illustrated in FIG. 6, the image display system 100 captures the periphery of the vehicle, the display device 7 that displays various information to the user, the image processing device 10 that generates a display image to be displayed on the display device 7, and the like. It mainly includes a photographing unit 5.

表示装置７は、液晶ディスプレイなどを備えており、画像処理装置１０で生成された車両の周辺の様子を示す各種の表示画像を表示する。表示装置７は、ユーザから視認可能なように車両のインストルメントパネルなどに配置される。 The display device 7 includes a liquid crystal display and the like, and displays various display images showing the state of the periphery of the vehicle generated by the image processing device 10. The display device 7 is arranged on an instrument panel or the like of the vehicle so that it can be visually recognized by the user.

画像処理装置１０は、例えば、画像を生成する機能を有するＥＣＵ（Electronic Control Unit）である。画像処理装置１０は、撮影部５で車両の周辺を撮影して得られる撮影画像に基づいて、表示装置７に表示するための表示画像を生成する。画像処理装置１０は、表示装置７とは異なる車両の所定の位置に配置される。 The image processing apparatus 10 is, for example, an ECU (Electronic Control Unit) having a function of generating an image. The image processing device 10 generates a display image to be displayed on the display device 7 based on a photographed image obtained by photographing the periphery of the vehicle with the photographing unit 5. The image processing device 10 is disposed at a predetermined position on the vehicle different from the display device 7.

撮影部５は、画像処理装置１０に電気的に接続され、画像処理装置１０からの信号に基づいて動作する。撮影部５は、複数の車載カメラ、具体的には、フロントカメラ５１、左サイドカメラ５２、右サイドカメラ５３、及び、バックカメラ５４を備えている。各車載カメラ５１〜５４は、レンズと撮像素子とを備えており電子的に画像を取得する。これら４つの車載カメラ５１〜５４は、車両の前後左右にそれぞれ配置される。 The photographing unit 5 is electrically connected to the image processing apparatus 10 and operates based on a signal from the image processing apparatus 10. The photographing unit 5 includes a plurality of in-vehicle cameras, specifically, a front camera 51, a left side camera 52, a right side camera 53, and a back camera 54. Each of the in-vehicle cameras 51 to 54 includes a lens and an image sensor and electronically acquires an image. These four in-vehicle cameras 51 to 54 are respectively disposed on the front, rear, left and right sides of the vehicle.

図７は、車載カメラ５１〜５４が車両９に配置される位置を示す図である。図７に示すように、フロントカメラ５１は車両９の前端に設けられ、その光軸５１ａは平面視で車両９の前後方向に沿って車両９の前方に向けられている。バックカメラ５４は、車両９の後端に設けられ、その光軸５４ａは平面視で車両９の前後方向に沿って車両９の後方に向けられている。これらフロントカメラ５１やバックカメラ５４の取付位置は、左右中央であることが望ましいが、左右中央から左右方向に多少ずれた位置であってもよい。 FIG. 7 is a diagram illustrating positions where the in-vehicle cameras 51 to 54 are disposed on the vehicle 9. As shown in FIG. 7, the front camera 51 is provided at the front end of the vehicle 9, and its optical axis 51 a is directed forward of the vehicle 9 along the front-rear direction of the vehicle 9 in plan view. The back camera 54 is provided at the rear end of the vehicle 9, and its optical axis 54 a is directed to the rear of the vehicle 9 along the front-rear direction of the vehicle 9 in plan view. The mounting position of the front camera 51 and the back camera 54 is preferably the left and right center, but may be slightly shifted from the left and right center in the left and right direction.

また、左サイドカメラ５２は左側のドアミラー９３に設けられ、その光軸５２ａは平面視で車両９の左右方向に沿って車両９の左側に向けられている。一方、右サイドカメラ５３は右側のドアミラー９３に設けられ、その光軸５３ａは平面視で車両９の左右方向に沿って車両９の右側に向けられている。 The left side camera 52 is provided on the left door mirror 93, and its optical axis 52a is directed to the left side of the vehicle 9 along the left-right direction of the vehicle 9 in plan view. On the other hand, the right side camera 53 is provided on the right door mirror 93, and its optical axis 53a is directed to the right side of the vehicle 9 along the left-right direction of the vehicle 9 in plan view.

これらの車載カメラ５１〜５４のレンズとしては、魚眼レンズや超広角レンズなどが採用されている。このため、各車載カメラ５１〜５４が撮影可能な水平方向の角度θは１８０度以上となっており、４つの車載カメラ５１〜５４を利用することで車両９の全周囲の撮影が可能となっている。 As the lenses of these in-vehicle cameras 51 to 54, fish-eye lenses, super wide-angle lenses, and the like are employed. Therefore, the horizontal angle θ that can be photographed by each of the in-vehicle cameras 51 to 54 is 180 degrees or more, and by using the four in-vehicle cameras 51 to 54, it is possible to capture the entire periphery of the vehicle 9. ing.

図６に戻り、画像処理装置１０は、システム全体を制御する制御部１と、画像処理を実行する画像処理部３と、不揮発性メモリ４０と、信号受信部４３とを主に備えている。 Returning to FIG. 6, the image processing apparatus 10 mainly includes a control unit 1 that controls the entire system, an image processing unit 3 that executes image processing, a nonvolatile memory 40, and a signal receiving unit 43.

制御部１は、ＣＰＵ、ＲＡＭ及びＲＯＭなどを備えたコンピュータである。制御部１の各種の制御機能は、所定のプログラムに従ってＣＰＵが演算処理を行うことで実現される。制御部１は、例えば、画像処理に必要な各種のパラメータなどを画像処理部３に指示する。 The control unit 1 is a computer including a CPU, a RAM, a ROM, and the like. Various control functions of the control unit 1 are realized by the CPU performing arithmetic processing according to a predetermined program. For example, the control unit 1 instructs the image processing unit 3 about various parameters necessary for image processing.

不揮発性メモリ４０は、電源オフ時においても記憶内容を維持可能なフラッシュメモリなどである。不揮発性メモリ４０には、制御部１の機能を実現するプログラム（ファームウェア）や、車体サイズなどの車両９に固有の情報を示す車両データなどが記憶されている。 The nonvolatile memory 40 is a flash memory or the like that can maintain stored contents even when the power is turned off. The nonvolatile memory 40 stores a program (firmware) that realizes the function of the control unit 1, vehicle data indicating information unique to the vehicle 9 such as a vehicle body size, and the like.

信号受信部４３は、車両９に設けられた各種の車載装置から信号を受信する。この信号受信部４３を介して、画像表示システム１００の外部のシフトセンサ８１からの信号が制御部１に入力される。信号受信部４３は、シフトセンサ８１から、車両９の変速装置のシフトレバーの操作の位置、すなわち、”Ｐ（駐車）”，”Ｄ（前進）”，”Ｎ（中立）”，”Ｒ（後退）”などのシフトポジションを示す信号を受信する。 The signal receiving unit 43 receives signals from various in-vehicle devices provided in the vehicle 9. A signal from the shift sensor 81 outside the image display system 100 is input to the control unit 1 via the signal receiving unit 43. The signal receiving unit 43 receives from the shift sensor 81 the operation position of the shift lever of the transmission of the vehicle 9, that is, “P (parking)”, “D (forward)”, “N (neutral)”, “R ( A signal indicating the shift position such as “backward” is received.

画像処理部３は、各種の画像処理を実行する機能を有している。画像処理部３は、撮影部５から撮影画像を取得し、撮影画像を処理して表示装置７に表示するための表示画像を生成する。 The image processing unit 3 has a function of executing various image processes. The image processing unit 3 acquires a captured image from the imaging unit 5, processes the captured image, and generates a display image for display on the display device 7.

図８は、画像処理部３が備える機能を他の構成とともに示す図である。画像処理部３は、撮影部５が備える４つの車載カメラ５１〜５４で得られた４つの撮影画像を記憶可能なフレームメモリ３３を備えている。さらに、画像処理部３は、４つの書込系統３ａ〜３ｄと、画像読出部３４と、視点変換部３５と、表示画像生成部３６とを主に備えている。画像処理部３が備えるこれらの処理部は、例えば、ＡＳＩＣなどの集積回路で実現される。 FIG. 8 is a diagram illustrating the functions of the image processing unit 3 together with other configurations. The image processing unit 3 includes a frame memory 33 that can store four captured images obtained by the four in-vehicle cameras 51 to 54 included in the photographing unit 5. Furthermore, the image processing unit 3 mainly includes four writing systems 3a to 3d, an image reading unit 34, a viewpoint conversion unit 35, and a display image generation unit 36. These processing units included in the image processing unit 3 are realized by an integrated circuit such as an ASIC, for example.

４つの書込系統３ａ〜３ｄはそれぞれ、車載カメラで得られた撮影画像をフレームメモリ３３に書き込むものである。４つの書込系統３ａ〜３ｄは４つの車載カメラ５１〜５４にそれぞれ対応しており、対応する車載カメラで得られた撮影画像をフレームメモリ３３に書き込む。これら４つの書込系統３ａ〜３ｄは、互いに独立して動作する。 Each of the four writing systems 3a to 3d writes a captured image obtained by the in-vehicle camera in the frame memory 33. The four writing systems 3 a to 3 d correspond to the four in-vehicle cameras 51 to 54, respectively, and write captured images obtained by the corresponding in-vehicle cameras in the frame memory 33. These four writing systems 3a to 3d operate independently of each other.

各書込系統３ａ〜３ｄは、ＡＤコンバータ３０と、画像書込部３１とを備えている。ＡＤコンバータ３０は、車載カメラからアナログの撮影画像を所定の周期で取得し、その撮影画像をデジタルの撮影画像に変換（Ａ／Ｄ変換）する。これにより、ＡＤコンバータ３０は、デジタルの撮影画像を所定の周期（例えば１／３０秒）で含む映像信号を生成する。画像書込部３１は、この映像信号に含まれる撮影画像を、フレームメモリ３３の所定の記憶領域に周期的に書き込む。 Each of the writing systems 3 a to 3 d includes an AD converter 30 and an image writing unit 31. The AD converter 30 acquires an analog captured image from the in-vehicle camera at a predetermined cycle, and converts the captured image into a digital captured image (A / D conversion). As a result, the AD converter 30 generates a video signal including a digital photographed image at a predetermined cycle (for example, 1/30 second). The image writing unit 31 periodically writes a captured image included in the video signal in a predetermined storage area of the frame memory 33.

４つの書込系統３ａ〜３ｄの画像書込部３１は、フレームメモリ３３のそれぞれ異なる記憶領域に撮影画像を書き込むことになる。したがって、フレームメモリ３３には、４つの車載カメラ５１〜５４で得られた４つの撮影画像が記憶される。 The image writing units 31 of the four writing systems 3 a to 3 d write captured images in different storage areas of the frame memory 33. Accordingly, the frame memory 33 stores four captured images obtained by the four in-vehicle cameras 51 to 54.

画像読出部３４は、このようにフレームメモリ３３に記憶された４つの撮影画像を所定の周期で読み出し、４つの撮影画像を結合して４つの撮影画像の全ての内容を含む一の結合画像を生成する。これにより、画像読出部３４は、結合画像を所定の周期（例えば１／３０秒）で含む映像信号を生成する。 The image reading unit 34 reads the four captured images stored in the frame memory 33 in this manner at a predetermined cycle, and combines the four captured images to obtain one combined image including all the contents of the four captured images. Generate. As a result, the image reading unit 34 generates a video signal including the combined image at a predetermined period (for example, 1/30 second).

視点変換部３５は、画像読出部３４で生成された結合画像を用いて任意の仮想視点からみた車両９の周辺の領域を示す任意視点画像を生成する。この任意視点画像を生成する手法の詳細については後述する。 The viewpoint conversion unit 35 uses the combined image generated by the image reading unit 34 to generate an arbitrary viewpoint image that indicates an area around the vehicle 9 viewed from an arbitrary virtual viewpoint. Details of the method for generating the arbitrary viewpoint image will be described later.

表示画像生成部３６は、視点変換部３５に生成された任意視点画像を含む、表示装置７の表示に用いる表示画像を生成する。そして、表示画像生成部３６は、生成した表示画像を表示装置７に出力する。これにより、任意視点画像を含む表示画像が表示装置７に表示される。 The display image generation unit 36 generates a display image used for display on the display device 7 including the arbitrary viewpoint image generated by the viewpoint conversion unit 35. Then, the display image generation unit 36 outputs the generated display image to the display device 7. As a result, a display image including an arbitrary viewpoint image is displayed on the display device 7.

また、画像処理部３の４つの書込系統３ａ〜３ｄはそれぞれデータ付与部３２を備えている。さらに、画像処理部３は、異常検出部３７と警告部３８とを備えている。これらデータ付与部３２、異常検出部３７及び警告部３８は、フレームメモリ３３への撮影画像の書き込みの異常を検出するための機能であるが詳細は後述する。 Each of the four writing systems 3 a to 3 d of the image processing unit 3 includes a data adding unit 32. Further, the image processing unit 3 includes an abnormality detection unit 37 and a warning unit 38. The data adding unit 32, the abnormality detecting unit 37, and the warning unit 38 are functions for detecting an abnormality in writing of a captured image to the frame memory 33, and will be described in detail later.

＜３．任意視点画像の生成＞
次に、任意の仮想視点からみた車両９の周辺の領域を示す任意視点画像を生成する手法について説明する。図９は、任意視点画像を生成する手法を説明するための図である。 <3. Generation of arbitrary viewpoint images>
Next, a method for generating an arbitrary viewpoint image indicating an area around the vehicle 9 as viewed from an arbitrary virtual viewpoint will be described. FIG. 9 is a diagram for explaining a method of generating an arbitrary viewpoint image.

まず、撮影部５のフロントカメラ５１、左サイドカメラ５２、右サイドカメラ５３及びバックカメラ５４でそれぞれ撮影が行われる。これにより、車両９の前方、左側方、右側方及び後方をそれぞれ示す４つの撮影画像Ｐ１〜Ｐ４が取得される（ステップＳ１）。これら４つの撮影画像Ｐ１〜Ｐ４には、車両９の全周囲を示す情報が含まれている。取得された４つの撮影画像Ｐ１〜Ｐ４は、フレームメモリ３３に記憶される。 First, photographing is performed by the front camera 51, the left side camera 52, the right side camera 53, and the back camera 54 of the photographing unit 5, respectively. As a result, four captured images P1 to P4 respectively indicating the front side, the left side, the right side, and the rear of the vehicle 9 are acquired (step S1). These four captured images P 1 to P 4 include information indicating the entire periphery of the vehicle 9. The acquired four captured images P 1 to P 4 are stored in the frame memory 33.

次に、画像読出部３４が、４つの撮影画像Ｐ１〜Ｐ４をフレームメモリ３３から読み出し、４つの撮影画像Ｐ１〜Ｐ４を結合する。これにより、４つの撮影画像Ｐ１〜Ｐ４を縦２×横２に配列して含む結合画像ＵＰが生成される（ステップＳ２）。この結合画像ＵＰは、画像読出部３４から視点変換部３５に受け渡される。 Next, the image reading unit 34 reads the four captured images P1 to P4 from the frame memory 33, and combines the four captured images P1 to P4. As a result, a combined image UP including the four photographed images P1 to P4 arranged in 2 × 2 is generated (step S2). The combined image UP is transferred from the image reading unit 34 to the viewpoint conversion unit 35.

次に、視点変換部３５が、結合画像ＵＰの各画素を、仮想的な三次元空間における立体曲面ＴＳに投影する（ステップＳ３）。立体曲面ＴＳは、例えば略半球状（お椀形状）をしており、その中心部分（お椀の底部分）が車両９が存在する位置として定められている。結合画像ＵＰに含まれる各画素の位置と、この立体曲面ＴＳの各画素の位置とは予め対応関係が定められている。このため、立体曲面ＴＳの各画素の値は、この対応関係と結合画像ＵＰに含まれる各画素の値とに基づいて決定できる。 Next, the viewpoint conversion unit 35 projects each pixel of the combined image UP onto the three-dimensional curved surface TS in the virtual three-dimensional space (step S3). The three-dimensional curved surface TS has, for example, a substantially hemispherical shape (a bowl shape), and a center portion (a bottom portion of the bowl) is determined as a position where the vehicle 9 exists. A correspondence relationship is determined in advance between the position of each pixel included in the combined image UP and the position of each pixel of the solid curved surface TS. Therefore, the value of each pixel of the three-dimensional curved surface TS can be determined based on this correspondence and the value of each pixel included in the combined image UP.

結合画像ＵＰの各画素の位置と立体曲面ＴＳの各画素の位置との対応関係は、車両９における４つの車載カメラ５１〜５４の配置（相互間距離、地上高さ、光軸角度等）に依存する。この対応関係を示すテーブルデータは、不揮発性メモリ４０に予め記憶された車両データに含まれている。 The correspondence relationship between the position of each pixel of the combined image UP and the position of each pixel of the three-dimensional curved surface TS is determined by the arrangement of the four in-vehicle cameras 51 to 54 in the vehicle 9 (distance between each other, height above the ground, optical axis angle, etc.). Dependent. The table data indicating the correspondence relationship is included in the vehicle data stored in advance in the nonvolatile memory 40.

また、視点変換部３５は、この車両データに含まれる車体の形状やサイズを利用し、車両９の三次元形状を示すポリゴンのモデルを仮想的に構成する。この車両９のモデルは、立体曲面ＴＳが設定される三次元空間において、車両９の位置と定められた略半球状の中心部分に配置される。 In addition, the viewpoint conversion unit 35 virtually constructs a polygon model indicating the three-dimensional shape of the vehicle 9 by using the shape and size of the vehicle body included in the vehicle data. The model of the vehicle 9 is arranged in a substantially hemispherical central portion determined as the position of the vehicle 9 in the three-dimensional space where the three-dimensional curved surface TS is set.

さらに、視点変換部３５は、立体曲面ＴＳが存在する三次元空間に対して、制御部１からの指示に基づいて仮想視点ＶＰを設定する。仮想視点ＶＰは、視点位置と視野方向とで規定され、この三次元空間における車両９の近傍に相当する任意の視点位置に任意の視野方向に向けて設定される。 Further, the viewpoint conversion unit 35 sets a virtual viewpoint VP based on an instruction from the control unit 1 in a three-dimensional space where the three-dimensional curved surface TS exists. The virtual viewpoint VP is defined by the viewpoint position and the visual field direction, and is set at an arbitrary viewpoint position corresponding to the vicinity of the vehicle 9 in this three-dimensional space toward an arbitrary visual field direction.

そして、視点変換部３５は、設定した仮想視点ＶＰに応じて、立体曲面ＴＳにおける必要な領域を画像として切り出す。仮想視点ＶＰと、立体曲面ＴＳにおける必要な領域との関係は予め定められており、テーブルデータとして不揮発性メモリ４０等に予め記憶されている。また、視点変換部３５は、設定した仮想視点ＶＰに応じてポリゴンのモデルに関してレンダリングを行い、その結果となる二次元の車両９の像を、切り出した画像に対して重畳する。これにより、視点変換部３５は、車両９及びその車両９の周辺を任意の仮想視点ＶＰからみた様子を示す任意視点画像ＣＰを生成する（ステップＳ４，Ｓ５）。 Then, the viewpoint conversion unit 35 cuts out a necessary area on the three-dimensional curved surface TS as an image according to the set virtual viewpoint VP. The relationship between the virtual viewpoint VP and a necessary area in the three-dimensional curved surface TS is determined in advance, and is stored in advance in the nonvolatile memory 40 or the like as table data. In addition, the viewpoint conversion unit 35 performs rendering on the polygon model according to the set virtual viewpoint VP, and superimposes the resulting two-dimensional vehicle 9 image on the cut-out image. Thereby, the viewpoint conversion unit 35 generates an arbitrary viewpoint image CP that shows the vehicle 9 and the periphery of the vehicle 9 as viewed from an arbitrary virtual viewpoint VP (steps S4 and S5).

例えば、視点位置が車両９の位置の略中央の直上で、視野方向が直下方向とした仮想視点ＶＰａを設定した場合は、視点変換部３５は、車両９の略直上から車両９を見下ろすように車両９及び車両９の周辺の領域を示す任意視点画像ＣＰａを生成する（ステップＳ４）。また、図中に示すように、視点位置が車両９の位置の左後方で、視野方向が車両９における略前方方向とした仮想視点ＶＰｂを設定した場合は、視点変換部３５は、車両９の左後方からその周辺全体を見渡すように車両９及び車両９の周辺の領域を示す任意視点画像ＣＰｂを生成する（ステップＳ５）。 For example, when a virtual viewpoint VPa is set in which the viewpoint position is just above the center of the position of the vehicle 9 and the visual field direction is directly below, the viewpoint conversion unit 35 looks down on the vehicle 9 from approximately above the vehicle 9. An arbitrary viewpoint image CPa indicating the vehicle 9 and a region around the vehicle 9 is generated (step S4). As shown in the figure, when the virtual viewpoint VPb is set in which the viewpoint position is the left rear of the position of the vehicle 9 and the visual field direction is the substantially forward direction in the vehicle 9, the viewpoint conversion unit 35 An arbitrary viewpoint image CPb indicating the vehicle 9 and a region around the vehicle 9 is generated so as to look around the entire periphery from the left rear (step S5).

画像表示システム１００は、このような画像処理部の機能を利用することで車両９の周辺の任意の仮想視点からみた任意視点画像を生成し、その任意視点画像を含む表示画像を表示装置７で表示することができる。 The image display system 100 generates an arbitrary viewpoint image viewed from an arbitrary virtual viewpoint around the vehicle 9 by using such a function of the image processing unit, and the display device 7 displays a display image including the arbitrary viewpoint image. Can be displayed.

＜４．画像表示システムの動作＞
次に、画像表示システム１００の動作の概要について説明する。画像表示システム１００は、所定の周期で任意視点画像を生成し、表示装置７において任意視点画像を含む表示画像を所定の周期で更新表示する。画像表示システム１００のユーザ（代表的にはドライバ）は、この表示装置７に表示された表示画像を視認することにより、当該車両の周辺の様子をほぼリアルタイムに把握できる。 <4. Operation of image display system>
Next, an outline of the operation of the image display system 100 will be described. The image display system 100 generates an arbitrary viewpoint image at a predetermined cycle, and updates and displays a display image including the arbitrary viewpoint image on the display device 7 at a predetermined cycle. A user (typically a driver) of the image display system 100 can grasp the state of the periphery of the vehicle almost in real time by visually recognizing the display image displayed on the display device 7.

任意視点画像の仮想視点ＶＰは、シフトセンサ８１から受信したシフトポジションを示す信号に基づいて定められる。例えば、シフトポジションが”Ｐ（駐車）”あるいは”Ｄ（前進）”の場合は、仮想視点ＶＰが車両９の位置の略中央の直上に設定され、車両９の全体を俯瞰するような任意視点画像ＣＰが生成される。一方、シフトポジションが”Ｒ（後退）”の場合は、仮想視点ＶＰが車両９の後方に向けて設定され、車両９が後退する方向の様子を示す任意視点画像ＣＰが生成される。 The virtual viewpoint VP of the arbitrary viewpoint image is determined based on a signal indicating the shift position received from the shift sensor 81. For example, when the shift position is “P (parking)” or “D (forward)”, the virtual viewpoint VP is set just above the center of the position of the vehicle 9, and an arbitrary viewpoint that looks down on the entire vehicle 9. An image CP is generated. On the other hand, when the shift position is “R (reverse)”, the virtual viewpoint VP is set toward the rear of the vehicle 9, and the arbitrary viewpoint image CP showing the state in the direction in which the vehicle 9 moves backward is generated.

＜５．書き込み異常の検出＞
前述のとおり、このような任意視点画像ＣＰは結合画像ＵＰから生成される。そして、結合画像ＵＰは４つの撮影画像Ｐ１〜Ｐ４から生成される。 <5. Write error detection>
As described above, such an arbitrary viewpoint image CP is generated from the combined image UP. The combined image UP is generated from the four captured images P1 to P4.

４つの車載カメラ５１〜５４では非同期に撮影がなされることから、４つの撮影画像Ｐ１〜Ｐ４それぞれの映像信号の同期タイミングは互いに異なっている。結合画像ＵＰを生成するためには、このような４つの撮影画像Ｐ１〜Ｐ４の映像信号の同期タイミングを一致させる必要がある。この同期タイミングを一致させるため、４つの撮影画像Ｐ１〜Ｐ４はそれぞれフレームメモリ３３に一旦記憶される。図１０は、結合画像ＵＰを生成する手法を説明するための図である。 Since the four in-vehicle cameras 51 to 54 capture images asynchronously, the synchronization timings of the video signals of the four captured images P1 to P4 are different from each other. In order to generate the combined image UP, it is necessary to match the synchronization timings of the video signals of the four captured images P1 to P4. In order to match this synchronization timing, the four captured images P1 to P4 are temporarily stored in the frame memory 33, respectively. FIG. 10 is a diagram for explaining a method of generating the combined image UP.

画像処理部３の４つの書込系統３ａ〜３ｄ（図８参照。）はそれぞれ、対応する車載カメラの撮影画像Ｐ１〜Ｐ４をフレームメモリ３３の所定の記憶領域ＡＰ１〜ＡＰ４に書き込む。具体的には、第１書込系統３ａの画像書込部３１は、フロントカメラ５１の撮影画像Ｐ１をフレームメモリ３３の第１画像領域ＡＰ１に書き込む。第２書込系統３ｂの画像書込部３１は、左サイドカメラ５２の撮影画像Ｐ２をフレームメモリ３３の第２画像領域ＡＰ２に書き込む。第３書込系統３ｃの画像書込部３１は、右サイドカメラ５３の撮影画像Ｐ３をフレームメモリ３３の第３画像領域ＡＰ３に書き込む。さらに、第４書込系統３ｄはバックカメラ５４の撮影画像Ｐ４をフレームメモリ３３の第４画像領域ＡＰ４に書き込む。 The four writing systems 3 a to 3 d (see FIG. 8) of the image processing unit 3 respectively write the captured images P 1 to P 4 of the corresponding in-vehicle camera in predetermined storage areas AP 1 to AP 4 of the frame memory 33. Specifically, the image writing unit 31 of the first writing system 3a writes the captured image P1 of the front camera 51 in the first image area AP1 of the frame memory 33. The image writing unit 31 of the second writing system 3b writes the captured image P2 of the left side camera 52 in the second image area AP2 of the frame memory 33. The image writing unit 31 of the third writing system 3c writes the captured image P3 of the right side camera 53 in the third image area AP3 of the frame memory 33. Further, the fourth writing system 3d writes the captured image P4 of the back camera 54 in the fourth image area AP4 of the frame memory 33.

画像読出部３４（図８参照。）は、このようにしてフレームメモリ３３の所定の記憶領域ＡＰ１〜ＡＰ４にそれぞれに記憶された４つの撮影画像Ｐ１〜Ｐ４を同時期に読み出す。そして、画像読出部３４は、同時期に読み出した４つの撮影画像Ｐ１〜Ｐ４を結合することで、結合画像ＵＰを生成する。 The image reading unit 34 (see FIG. 8) reads the four captured images P1 to P4 stored in the predetermined storage areas AP1 to AP4 of the frame memory 33 in this way at the same time. Then, the image reading unit 34 generates a combined image UP by combining the four captured images P1 to P4 read at the same time.

４つの書込系統３ａ〜３ｄは互いに独立して動作することから、４つの書込系統３ａ〜３ｄは独立して異常が生じる場合がある。４つの書込系統３ａ〜３ｄのいずれかに異常が生じた場合は、異常が生じた書込系統がフレームメモリ３３に撮影画像を書き込めなくなる。したがって、フレームメモリ３３における当該撮影画像を記憶すべき記憶領域には、新たな撮影画像が上書きされない。このため、当該記憶領域は最後に書き込まれた撮影画像を継続的に記憶する状態となる。 Since the four write systems 3a to 3d operate independently of each other, the four write systems 3a to 3d may malfunction independently. If an abnormality occurs in any of the four writing systems 3 a to 3 d, the writing system in which the abnormality has occurred cannot write a captured image in the frame memory 33. Therefore, a new captured image is not overwritten in the storage area in the frame memory 33 where the captured image is to be stored. Therefore, the storage area is in a state of continuously storing the last written image.

このような状態となると、画像読出部３４は、フレームメモリ３３から同一の撮影画像を繰り返し読み出して結合画像ＵＰを生成することになる。その結果、結合画像ＵＰ、任意視点画像ＣＰ及び表示画像に異常が生じ、これらは車両９の周辺の様子を正しく示さないことになる。このような異常のある表示画像が表示装置７に表示されると、車両９の周辺の様子をユーザが誤って判断し、ユーザが誤った運転を行う可能性がある。 In such a state, the image reading unit 34 repeatedly reads the same captured image from the frame memory 33 and generates a combined image UP. As a result, abnormality occurs in the combined image UP, the arbitrary viewpoint image CP, and the display image, and these do not correctly indicate the surroundings of the vehicle 9. When such a display image having an abnormality is displayed on the display device 7, the user may erroneously determine the state around the vehicle 9, and the user may perform an incorrect driving.

例えば、右サイドカメラ５３の撮影画像Ｐ３を書き込む第３書込系統３ｃのみに異常が生じた場合を想定する。この場合は、フレームメモリ３３の第１画像領域ＡＰ１、第２画像領域ＡＰ２及び第４画像領域ＡＰ４にはそれぞれ撮影画像Ｐ１，Ｐ２，Ｐ４が周期的に書き込まれる。一方で、フレームメモリ３３の第３画像領域ＡＰ３には新たな撮影画像Ｐ３が書き込まれなくなる。 For example, it is assumed that an abnormality occurs only in the third writing system 3c that writes the captured image P3 of the right side camera 53. In this case, the captured images P1, P2, and P4 are periodically written in the first image area AP1, the second image area AP2, and the fourth image area AP4 of the frame memory 33, respectively. On the other hand, a new captured image P3 is not written in the third image area AP3 of the frame memory 33.

結合画像ＵＰは、このように更新されなくなった撮影画像Ｐ３に基づいて生成される。したがって、結合画像ＵＰにおいては、右サイドカメラ５３の撮影画像Ｐ３に対応する部分の内容が更新されなくなる。その結果、任意視点画像ＣＰにおいても、右サイドカメラ５３の撮影画像Ｐ３に対応する部分の内容が更新されないことになる。この任意視点画像ＣＰを含む表示画像がそのまま表示装置７に表示されると、右サイドカメラ５３の撮影範囲に存在する被写体の様子をリアルタイムに示すことができなくなる。 The combined image UP is generated based on the captured image P3 that is no longer updated in this way. Therefore, in the combined image UP, the content of the part corresponding to the captured image P3 of the right side camera 53 is not updated. As a result, even in the arbitrary viewpoint image CP, the content of the portion corresponding to the captured image P3 of the right side camera 53 is not updated. If the display image including the arbitrary viewpoint image CP is displayed on the display device 7 as it is, it becomes impossible to show the state of the subject existing in the shooting range of the right side camera 53 in real time.

このため、画像表示システム１００では、４つの書込系統３ａ〜３ｄの異常を検出するために、図１から図５を用いて説明した技術を採用している。 For this reason, the image display system 100 employs the technique described with reference to FIGS. 1 to 5 in order to detect an abnormality in the four writing systems 3a to 3d.

すなわち、図１０に示すように、フレームメモリ３３に書き込む前の撮影画像Ｐ１〜Ｐ４に検査用データＴＤ１〜ＴＤ４がそれぞれ付与される。これら検査用データＴＤ１〜ＴＤ４は、フレームメモリ３３の所定の記憶領域ＡＴ１〜ＡＴ４にそれぞれ記憶される。フレームメモリ３３から４つの撮影画像Ｐ１〜Ｐ４を読み出す際には、４つの検査用データＴＤ１〜ＴＤ４も併せて読み出される。読み出された４つの検査用データＴＤ１〜ＴＤ４は、４つの撮影画像Ｐ１〜Ｐ４を含む結合画像ＵＰに再付与される。そして、この結合画像ＵＰに付与された４つの検査用データＴＤ１〜ＴＤ４それぞれの更新状態に基づいて異常が検出される。 That is, as shown in FIG. 10, the inspection data TD1 to TD4 are given to the captured images P1 to P4 before being written in the frame memory 33, respectively. These inspection data TD1 to TD4 are stored in predetermined storage areas AT1 to AT4 of the frame memory 33, respectively. When the four captured images P1 to P4 are read from the frame memory 33, the four inspection data TD1 to TD4 are also read together. The read four inspection data TD1 to TD4 are reapplied to the combined image UP including the four captured images P1 to P4. Then, an abnormality is detected based on the update state of each of the four inspection data TD1 to TD4 given to the combined image UP.

図８に示す画像処理部３の４つの書込系統３ａ〜３ｄがそれぞれ備えるデータ付与部３２は、図１に示すデータ付与部２２に対応する。また、図８に示す画像処理部３の異常検出部３７及び警告部３８は、図１に示す異常検出部２７及び警告部２８にそれぞれ対応する。 The data providing unit 32 provided in each of the four writing systems 3a to 3d of the image processing unit 3 illustrated in FIG. 8 corresponds to the data providing unit 22 illustrated in FIG. Further, the abnormality detection unit 37 and the warning unit 38 of the image processing unit 3 illustrated in FIG. 8 correspond to the abnormality detection unit 27 and the warning unit 28 illustrated in FIG. 1, respectively.

図１１は、画像処理部３の４つの書込系統３ａ〜３ｄそれぞれの処理の流れを示す図である。４つの書込系統３ａ〜３ｄは、それぞれ独立して図１１に示す処理を所定の周期（例えば１／３０秒）で繰り返す。 FIG. 11 is a diagram illustrating a process flow of each of the four writing systems 3 a to 3 d of the image processing unit 3. Each of the four writing systems 3a to 3d independently repeats the processing shown in FIG. 11 at a predetermined cycle (for example, 1/30 seconds).

まず、ＡＤコンバータ３０が、車載カメラからアナログの撮影画像を取得する。そして、ＡＤコンバータ３０は、アナログの撮影画像をデジタルの撮影画像に変換する。ＡＤコンバータ３０は、デジタルの撮影画像を画像書込部３１に受け渡す（ステップＳ１１）。 First, the AD converter 30 acquires an analog captured image from the in-vehicle camera. The AD converter 30 converts the analog captured image into a digital captured image. The AD converter 30 delivers the digital photographed image to the image writing unit 31 (step S11).

次に、画像書込部３１が、フレームメモリ３３に撮影画像を書き込むことになるが、この画像書込部３１が書き込む前の撮影画像に対してデータ付与部３２が検査用データを付与する（ステップＳ１２）。これにより、撮影画像と検査用データとのそれぞれがフレームメモリ３３の所定の記憶領域に書き込まれる（ステップＳ１３）。 Next, the image writing unit 31 writes the captured image in the frame memory 33. The data adding unit 32 adds inspection data to the captured image before the image writing unit 31 writes ( Step S12). Thereby, each of the captured image and the inspection data is written in a predetermined storage area of the frame memory 33 (step S13).

データ付与部３２は、検査用データを撮影画像に付与するごとに、検査用データとする数字を１ずつ増加していく。これにより、データ付与部３２は、映像信号において時間的に隣り合う撮影画像とは異なる検査用データを撮影画像に付与する。検査用データが所定の値（例えば”１６”）となった場合は、次の検査用データは”１”に戻される。 Each time the data providing unit 32 adds inspection data to a captured image, the data adding unit 32 increments the number used as inspection data by one. Thereby, the data provision part 32 provides the test | inspection data different from the captured image temporally adjacent to a picked-up image in a video signal. When the inspection data becomes a predetermined value (for example, “16”), the next inspection data is returned to “1”.

また、データ付与部３２は、検査用データを、撮影画像自体ではなく、撮影画像を周期的に含む映像信号のブランキング期間に対応する部分に付加する。このブランキング期間は、映像信号とともに送信される同期信号によって規定される。 The data adding unit 32 adds the inspection data to a portion corresponding to the blanking period of the video signal that periodically includes the captured image, not the captured image itself. This blanking period is defined by a synchronization signal transmitted together with the video signal.

図１２は、同期信号と撮影画像Ｐを含む映像信号との関係を示す図である。図１２に示すように、垂直同期信号ＶＳは周期的に”Ｌ”となる信号であり、その周期は映像信号に含まれる一の撮影画像Ｐの周期に対応している。 FIG. 12 is a diagram illustrating the relationship between the synchronization signal and the video signal including the captured image P. As shown in FIG. 12, the vertical synchronization signal VS is a signal which periodically becomes “L”, and the cycle corresponds to the cycle of one captured image P included in the video signal.

図に示すように、垂直同期信号ＶＳの周期である垂直同期間隔ＶＷは、映像信号に撮影画像Ｐが存在する有効期間Ｖｂと、有効期間Ｖｂより前のブランキング期間Ｖａと、有効期間Ｖｂより後のブランキング期間Ｖｃとを合わせた期間となる。 As shown in the figure, the vertical synchronization interval VW, which is the period of the vertical synchronization signal VS, is based on the effective period Vb in which the captured image P is present in the video signal, the blanking period Va before the effective period Vb, and the effective period Vb. This is a period combined with the subsequent blanking period Vc.

有効期間Ｖｂは、イネーブル信号ＤＥが”Ｈ”の期間である。つまり、イネーブル信号ＤＥが”Ｌ”の期間がブランキング期間Ｖａ，Ｖｃとなる。映像信号のブランキング期間Ｖａ，Ｖｃに対応する部分は、連続する撮影画像Ｐの相互間に相当し、撮影画像Ｐを含まない。 The valid period Vb is a period during which the enable signal DE is “H”. In other words, the blanking periods Va and Vc are periods when the enable signal DE is “L”. The portions corresponding to the blanking periods Va and Vc of the video signal correspond to each other between the consecutive captured images P and do not include the captured image P.

このように映像信号のブランキング期間に対応する部分においては、撮影画像Ｐは含まれていない。データ付与部３２は、このような映像信号における、対象とする撮影画像Ｐの直前となるブランキング期間Ｖａに対応する部分に、検査用データＴＤを付加する。これにより、撮影画像Ｐの内容に影響を与えること無く撮影画像Ｐに検査用データＴＤを付与できる。 Thus, the captured image P is not included in the portion corresponding to the blanking period of the video signal. The data adding unit 32 adds the inspection data TD to the portion corresponding to the blanking period Va immediately before the target captured image P in such a video signal. Thereby, the inspection data TD can be given to the photographed image P without affecting the contents of the photographed image P.

図１１に示す処理が４つの書込系統３ａ〜３ｄそれぞれで実行されることで、４つの撮影画像Ｐ１〜Ｐ４と、４つの検査用データＴＤ１〜ＴＤ４とがそれぞれフレームメモリ３３の所定の記憶領域に記憶される。 11 is executed in each of the four writing systems 3a to 3d, four photographed images P1 to P4 and four inspection data TD1 to TD4 are stored in predetermined storage areas of the frame memory 33, respectively. Is remembered.

図１３は、画像処理部３のフレームメモリ３３より下流側の処理部（画像を読み出す側の処理部。具体的には、画像読出部３４、視点変換部３５、表示画像生成部３６、異常検出部３７及び警告部３８。）の処理の流れを示す図である。これらの処理部は、図１３に示す処理を所定の周期（例えば１／３０秒）で繰り返す。 FIG. 13 shows a processing unit downstream from the frame memory 33 of the image processing unit 3 (processing unit on the image reading side. Specifically, the image reading unit 34, the viewpoint conversion unit 35, the display image generation unit 36, the abnormality detection, and the like. It is a figure which shows the flow of a process of the part 37 and the warning part 38.). These processing units repeat the processing shown in FIG. 13 at a predetermined cycle (for example, 1/30 second).

まず、画像読出部３４は、フレームメモリ３３の所定の記憶領域にそれぞれ記憶された４つの撮影画像Ｐ１〜Ｐ４を読み出し、４つの撮影画像Ｐ１〜Ｐ４に基づいて結合画像ＵＰを生成する（ステップＳ２１）。続いて、画像読出部３４は、これら撮影画像Ｐ１〜Ｐ４に付与された４つの検査用データＴＤ１〜ＴＤ４を、フレームメモリ３３の所定の記憶領域から読み出す（ステップＳ２２）。そして、画像読出部３４は、４つの撮影画像Ｐ１〜Ｐ４を含む結合画像ＵＰに４つの検査用データＴＤ１〜ＴＤ４を再付与する。具体的には、画像読出部３４は、結合画像ＵＰを含む映像信号におけるブランキング期間に対応する部分に、読み出した４つの検査用データをＴＤ１〜ＴＤ４を付加することになる。 First, the image reading unit 34 reads four captured images P1 to P4 respectively stored in predetermined storage areas of the frame memory 33, and generates a combined image UP based on the four captured images P1 to P4 (step S21). ). Subsequently, the image reading unit 34 reads the four inspection data TD1 to TD4 given to the captured images P1 to P4 from a predetermined storage area of the frame memory 33 (step S22). Then, the image reading unit 34 reassigns the four inspection data TD1 to TD4 to the combined image UP including the four captured images P1 to P4. Specifically, the image reading unit 34 adds the read four inspection data TD1 to TD4 to the portion corresponding to the blanking period in the video signal including the combined image UP.

図１４は、同期信号と結合画像ＵＰを含む映像信号との関係を示す図である。図１４に示すように、イネーブル信号ＤＥが”Ｈ”となる有効期間Ｖｂには、映像信号に結合画像ＵＰが存在する。一方、イネーブル信号ＤＥが”Ｌ”となるブランキング期間Ｖａ，Ｖｂには、映像信号に結合画像ＵＰが存在しない。画像読出部３４は、このような映像信号において、結合画像ＵＰの直前となるブランキング期間Ｖａに対応する部分に４つの検査用データをＴＤ１〜ＴＤ４を付加する。これにより、結合画像ＵＰの内容に影響を与えること無く結合画像ＵＰに４つの検査用データＴＤ１〜ＴＤ４を再付与することができる。 FIG. 14 is a diagram illustrating a relationship between the synchronization signal and the video signal including the combined image UP. As shown in FIG. 14, the combined image UP is present in the video signal during the effective period Vb when the enable signal DE is “H”. On the other hand, in the blanking periods Va and Vb in which the enable signal DE is “L”, the combined image UP does not exist in the video signal. In such a video signal, the image reading unit 34 adds four inspection data TD1 to TD4 to a portion corresponding to the blanking period Va immediately before the combined image UP. Accordingly, the four inspection data TD1 to TD4 can be re-assigned to the combined image UP without affecting the contents of the combined image UP.

次に、視点変換部３５が、結合画像ＵＰに基づいて任意視点画像ＣＰを生成する（ステップＳ２３）。さらに、表示画像生成部３６が、この任意視点画像ＣＰを含む表示画像を生成する（ステップＳ２４）。 Next, the viewpoint conversion unit 35 generates an arbitrary viewpoint image CP based on the combined image UP (step S23). Further, the display image generation unit 36 generates a display image including the arbitrary viewpoint image CP (step S24).

このような任意視点画像ＣＰ及び表示画像の生成処理と並行して、異常検出部３７は、結合画像ＵＰに付与された４つの検査用データＴＤ１〜ＴＤ４をそれぞれ監視する。そして、異常検出部３７は、４つの検査用データＴＤ１〜ＴＤ４それぞれの更新状態に基づいて異常を検出する（ステップＳ２５）。 In parallel with the generation processing of the arbitrary viewpoint image CP and the display image, the abnormality detection unit 37 monitors each of the four pieces of inspection data TD1 to TD4 given to the combined image UP. Then, the abnormality detection unit 37 detects an abnormality based on the update states of the four inspection data TD1 to TD4 (step S25).

具体的には、異常検出部３７は、４つの検査用データＴＤ１〜ＴＤ４の全てが前回の処理と異なる場合は正常であると判断する。すなわち、異常検出部３７は、連続する複数の結合画像ＵＰに付与された検査用データＴＤ１〜ＴＤ４の全てが更新されている場合は、正常であると判断する。一方、異常検出部３７は、４つの検査用データＴＤ１〜ＴＤ４の少なくとも一つが、前回の処理と同一となる場合は異常が発生したと判断する。すなわち、異常検出部３７は、連続する複数の結合画像ＵＰに付与された検査用データＴＤ１〜ＴＤ４の少なくとも一つが更新されない場合は、異常が発生したと判断する。 Specifically, the abnormality detection unit 37 determines that it is normal when all of the four inspection data TD1 to TD4 are different from the previous process. That is, the abnormality detection unit 37 determines that the inspection data TD1 is normal when all of the inspection data TD1 to TD4 assigned to the plurality of continuous combined images UP are updated. On the other hand, the abnormality detection unit 37 determines that an abnormality has occurred when at least one of the four inspection data TD1 to TD4 is the same as the previous process. That is, the abnormality detection unit 37 determines that an abnormality has occurred when at least one of the inspection data TD1 to TD4 assigned to a plurality of continuous combined images UP is not updated.

各書込系統３ａ〜３ｄの画像書込部３１が書き込む連続する複数の撮影画像には、互いに異なる検査用データが付与されている。したがって、連続する複数の結合画像ＵＰに付与された検査用データが同一となる場合とは、撮影画像の書き込みに異常が生じた場合に相当する。 Different test data are assigned to a plurality of consecutive captured images written by the image writing units 31 of the writing systems 3a to 3d. Therefore, the case where the inspection data given to a plurality of continuous combined images UP is the same corresponds to the case where an abnormality occurs in writing of the captured image.

図１５は、全ての撮影画像の書き込みが正常になされた場合における、連続する複数の結合画像ＵＰの例を示す図である。図に示すように、連続する複数の結合画像Ｕ１〜Ｕ５には、それぞれ４つの検査用データＴＤ１〜ＴＤ４が付与されている。そして、これらの検査用データＴＤ１〜ＴＤ４はそれぞれ、結合画像Ｕ１〜Ｕ５ごとに更新されている。 FIG. 15 is a diagram illustrating an example of a plurality of continuous combined images UP in a case where writing of all captured images is normally performed. As shown in the drawing, four pieces of inspection data TD1 to TD4 are given to a plurality of continuous combined images U1 to U5, respectively. The inspection data TD1 to TD4 are updated for each of the combined images U1 to U5.

一方、図１６は、一の撮影画像の書き込みに異常が生じた場合における、連続する複数の結合画像ＵＰの例を示す図である。この場合も、連続する結合画像Ｕ１１〜Ｕ１５には、それぞれ４つの検査用データＴＤ１〜ＴＤ４が付与されている。ただし、結合画像Ｕ１３以降の結合画像ＵＰの検査用データＴＤ３は「３」のまま更新されていない。異常検出部３７は、このように連続する複数の結合画像ＵＰに付与された検査用データのいずれかが更新されないことに基づいて、撮影画像の書き込みの異常を検出することになる。 On the other hand, FIG. 16 is a diagram illustrating an example of a plurality of continuous combined images UP when an abnormality occurs in writing of one captured image. Also in this case, four pieces of inspection data TD1 to TD4 are assigned to the continuous combined images U11 to U15, respectively. However, the inspection data TD3 of the combined image UP after the combined image U13 remains “3” and is not updated. The abnormality detection unit 37 detects an abnormality in writing of the captured image based on the fact that any of the inspection data given to the plurality of continuous combined images UP is not updated as described above.

警告部３８は、異常検出部３７が異常を検出した場合は、表示画像生成部３６が生成する表示画像に異常の発生を示す文字などを含む警告情報を重畳する（図１３のステップＳ２６）。 When the abnormality detection unit 37 detects an abnormality, the warning unit 38 superimposes warning information including characters indicating the occurrence of abnormality on the display image generated by the display image generation unit 36 (step S26 in FIG. 13).

生成された表示画像は、表示装置７に出力されて表示される（ステップＳ２７）。表示画像に警告情報が重畳された場合は、図１７に示すように、警告情報ＤＢが表示画像ＤＰに含まれた状態で表示装置７において表示される。その結果、表示装置７を視認するユーザに異常の発生が報知されることから、ユーザが誤った運転を行うことを防止でき、安全性を維持できる。 The generated display image is output and displayed on the display device 7 (step S27). When the warning information is superimposed on the display image, as shown in FIG. 17, the warning information DB is displayed on the display device 7 in a state where the warning information DB is included in the display image DP. As a result, since the occurrence of abnormality is notified to the user who visually recognizes the display device 7, it is possible to prevent the user from performing an incorrect driving and maintain safety.

以上説明したように、画像表示システム１００においては、４つの書込系統３ａ〜３ｄのデータ付与部３２が、フレームメモリ３３に書き込む前の撮影画像に対して、時間的に隣り合う撮影画像とは異なる検査用データを付与する。一方、異常検出部３７は、フレームメモリ３３から周期的に読み出された撮影画像（より具体的には、撮影画像を含む結合画像）に付与された検査用データの更新状態に基づいて異常を検出する。フレームメモリ３３への撮影画像の書き込みの異常があればこの検査用データが更新されないため、このような異常を容易に検出することができる。 As described above, in the image display system 100, the captured images that are temporally adjacent to the captured image before the data adding unit 32 of the four writing systems 3 a to 3 d writes the frame memory 33 are used. Give different inspection data. On the other hand, the abnormality detection unit 37 detects an abnormality based on the update state of the inspection data given to the captured image (more specifically, the combined image including the captured image) periodically read from the frame memory 33. To detect. If there is an abnormality in writing the captured image to the frame memory 33, the inspection data is not updated, so that such an abnormality can be easily detected.

また、異常が発生した場合は、表示装置７に表示される表示画像に警告情報が含まれているため、異常が発生したことを表示画像を視認するユーザに報知することができる。その結果、ユーザが誤った運転を行うことを防止でき、安全性を維持できる。 Further, when an abnormality occurs, warning information is included in the display image displayed on the display device 7, so that it is possible to notify the user who visually recognizes the display image that an abnormality has occurred. As a result, it is possible to prevent the user from performing an incorrect operation and maintain safety.

＜６．変形例＞
以上、本発明の実施の形態について説明してきたが、この発明は上記実施の形態に限定されるものではなく様々な変形が可能である。以下では、このような変形例について説明する。上記実施の形態で説明した形態及び以下で説明する形態を含む全ての形態は、適宜に組み合わせ可能である。 <6. Modification>
Although the embodiments of the present invention have been described above, the present invention is not limited to the above-described embodiments, and various modifications are possible. Below, such a modification is demonstrated. All forms including those described in the above embodiment and those described below can be combined as appropriate.

上記実施の形態では、異常を検出した場合であっても、車両９の周辺の様子を示す表示画像が表示装置７に表示されていた。これに対して、異常を検出した場合は、全領域が同一色（例えば、黒）の表示画像を表示装置７に表示して、車両９の周辺の様子を示さないようにしてもよい。また、異常を検出した場合は、警告情報を表示せずに、この全領域が同一色の表示画像のみを表示装置７に表示するようにしてもよい。 In the above embodiment, even when an abnormality is detected, a display image showing the state around the vehicle 9 is displayed on the display device 7. On the other hand, when an abnormality is detected, a display image in which the entire region is the same color (for example, black) may be displayed on the display device 7 so that the surroundings of the vehicle 9 are not shown. Further, when an abnormality is detected, only the display image having the same color in the entire area may be displayed on the display device 7 without displaying the warning information.

また、上記実施の形態では、画像ごとに１ずつ増加する数字を検査用データとして付与していたが、連続する画像に異なる数字を交互に検査用データとして付与するようにしてもよい。つまりは、メモリに書き込む前の画像それぞれに時間的に隣り合う画像とは異なる検査用データを付与すればよい。 In the above-described embodiment, a number that increases by 1 for each image is given as inspection data. However, different numbers may be alternately given to successive images as inspection data. In other words, inspection data different from the temporally adjacent images may be assigned to each image before being written to the memory.

また、上記実施の形態では、車両に搭載される画像表示システム１００について具体的に説明したが、特定の場所に配置される監視カメラで得られた画像を表示装置に表示する画像表示システムなど、車両に搭載されない画像表示システムであっても、上記で説明した技術を好適に適用することが可能である。 Moreover, in the said embodiment, although the image display system 100 mounted in a vehicle was demonstrated concretely, the image display system etc. which display the image obtained with the surveillance camera arrange | positioned in a specific place on a display apparatus, etc. Even in an image display system that is not mounted on a vehicle, the technology described above can be suitably applied.

７表示装置
１０画像処理装置
３１画像書込部
３２データ付与部
３３フレームメモリ
３４画像読出部
３６表示画像生成部
３７異常検出部
３８警告部
１００画像表示システム DESCRIPTION OF SYMBOLS 7 Display apparatus 10 Image processing apparatus 31 Image writing part 32 Data provision part 33 Frame memory 34 Image reading part 36 Display image generation part 37 Abnormality detection part 38 Warning part 100 Image display system

Claims

An image processing apparatus for processing an image,
Writing means for periodically writing the image to the memory;
Reading means for periodically reading the image from the memory;
Output means for outputting and displaying a display image based on the image read from the memory on a display device;
An assigning means for giving inspection data different from the temporally adjacent images to each of the images before being written to the memory;
Detection means for detecting an abnormality based on the updated state of the inspection data given to each of the images periodically read from the memory;
An image processing apparatus comprising:

The image processing apparatus according to claim 1.
When the detection means detects the abnormality, warning means for including warning information indicating the occurrence of the abnormality in the display image,
An image processing apparatus comprising:

The image processing apparatus according to claim 2,
The writing means writes an image acquired by a camera that captures the periphery of the vehicle into the memory,
The image processing apparatus, wherein the output means outputs and displays the display image on a display device mounted on the vehicle.

The image processing apparatus according to any one of claims 1 to 3,
The image processing apparatus according to claim 1, wherein the adding unit adds the inspection data to a portion corresponding to a blanking period of a video signal that periodically includes the image before being written to the memory.

An image display system for displaying an image,
An image processing apparatus according to any one of claims 1 to 4,
A display device for displaying a display image output from the image processing device;
An image display system comprising:

An image processing method for processing an image,
(A) periodically writing an image into a memory;
(B) periodically reading the image from the memory;
(C) displaying a display image based on the image read from the memory;
(D) providing each of the images before being written to the memory with inspection data different from temporally adjacent images;
(E) detecting an abnormality based on an updated state of the inspection data given to each of the images periodically read from the memory;
An image processing method comprising: