JP2012138875A

JP2012138875A - Image processing device, image display system, and image processing method

Info

Publication number: JP2012138875A
Application number: JP2010291685A
Authority: JP
Inventors: Nobutoku Asayama; 信徳朝山; Fumitaka Fushimi; 文孝伏見; Takayuki Ozasa; 隆幸小笹
Original assignee: Denso Ten Ltd
Current assignee: Denso Ten Ltd
Priority date: 2010-12-28
Filing date: 2010-12-28
Publication date: 2012-07-19

Abstract

PROBLEM TO BE SOLVED: To provide a technique capable of detecting abnormality in an image signal without having an influence on an image included in the image signal.SOLUTION: In an image display system, an image transmission part 32a in an image combination circuit 32 transmits the image signal to a view point conversion circuit 33. A data addition part 32b in the image combination circuit 32 adds predetermined inspection data to a portion corresponding to the blanking period of the image signal transmitted by the image transmission part 32a. On the other hand, an abnormality detection part 33b in the view point conversion circuit 33 detects abnormality in the image signal on the basis of the inspection data included in the image signal received by an image reception part 33a. This allows detection of abnormality in the image signal without having an influence on the image included in the image signal.

Description

本発明は、画像を処理する技術に関する。 The present invention relates to a technique for processing an image.

一般に、画像処理には膨大な量の演算が必要となる。このため、画像処理装置では、それぞれが所定の画像処理を実行する複数の集積回路（ＡＳＩＣなど）を備えて、画像処理の高速化を図っていることが多い。画像処理装置においては、このような複数の集積回路などの部位同士の間で、画像を含む映像信号が送受信される。 In general, an enormous amount of computation is required for image processing. For this reason, image processing apparatuses are often provided with a plurality of integrated circuits (such as ASICs), each of which executes predetermined image processing, to speed up image processing. In an image processing apparatus, a video signal including an image is transmitted and received between parts such as a plurality of integrated circuits.

なお、本明細書で説明する技術に関連する技術を開示した文献として特許文献１がある。 Note that there is Patent Document 1 as a document disclosing a technology related to the technology described in this specification.

特開２００５−３４０９７０号公報JP 2005-340970 A

ところで、映像信号の送受信を行う場合において、映像信号を伝達する信号線において断線や短絡などが生じていたときには、受信側の部位で受信される映像信号に異常が生じる可能性がある。その結果、映像信号に含まれる画像において、色相や彩度が変わるなどの欠陥が生じる。このような欠陥のある画像を表示装置で表示させると、画像を視認するユーザに誤解を与える可能性がある。 By the way, when a video signal is transmitted and received, if a disconnection or a short circuit occurs in a signal line that transmits the video signal, an abnormality may occur in the video signal received at the receiving site. As a result, a defect such as a change in hue or saturation occurs in an image included in the video signal. If such a defective image is displayed on the display device, there is a possibility of misunderstanding the user who views the image.

特に、車両の周辺を撮影して得られた画像を車両内の表示装置に表示するような画像表示システムの場合においては、このような欠陥のある画像が表示装置に表示されると、車両の周辺の様子をユーザが誤って判断し、ユーザが誤った運転を行う可能性がある。 In particular, in the case of an image display system that displays an image obtained by photographing the periphery of a vehicle on a display device in the vehicle, when such a defective image is displayed on the display device, There is a possibility that the user erroneously determines the surrounding situation and the user performs an incorrect driving.

これに対応するため、映像信号に周期的に含まれる画像の一部をカラーバー等の検査用画像に変更し、受信側の部位で受信された検査用画像の状態に基づいて映像信号の異常を検出する手法が考えられる。しかしながら、この手法を採用した場合には映像信号に周期的に含まれるべき画像の一部が欠落してしまい、動体の動きのスムーズさが失われるなど、画像を視認するユーザに違和感を与えることになる。 To cope with this, a part of the image periodically included in the video signal is changed to a test image such as a color bar, and the video signal is abnormal based on the status of the test image received at the receiving site. A method for detecting the error is conceivable. However, when this method is adopted, a part of the image that should be periodically included in the video signal is lost, and the smoothness of the movement of the moving object is lost. become.

本発明は、上記課題に鑑みてなされたものであり、映像信号に含まれる画像に影響を与えること無く、映像信号の異常を検出することができる技術を提供することを目的とする。 The present invention has been made in view of the above problems, and an object of the present invention is to provide a technique capable of detecting an abnormality of a video signal without affecting an image included in the video signal.

上記課題を解決するため、請求項１の発明は、画像を処理する画像処理装置であって、映像信号を送信する送信手段と、前記送信手段から送信された前記映像信号を受信する受信手段と、前記受信手段で受信された前記映像信号に含まれる画像に基づく表示画像を表示装置に出力して表示させる出力手段と、前記送信手段が送信する前記映像信号のブランキング期間に対応する部分に検査用データを付加する付加手段と、前記受信手段で受信された前記映像信号に含まれる前記検査用データに基づいて、前記映像信号の異常を検出する検出手段と、を備えている。 In order to solve the above-mentioned problems, the invention of claim 1 is an image processing apparatus for processing an image, wherein the transmitting means transmits a video signal, and the receiving means receives the video signal transmitted from the transmitting means. Output means for outputting and displaying a display image based on an image included in the video signal received by the receiving means on a display device, and a portion corresponding to a blanking period of the video signal transmitted by the transmitting means. An adding unit for adding inspection data; and a detecting unit for detecting an abnormality of the video signal based on the inspection data included in the video signal received by the receiving unit.

また、請求項２の発明は、請求項１に記載の画像処理装置において、前記検出手段が前記異常を検出した場合は、前記表示画像に前記異常の発生を示す警告情報を含める警告手段、を備えている。 According to a second aspect of the present invention, in the image processing apparatus according to the first aspect, when the detection unit detects the abnormality, the warning unit includes warning information indicating the occurrence of the abnormality in the display image. I have.

また、請求項３の発明は、請求項２に記載の画像処理装置において、前記送信手段は、車両の周辺を撮影するカメラで取得された画像を含む前記映像信号を送信し、前記出力手段は、前記車両に搭載された表示装置に前記表示画像を出力して表示させる。 According to a third aspect of the present invention, in the image processing apparatus according to the second aspect, the transmission unit transmits the video signal including an image acquired by a camera that captures the periphery of the vehicle, and the output unit includes The display image is output and displayed on a display device mounted on the vehicle.

また、請求項４の発明は、請求項１ないし３のいずれかに記載の画像処理装置において、前記送信手段は、前記映像信号に含まれる複数の単位信号を複数の信号線を介してそれぞれ送信し、前記付加手段は、前記複数の単位信号それぞれに前記検査用データを付加する。 According to a fourth aspect of the present invention, in the image processing apparatus according to any one of the first to third aspects, the transmission unit transmits a plurality of unit signals included in the video signal via a plurality of signal lines. The adding means adds the inspection data to each of the plurality of unit signals.

また、請求項５の発明は、請求項４に記載の画像処理装置において、前記付加手段は、前記複数の単位信号ごとに異なるタイミングで前記検査用データを付加する。 According to a fifth aspect of the present invention, in the image processing apparatus according to the fourth aspect, the adding means adds the inspection data at a different timing for each of the plurality of unit signals.

また、請求項６の発明は、画像を表示する画像表示システムであって、請求項１ないし５のいずれかに記載の画像処理装置と、前記画像処理装置から出力された表示画像を表示する表示装置と、を備えている。 According to a sixth aspect of the present invention, there is provided an image display system for displaying an image, the image processing apparatus according to any one of the first to fifth aspects, and a display for displaying a display image output from the image processing apparatus. And a device.

また、請求項７の発明は、画像を処理する画像処理方法であって、（ａ）映像信号を送信する工程と、（ｂ）前記工程（ａ）で送信された前記映像信号を受信する工程と、（ｃ）前記工程（ｂ）で受信された前記映像信号に含まれる画像に基づく表示画像を表示装置に出力して表示させる工程と、（ｄ）前記工程（ａ）で送信する前記映像信号のブランキング期間に対応する部分に検査用データを付加する工程と、（ｅ）前記工程（ｂ）で受信された前記映像信号に含まれる前記検査用データに基づいて、前記映像信号の異常を検出する工程と、を備えている。 The invention of claim 7 is an image processing method for processing an image, wherein (a) a step of transmitting a video signal, and (b) a step of receiving the video signal transmitted in the step (a). (C) outputting and displaying a display image based on the image included in the video signal received in the step (b) on a display device; and (d) the video transmitted in the step (a). Adding inspection data to a portion corresponding to a blanking period of the signal; and (e) abnormality of the video signal based on the inspection data included in the video signal received in the step (b). Detecting.

請求項１ないし７の発明によれば、映像信号のブランキング期間に対応する部分に検査用データを付加するため、映像信号に含まれる画像に影響を与えること無く、映像信号の異常を検出することができる。 According to the first to seventh aspects of the invention, since the inspection data is added to the portion corresponding to the blanking period of the video signal, the abnormality of the video signal is detected without affecting the image included in the video signal. be able to.

また、特に請求項２の発明によれば、表示装置に表示される表示画像に警告情報が含まれているため、異常が発生したことを表示画像を視認するユーザに報知することができる。 In particular, according to the invention of claim 2, since the warning information is included in the display image displayed on the display device, it is possible to notify the user who visually recognizes the display image that an abnormality has occurred.

また、特に請求項３の発明によれば、車両の周辺を示す画像を表示装置に表示させる場合に、映像信号に異常があったとしても異常の発生をユーザに報知できるため、安全性を維持することができる。 In particular, according to the invention of claim 3, when an image showing the periphery of the vehicle is displayed on the display device, even if there is an abnormality in the video signal, the occurrence of the abnormality can be notified to the user, thus maintaining safety. can do.

また、特に請求項４の発明によれば、複数の単位信号それぞれに検査用データを付加するため、複数の信号線のそれぞれの断線を検出できる。 In particular, according to the invention of claim 4, since the inspection data is added to each of the plurality of unit signals, the disconnection of each of the plurality of signal lines can be detected.

また、特に請求項５の発明によれば、複数の単位信号ごとに異なるタイミングで検査用データを付加するため、信号線間の短絡を検出できる。 In particular, according to the invention of claim 5, since inspection data is added at a different timing for each of a plurality of unit signals, a short circuit between signal lines can be detected.

図１は、実施の形態で採用される技術の概要を説明するための図である。FIG. 1 is a diagram for explaining the outline of the technology employed in the embodiment. 図２は、水平同期信号と映像信号との関係を示す図である。FIG. 2 is a diagram illustrating the relationship between the horizontal synchronization signal and the video signal. 図３は、垂直同期信号と映像信号との関係を示す図である。FIG. 3 is a diagram illustrating a relationship between the vertical synchronization signal and the video signal. 図４は、画像表示システムの構成を示す図である。FIG. 4 is a diagram illustrating a configuration of the image display system. 図５は、車載カメラが車両に配置される位置を示す図である。FIG. 5 is a diagram illustrating a position where the in-vehicle camera is arranged in the vehicle. 図６は、画像処理部が備える機能を示す図である。FIG. 6 is a diagram illustrating functions included in the image processing unit. 図７は、任意視点画像を生成する手法を説明するための図である。FIG. 7 is a diagram for explaining a method of generating an arbitrary viewpoint image. 図８は、画像結合回路の処理の流れを示す図である。FIG. 8 is a diagram showing a flow of processing of the image combining circuit. 図９は、同期信号と映像信号との関係を示す図である。FIG. 9 is a diagram illustrating the relationship between the synchronization signal and the video signal. 図１０は、単位信号に付与された検査用データを示す図である。FIG. 10 is a diagram showing the inspection data given to the unit signal. 図１１は、視点変換回路の処理の流れを示す図である。FIG. 11 is a diagram illustrating a flow of processing of the viewpoint conversion circuit. 図１２は、警告情報が表示される様子を示す図である。FIG. 12 is a diagram illustrating how warning information is displayed.

以下、図面を参照しつつ本発明の実施の形態について説明する。 Hereinafter, embodiments of the present invention will be described with reference to the drawings.

＜１．技術概要＞
まず、本発明の実施の形態の具体的な構成を説明する前に、この実施の形態で採用される技術の概要を説明する。図１は、この技術の概要を説明するための図であり、画像表示システム２００の簡略構成を示している。 <1. Technology Overview>
First, before describing a specific configuration of an embodiment of the present invention, an outline of a technique employed in this embodiment will be described. FIG. 1 is a diagram for explaining the outline of this technique, and shows a simplified configuration of an image display system 200.

画像表示システム２００は、画像を処理する画像処理装置２０と、表示装置２１とを備えている。画像処理装置２０では表示画像が生成され、この表示画像が表示装置２１で表示される。 The image display system 200 includes an image processing device 20 that processes an image and a display device 21. In the image processing device 20, a display image is generated, and this display image is displayed on the display device 21.

画像処理装置２０は、第１処理回路２２、第２処理回路２３及び表示画像生成部２４を備えている。第１処理回路２２と第２処理回路２３とはそれぞれ所定の画像処理を実行するＡＳＩＣなどの集積回路である。 The image processing apparatus 20 includes a first processing circuit 22, a second processing circuit 23, and a display image generation unit 24. Each of the first processing circuit 22 and the second processing circuit 23 is an integrated circuit such as an ASIC that executes predetermined image processing.

画像処理装置２０で処理対象となる画像は、まず、第１処理回路２２で所定の画像処理がなされる。その後、画像は、第１処理回路２２から送信され、第２処理回路２３に受信される。そして、画像は、第２処理回路２３でも所定の画像処理がなされる。このようにして第１処理回路２２及び第２処理回路２３の双方で処理が行われた画像は、表示画像生成部２４が生成する表示画像に含められる。この表示画像は、表示画像生成部２４から表示装置２１に出力され、表示装置２１において表示される。 An image to be processed by the image processing apparatus 20 is first subjected to predetermined image processing by the first processing circuit 22. Thereafter, the image is transmitted from the first processing circuit 22 and received by the second processing circuit 23. The image is also subjected to predetermined image processing in the second processing circuit 23. The image processed in both the first processing circuit 22 and the second processing circuit 23 in this way is included in the display image generated by the display image generation unit 24. The display image is output from the display image generation unit 24 to the display device 21 and displayed on the display device 21.

第１処理回路２２が備える映像送信部２２ａは、処理対象となる画像を周期的に含む映像信号を第２処理回路２２に送信する。そして、第２処理回路２３が備える映像受信部２３ａが、この映像信号を受信する。 The video transmission unit 22 a included in the first processing circuit 22 transmits a video signal that periodically includes an image to be processed to the second processing circuit 22. Then, the video receiver 23a included in the second processing circuit 23 receives this video signal.

第１処理回路２２から第２処理回路２３への映像信号の送信は、複数の信号線２９を介して行われる。映像信号に含まれる画像の各画素の値は、例えばＲＧＢで表現される。Ｒ、Ｇ及びＢのそれぞれは例えば８ビット（０〜２５５）で表現されることから、一の画素の値は２４ビット（８ビット×３）で表現される。映像信号は、この２４のビット情報に対応する２４の単位信号を含んでいる。そして、これら２４の単位信号が２４本の信号線２９を介して第１処理回路２２から第２処理回路２３にそれぞれ送信される。 Transmission of the video signal from the first processing circuit 22 to the second processing circuit 23 is performed via a plurality of signal lines 29. The value of each pixel of the image included in the video signal is expressed in RGB, for example. Since each of R, G, and B is expressed by, for example, 8 bits (0 to 255), the value of one pixel is expressed by 24 bits (8 bits × 3). The video signal includes 24 unit signals corresponding to the 24 bit information. These 24 unit signals are transmitted from the first processing circuit 22 to the second processing circuit 23 via the 24 signal lines 29, respectively.

この複数の信号線２９のいずれかにおいて、断線や短絡などの障害が生じることがある。このような障害が生じた場合、障害が生じていない信号線においては正しい単位信号が送信される一方で、障害が生じた信号線においては正しい単位信号が送信されない。このため、映像信号は第１処理回路２２から第２処理回路２３へ送信されるものの、この映像信号に含まれる画像は画素の値を示す一部のビット情報が抜け落ちた状態となる。その結果、映像信号に含まれる画像には、色相や彩度が変わるなどの欠陥が発生する。 Any one of the plurality of signal lines 29 may cause a failure such as disconnection or short circuit. When such a failure occurs, a correct unit signal is transmitted on a signal line in which no failure has occurred, whereas a correct unit signal is not transmitted on a signal line in which a failure has occurred. For this reason, although the video signal is transmitted from the first processing circuit 22 to the second processing circuit 23, the image included in the video signal is in a state in which some bit information indicating the pixel value is missing. As a result, a defect such as a change in hue or saturation occurs in an image included in the video signal.

このような映像信号の異常に対応するため、第１処理回路２２はデータ付加部２２ｂを備え、第２処理回路２３は異常検出部２３ｂ及び警告部２３ｃを備えている。 In order to cope with such an abnormality of the video signal, the first processing circuit 22 includes a data addition unit 22b, and the second processing circuit 23 includes an abnormality detection unit 23b and a warning unit 23c.

データ付加部２２ｂは、映像送信部２２ａが送信する映像信号に所定の検査用データを付加する。一方、異常検出部２３ｂは、映像受信部２３ａが受信した映像信号に含まれる検査用データに基づいて、映像信号の異常を検出する。具体的には、異常検出部２３ｂは、映像信号に含まれている検査用データが予め定められたものと一致するか否かを判定し、一致しなければ映像信号に異常があると判断する。 The data adding unit 22b adds predetermined inspection data to the video signal transmitted by the video transmitting unit 22a. On the other hand, the abnormality detector 23b detects an abnormality of the video signal based on the inspection data included in the video signal received by the video receiver 23a. Specifically, the abnormality detection unit 23b determines whether or not the inspection data included in the video signal matches a predetermined one, and if not, determines that there is an abnormality in the video signal. .

警告部２３ｃは、異常検出部２３ｂが映像信号の異常を検出した場合に、映像信号に含まれる画像に、異常の発生を示す文字などを含む警告情報を重畳する。これにより、この警告情報は表示画像に含まれた状態で、表示装置２１において表示される。その結果、表示装置２１を視認するユーザに異常の発生が報知される。 When the abnormality detection unit 23b detects an abnormality in the video signal, the warning unit 23c superimposes warning information including characters indicating the occurrence of abnormality on the image included in the video signal. Thus, the warning information is displayed on the display device 21 in a state where it is included in the display image. As a result, the user who views the display device 21 is notified of the occurrence of an abnormality.

データ付加部２２ｂは、映像信号に含まれる画像に対してではなく、連続する画像の相互間など、映像信号のブランキング期間に対応する部分に検査用データを付加する。このブランキング期間を規定する同期信号は、映像信号とともに第１処理回路２２から第２処理回路２３へ送信される。 The data adding unit 22b adds inspection data to a portion corresponding to the blanking period of the video signal, such as between successive images, not to an image included in the video signal. The synchronization signal that defines the blanking period is transmitted from the first processing circuit 22 to the second processing circuit 23 together with the video signal.

図２及び図３は、各種の同期信号と映像信号との関係を示す図である。図２は主に水平同期信号ＨＳと映像信号との関係を示し、図３は主に垂直同期信号ＶＳと映像信号との関係を示している。 2 and 3 are diagrams showing the relationship between various synchronization signals and video signals. FIG. 2 mainly shows the relationship between the horizontal synchronization signal HS and the video signal, and FIG. 3 mainly shows the relationship between the vertical synchronization signal VS and the video signal.

図２に示すように、水平同期信号ＨＳは周期的に”Ｌ”となる信号であり、その周期は映像信号に含まれる画像の一の水平ラインＰＬの周期に対応している。また、ドットクロックＤＣは周期的なパルス信号であり、その周期は水平ラインＰＬの一の画素の周期に対応している。 As shown in FIG. 2, the horizontal synchronizing signal HS is a signal which periodically becomes “L”, and the cycle corresponds to the cycle of one horizontal line PL of the image included in the video signal. The dot clock DC is a periodic pulse signal, and the period corresponds to the period of one pixel of the horizontal line PL.

図に示すように、水平同期信号ＨＳの周期である水平同期間隔ＨＷは、映像信号に水平ラインＰＬが存在する有効期間Ｈｂと、有効期間Ｈｂより前のブランキング期間Ｈａと、有効期間Ｈｂより後のブランキング期間Ｈｃとを合わせた期間となる。 As shown in the figure, the horizontal synchronization interval HW, which is the cycle of the horizontal synchronization signal HS, is based on the effective period Hb in which the horizontal line PL exists in the video signal, the blanking period Ha before the effective period Hb, and the effective period Hb. This is a period combined with the subsequent blanking period Hc.

有効期間Ｈｂは、水平イネーブル信号ＨＥが”Ｈ”の期間である。つまり、水平イネーブル信号ＨＥが”Ｌ”の期間がブランキング期間Ｈａ，Ｈｃとなる。映像信号のブランキング期間Ｈａ，Ｈｃに対応する部分は、連続する水平ラインＰＬの相互間に相当し、画像に係るデータ（水平ラインＰＬ）を含まない。 The effective period Hb is a period in which the horizontal enable signal HE is “H”. That is, the blanking periods Ha and Hc are the periods in which the horizontal enable signal HE is “L”. The portions of the video signal corresponding to the blanking periods Ha and Hc correspond to each other between the continuous horizontal lines PL, and do not include image data (horizontal lines PL).

また、図３に示すように、垂直同期信号ＶＳは周期的に”Ｌ”となる信号であり、その周期は映像信号に含まれる一の画像Ｐの周期に対応している。 Further, as shown in FIG. 3, the vertical synchronization signal VS is a signal that periodically becomes “L”, and the cycle corresponds to the cycle of one image P included in the video signal.

図に示すように、垂直同期信号ＶＳの周期である垂直同期間隔ＶＷは、映像信号に画像Ｐが存在する有効期間Ｖｂと、有効期間Ｖｂより前のブランキング期間Ｖａと、有効期間Ｖｂより後のブランキング期間Ｖｃとを合わせた期間となる。 As shown in the figure, the vertical synchronization interval VW, which is the cycle of the vertical synchronization signal VS, is an effective period Vb in which the image P is present in the video signal, a blanking period Va before the effective period Vb, and after the effective period Vb. And a blanking period Vc.

有効期間Ｖｂは、垂直イネーブル信号ＶＥが”Ｈ”の期間である。つまり、垂直イネーブル信号ＶＥが”Ｌ”の期間がブランキング期間Ｖａ，Ｖｃとなる。映像信号のブランキング期間Ｖａ，Ｖｃに対応する部分は、連続する画像Ｐの相互間に相当し、画像Ｐに係るデータを含まない。 The valid period Vb is a period in which the vertical enable signal VE is “H”. That is, the blanking periods Va and Vc are when the vertical enable signal VE is “L”. The portions corresponding to the blanking periods Va and Vc of the video signal correspond to each other between consecutive images P and do not include data relating to the images P.

このように、映像信号のブランキング期間に対応する部分においては、画像Ｐに係るデータは含まれていない。データ付加部２２ｂは、このような映像信号のブランキング期間に対応する部分に検査用データＴＤを付加する（図３参照。）。これにより、映像信号における画像Ｐとは無関係な位置に検査用データを付加できる。その結果、映像信号に含まれる画像Ｐに影響を与えること無く、映像信号の異常を検出できることになる。 Thus, the data corresponding to the image P is not included in the portion corresponding to the blanking period of the video signal. The data adding unit 22b adds the inspection data TD to a portion corresponding to such a blanking period of the video signal (see FIG. 3). As a result, the inspection data can be added to a position unrelated to the image P in the video signal. As a result, the abnormality of the video signal can be detected without affecting the image P included in the video signal.

＜２．画像表示システムの構成＞
以下、上記で説明した技術を採用する画像表示システムについて具体的に説明する。図４は、本実施の形態に係る画像表示システム１００の構成を示す図である。この画像表示システム１００は、車両に搭載され、当該車両の周辺の様子を示す画像を生成して車室内に表示する機能を有している。以下、車両は自動車であるものとして説明する。 <2. Configuration of image display system>
Hereinafter, an image display system that employs the technique described above will be specifically described. FIG. 4 is a diagram showing a configuration of the image display system 100 according to the present embodiment. The image display system 100 is mounted on a vehicle, and has a function of generating an image showing a state around the vehicle and displaying the image in the passenger compartment. In the following description, the vehicle is assumed to be an automobile.

図４に示すように、画像表示システム１００は、ユーザに対して各種情報を表示する表示装置７と、表示装置７に表示する表示画像を生成する画像処理装置１０と、車両の周辺を撮影する撮影部５とを主に備えている。 As illustrated in FIG. 4, the image display system 100 captures the periphery of the vehicle, the display device 7 that displays various information to the user, the image processing device 10 that generates a display image to be displayed on the display device 7, and It mainly includes a photographing unit 5.

表示装置７は、液晶ディスプレイなどを備えており、画像処理装置１０で生成された車両の周辺の様子を示す各種の表示画像を表示する。表示装置７は、ユーザから視認可能なように車両のインストルメントパネルなどに配置される。 The display device 7 includes a liquid crystal display and the like, and displays various display images showing the state of the periphery of the vehicle generated by the image processing device 10. The display device 7 is arranged on an instrument panel or the like of the vehicle so that it can be visually recognized by the user.

画像処理装置１０は、例えば、画像を生成する機能を有するＥＣＵ（Electronic Control Unit）である。画像処理装置１０は、撮影部５で車両の周辺を撮影して得られる撮影画像に基づいて、表示装置７に表示するための表示画像を生成する。画像処理装置１０は、表示装置７とは異なる車両の所定の位置に配置される。 The image processing apparatus 10 is, for example, an ECU (Electronic Control Unit) having a function of generating an image. The image processing device 10 generates a display image to be displayed on the display device 7 based on a photographed image obtained by photographing the periphery of the vehicle with the photographing unit 5. The image processing device 10 is disposed at a predetermined position on the vehicle different from the display device 7.

撮影部５は、画像処理装置１０に電気的に接続され、画像処理装置１０からの信号に基づいて動作する。撮影部５は、複数の車載カメラ、具体的には、フロントカメラ５１、左サイドカメラ５２、右サイドカメラ５３、及び、バックカメラ５４を備えている。各車載カメラ５１〜５４は、レンズと撮像素子とを備えており電子的に画像を取得する。これら４つの車載カメラ５１〜５４は、車両の前後左右にそれぞれ配置される。 The photographing unit 5 is electrically connected to the image processing apparatus 10 and operates based on a signal from the image processing apparatus 10. The photographing unit 5 includes a plurality of in-vehicle cameras, specifically, a front camera 51, a left side camera 52, a right side camera 53, and a back camera 54. Each of the in-vehicle cameras 51 to 54 includes a lens and an image sensor and electronically acquires an image. These four in-vehicle cameras 51 to 54 are respectively disposed on the front, rear, left and right sides of the vehicle.

図５は、車載カメラ５１〜５４が車両９に配置される位置を示す図である。図５に示すように、フロントカメラ５１は車両９の前端に設けられ、その光軸５１ａは平面視で車両９の前後方向に沿って車両９の前方に向けられている。バックカメラ５４は、車両９の後端に設けられ、その光軸５４ａは平面視で車両９の前後方向に沿って車両９の後方に向けられている。これらフロントカメラ５１やバックカメラ５４の取付位置は、左右中央であることが望ましいが、左右中央から左右方向に多少ずれた位置であってもよい。 FIG. 5 is a diagram illustrating positions where the in-vehicle cameras 51 to 54 are disposed on the vehicle 9. As shown in FIG. 5, the front camera 51 is provided at the front end of the vehicle 9, and its optical axis 51 a is directed forward of the vehicle 9 along the front-rear direction of the vehicle 9 in plan view. The back camera 54 is provided at the rear end of the vehicle 9, and its optical axis 54 a is directed to the rear of the vehicle 9 along the front-rear direction of the vehicle 9 in plan view. The mounting position of the front camera 51 and the back camera 54 is preferably the left and right center, but may be slightly shifted from the left and right center in the left and right direction.

また、左サイドカメラ５２は左側のドアミラー９３に設けられ、その光軸５２ａは平面視で車両９の左右方向に沿って車両９の左側に向けられている。一方、右サイドカメラ５３は右側のドアミラー９３に設けられ、その光軸５３ａは平面視で車両９の左右方向に沿って車両９の右側に向けられている。 The left side camera 52 is provided on the left door mirror 93, and its optical axis 52a is directed to the left side of the vehicle 9 along the left-right direction of the vehicle 9 in plan view. On the other hand, the right side camera 53 is provided on the right door mirror 93, and its optical axis 53a is directed to the right side of the vehicle 9 along the left-right direction of the vehicle 9 in plan view.

これらの車載カメラ５１〜５４のレンズとしては、魚眼レンズや超広角レンズなどが採用されている。このため、各車載カメラ５１〜５４が撮影可能な水平方向の角度θは１８０度以上となっており、４つの車載カメラ５１〜５４を利用することで車両９の全周囲の撮影が可能となっている。 As the lenses of these in-vehicle cameras 51 to 54, fish-eye lenses, super wide-angle lenses, and the like are employed. Therefore, the horizontal angle θ that can be photographed by each of the in-vehicle cameras 51 to 54 is 180 degrees or more, and by using the four in-vehicle cameras 51 to 54, it is possible to capture the entire periphery of the vehicle 9. ing.

図４に戻り、画像処理装置１０は、システム全体を制御する制御部１と、画像処理を実行する画像処理部３と、不揮発性メモリ４０と、信号受信部４３とを主に備えている。 Returning to FIG. 4, the image processing apparatus 10 mainly includes a control unit 1 that controls the entire system, an image processing unit 3 that executes image processing, a nonvolatile memory 40, and a signal receiving unit 43.

制御部１は、ＣＰＵ、ＲＡＭ及びＲＯＭなどを備えたコンピュータである。制御部１の各種の制御機能は、所定のプログラムに従ってＣＰＵが演算処理を行うことで実現される。制御部１は、例えば、画像処理に必要な各種のパラメータなどを画像処理部３に指示する。 The control unit 1 is a computer including a CPU, a RAM, a ROM, and the like. Various control functions of the control unit 1 are realized by the CPU performing arithmetic processing according to a predetermined program. For example, the control unit 1 instructs the image processing unit 3 about various parameters necessary for image processing.

不揮発性メモリ４０は、電源オフ時においても記憶内容を維持可能なフラッシュメモリなどである。不揮発性メモリ４０には、制御部１の機能を実現するプログラム（ファームウェア）や、車体サイズなどの車両９に固有の情報を示す車両データなどが記憶されている。 The nonvolatile memory 40 is a flash memory or the like that can maintain stored contents even when the power is turned off. The nonvolatile memory 40 stores a program (firmware) that realizes the function of the control unit 1, vehicle data indicating information unique to the vehicle 9 such as a vehicle body size, and the like.

信号受信部４３は、車両９に設けられた各種の車載装置から信号を受信する。この信号受信部４３を介して、画像表示システム１００の外部のシフトセンサ８１からの信号が制御部１に入力される。信号受信部４３は、シフトセンサ８１から、車両９の変速装置のシフトレバーの操作の位置、すなわち、”Ｐ（駐車）”，”Ｄ（前進）”，”Ｎ（中立）”，”Ｒ（後退）”などのシフトポジションを示す信号を受信する。 The signal receiving unit 43 receives signals from various in-vehicle devices provided in the vehicle 9. A signal from the shift sensor 81 outside the image display system 100 is input to the control unit 1 via the signal receiving unit 43. The signal receiving unit 43 receives from the shift sensor 81 the operation position of the shift lever of the transmission of the vehicle 9, that is, “P (parking)”, “D (forward)”, “N (neutral)”, “R ( A signal indicating the shift position such as “backward” is received.

画像処理部３は、各種の画像処理を実行する機能を有している。画像処理部３は、撮影部５から撮影画像を取得し、撮影画像を処理して表示装置７に表示するための表示画像を生成する。 The image processing unit 3 has a function of executing various image processes. The image processing unit 3 acquires a captured image from the imaging unit 5, processes the captured image, and generates a display image for display on the display device 7.

図６は、画像処理部３が備える機能を他の構成とともに示す図である。画像処理部３は、画像取得部３１、画像結合回路３２、視点変換回路３３、及び、表示画像生成部３４を備えている。これら画像取得部３１、画像結合回路３２、視点変換回路３３、及び、表示画像生成部３４は同一の基板上に配置される。 FIG. 6 is a diagram illustrating the functions of the image processing unit 3 together with other configurations. The image processing unit 3 includes an image acquisition unit 31, an image combination circuit 32, a viewpoint conversion circuit 33, and a display image generation unit 34. The image acquisition unit 31, the image combination circuit 32, the viewpoint conversion circuit 33, and the display image generation unit 34 are arranged on the same substrate.

画像取得部３１は、撮影部５が備える４つの車載カメラ５１〜５４から撮影画像をそれぞれ取得する。画像取得部３１は、アナログ信号の撮影画像をデジタル信号の撮影画像に変換（Ａ／Ｄ変換）する。画像取得部３１は、４つのデジタル信号の撮影画像を画像結合回路３２に受け渡す。 The image acquisition unit 31 acquires captured images from the four in-vehicle cameras 51 to 54 included in the imaging unit 5. The image acquisition unit 31 converts an analog signal photographed image into a digital signal photographed image (A / D conversion). The image acquisition unit 31 passes the captured images of the four digital signals to the image combination circuit 32.

画像結合回路３２は、ＡＳＩＣなどの集積回路であり、４つの撮影画像を結合して４つの撮影画像の全ての内容を含む一の結合画像を生成する。画像結合回路３２は、生成した結合画像を視点変換回路３３に受け渡す。 The image combining circuit 32 is an integrated circuit such as an ASIC, and combines four captured images to generate one combined image that includes all the contents of the four captured images. The image combining circuit 32 passes the generated combined image to the viewpoint conversion circuit 33.

視点変換回路３３は、ＡＳＩＣなどの集積回路であり、画像結合回路３２で生成された結合画像を用いて任意の仮想視点からみた車両９の周辺の領域を示す任意視点画像を生成する。この任意視点画像を生成する手法については後述する。視点変換回路３３は、生成した任意視点画像を表示画像生成部３４に受け渡す。 The viewpoint conversion circuit 33 is an integrated circuit such as an ASIC, and uses the combined image generated by the image combining circuit 32 to generate an arbitrary viewpoint image indicating a region around the vehicle 9 viewed from an arbitrary virtual viewpoint. A method for generating the arbitrary viewpoint image will be described later. The viewpoint conversion circuit 33 delivers the generated arbitrary viewpoint image to the display image generation unit 34.

表示画像生成部３４は、視点変換回路３３に生成された任意視点画像を含む、表示装置７の表示に用いる表示画像を生成する。そして、表示画像生成部３４は、生成した表示画像を表示装置７に出力する。これにより、任意視点画像を含む表示画像が表示装置７に表示される。 The display image generation unit 34 generates a display image used for display on the display device 7 including the arbitrary viewpoint image generated by the viewpoint conversion circuit 33. Then, the display image generation unit 34 outputs the generated display image to the display device 7. As a result, a display image including an arbitrary viewpoint image is displayed on the display device 7.

＜３．任意視点画像の生成＞
次に、任意の仮想視点からみた車両９の周辺の領域を示す任意視点画像を生成する手法について説明する。図７は、任意視点画像を生成する手法を説明するための図である。 <3. Generation of arbitrary viewpoint images>
Next, a method for generating an arbitrary viewpoint image indicating an area around the vehicle 9 as viewed from an arbitrary virtual viewpoint will be described. FIG. 7 is a diagram for explaining a method of generating an arbitrary viewpoint image.

まず、撮影部５のフロントカメラ５１、左サイドカメラ５２、右サイドカメラ５３及びバックカメラ５４で同時期に撮影が行われる。これにより、車両９の前方、左側方、右側方及び後方をそれぞれ示す４つの撮影画像Ｐ１〜Ｐ４が取得される（ステップＳ１）。これら４つの撮影画像Ｐ１〜Ｐ４には、車両９の全周囲を示す情報が含まれている。取得された４つの撮影画像Ｐ１〜Ｐ４は、画像結合回路３２に受け渡される。 First, photographing is performed at the same time by the front camera 51, the left side camera 52, the right side camera 53, and the back camera 54 of the photographing unit 5. As a result, four captured images P1 to P4 respectively indicating the front side, the left side, the right side, and the rear of the vehicle 9 are acquired (step S1). These four captured images P <b> 1 to P <b> 4 include information indicating the entire periphery of the vehicle 9. The acquired four captured images P <b> 1 to P <b> 4 are transferred to the image combination circuit 32.

次に、画像結合回路３２が、４つの撮影画像Ｐ１〜Ｐ４を結合する結合処理を実行する。これにより、４つの撮影画像Ｐ１〜Ｐ４を縦２×横２に配列して含む結合画像ＵＰが生成される（ステップＳ２）。この結合画像ＵＰは、画像結合回路３２から視点変換回路３３に受け渡される。 Next, the image combining circuit 32 executes a combining process for combining the four captured images P1 to P4. As a result, a combined image UP including the four photographed images P1 to P4 arranged in 2 × 2 is generated (step S2). The combined image UP is transferred from the image combining circuit 32 to the viewpoint conversion circuit 33.

次に、視点変換回路３３が、結合画像ＵＰの各画素を、仮想的な三次元空間における立体曲面ＴＳに投影する（ステップＳ３）。立体曲面ＴＳは、例えば略半球状（お椀形状）をしており、その中心部分（お椀の底部分）が車両９が存在する位置として定められている。結合画像ＵＰに含まれる各画素の位置と、この立体曲面ＴＳの各画素の位置とは予め対応関係が定められている。このため、立体曲面ＴＳの各画素の値は、この対応関係と結合画像ＵＰに含まれる各画素の値とに基づいて決定できる。 Next, the viewpoint conversion circuit 33 projects each pixel of the combined image UP onto the three-dimensional curved surface TS in the virtual three-dimensional space (step S3). The three-dimensional curved surface TS has, for example, a substantially hemispherical shape (a bowl shape), and a center portion (a bottom portion of the bowl) is determined as a position where the vehicle 9 exists. A correspondence relationship is determined in advance between the position of each pixel included in the combined image UP and the position of each pixel of the solid curved surface TS. Therefore, the value of each pixel of the three-dimensional curved surface TS can be determined based on this correspondence and the value of each pixel included in the combined image UP.

結合画像ＵＰの各画素の位置と立体曲面ＴＳの各画素の位置との対応関係は、車両９における４つの車載カメラ５１〜５４の配置（相互間距離、地上高さ、光軸角度等）に依存する。この対応関係を示すテーブルデータは、不揮発性メモリ４０に予め記憶された車両データに含まれている。 The correspondence relationship between the position of each pixel of the combined image UP and the position of each pixel of the three-dimensional curved surface TS is determined by the arrangement of the four in-vehicle cameras 51 to 54 in the vehicle 9 (distance between each other, height above the ground, optical axis angle, etc.). Dependent. The table data indicating the correspondence relationship is included in the vehicle data stored in advance in the nonvolatile memory 40.

また、視点変換回路３３は、この車両データに含まれる車体の形状やサイズを利用し、車両９の三次元形状を示すポリゴンのモデルを仮想的に構成する。この車両９のモデルは、立体曲面ＴＳが設定される三次元空間において、車両９の位置と定められた略半球状の中心部分に配置される。 In addition, the viewpoint conversion circuit 33 virtually constructs a polygon model indicating the three-dimensional shape of the vehicle 9 by using the shape and size of the vehicle body included in the vehicle data. The model of the vehicle 9 is arranged in a substantially hemispherical central portion determined as the position of the vehicle 9 in the three-dimensional space where the three-dimensional curved surface TS is set.

さらに、視点変換回路３３は、立体曲面ＴＳが存在する三次元空間に対して、制御部１からの指示に基づいて仮想視点ＶＰを設定する。仮想視点ＶＰは、視点位置と視野方向とで規定され、この三次元空間における車両９の近傍に相当する任意の視点位置に任意の視野方向に向けて設定される。 Furthermore, the viewpoint conversion circuit 33 sets a virtual viewpoint VP based on an instruction from the control unit 1 in a three-dimensional space where the three-dimensional curved surface TS exists. The virtual viewpoint VP is defined by the viewpoint position and the visual field direction, and is set at an arbitrary viewpoint position corresponding to the vicinity of the vehicle 9 in this three-dimensional space toward an arbitrary visual field direction.

そして、視点変換回路３３は、設定した仮想視点ＶＰに応じて、立体曲面ＴＳにおける必要な領域を画像として切り出す。仮想視点ＶＰと、立体曲面ＴＳにおける必要な領域との関係は予め定められており、テーブルデータとして不揮発性メモリ４０等に予め記憶されている。また、視点変換回路３３は、設定した仮想視点ＶＰに応じてポリゴンのモデルに関してレンダリングを行い、その結果となる二次元の車両９の像を、切り出した画像に対して重畳する。これにより、視点変換回路３３は、車両９及びその車両９の周辺を任意の仮想視点ＶＰからみた様子を示す任意視点画像ＣＰを生成する（ステップＳ４，Ｓ５）。 Then, the viewpoint conversion circuit 33 cuts out a necessary area on the three-dimensional curved surface TS as an image according to the set virtual viewpoint VP. The relationship between the virtual viewpoint VP and a necessary area in the three-dimensional curved surface TS is determined in advance, and is stored in advance in the nonvolatile memory 40 or the like as table data. The viewpoint conversion circuit 33 performs rendering on the polygon model in accordance with the set virtual viewpoint VP, and superimposes the resulting image of the two-dimensional vehicle 9 on the clipped image. Thereby, the viewpoint conversion circuit 33 generates an arbitrary viewpoint image CP that shows the vehicle 9 and the periphery of the vehicle 9 as viewed from an arbitrary virtual viewpoint VP (steps S4 and S5).

例えば、視点位置が車両９の位置の略中央の直上で、視野方向が直下方向とした仮想視点ＶＰａを設定した場合は、視点変換回路３３は、車両９の略直上から車両９を見下ろすように車両９及び車両９の周辺の領域を示す任意視点画像ＣＰａを生成する（ステップＳ４）。また、図中に示すように、視点位置が車両９の位置の左後方で、視野方向が車両９における略前方方向とした仮想視点ＶＰｂを設定した場合は、視点変換回路３３は、車両９の左後方からその周辺全体を見渡すように車両９及び車両９の周辺の領域を示す任意視点画像ＣＰｂを生成する（ステップＳ５）。 For example, when a virtual viewpoint VPa is set in which the viewpoint position is just above the center of the position of the vehicle 9 and the visual field direction is directly below, the viewpoint conversion circuit 33 looks down on the vehicle 9 from approximately above the vehicle 9. An arbitrary viewpoint image CPa indicating the vehicle 9 and a region around the vehicle 9 is generated (step S4). As shown in the figure, when the virtual viewpoint VPb is set in which the viewpoint position is the left rear of the position of the vehicle 9 and the visual field direction is a substantially forward direction in the vehicle 9, the viewpoint conversion circuit 33 An arbitrary viewpoint image CPb indicating the vehicle 9 and a region around the vehicle 9 is generated so as to look around the entire periphery from the left rear (step S5).

画像表示システム１００では、このような画像処理部の機能を利用することで車両９の周辺の任意の仮想視点からみた任意視点画像を生成し、その任意視点画像を含む表示画像を表示装置７で表示することができる。 In the image display system 100, by using such a function of the image processing unit, an arbitrary viewpoint image viewed from an arbitrary virtual viewpoint around the vehicle 9 is generated, and a display image including the arbitrary viewpoint image is displayed on the display device 7. Can be displayed.

＜４．画像表示システムの動作＞
次に、画像表示システム１００の動作の概要について説明する。画像表示システム１００は、所定の周期で任意視点画像を生成し、任意視点画像を含む表示画像を表示装置７で表示する。画像表示システム１００のユーザ（代表的にはドライバ）は、この表示装置７に表示された表示画像を視認することにより、当該車両の周辺の様子をほぼリアルタイムに把握できる。 <4. Operation of image display system>
Next, an outline of the operation of the image display system 100 will be described. The image display system 100 generates an arbitrary viewpoint image at a predetermined cycle and displays a display image including the arbitrary viewpoint image on the display device 7. A user (typically a driver) of the image display system 100 can grasp the state of the periphery of the vehicle almost in real time by visually recognizing the display image displayed on the display device 7.

任意視点画像の仮想視点ＶＰは、シフトセンサ８１から受信したシフトポジションを示す信号に基づいて定められる。例えば、シフトポジションが”Ｐ（駐車）”あるいは”Ｄ（前進）”の場合は、仮想視点ＶＰが車両９の位置の略中央の直上に設定され、車両９の全体を俯瞰するような任意視点画像ＣＰが生成される。一方、シフトポジションが”Ｒ（後退）”の場合は、仮想視点ＶＰが車両９の後方に向けて設定され、車両９が後退する方向の様子を示す任意視点画像ＣＰが生成される。 The virtual viewpoint VP of the arbitrary viewpoint image is determined based on a signal indicating the shift position received from the shift sensor 81. For example, when the shift position is “P (parking)” or “D (forward)”, the virtual viewpoint VP is set just above the center of the position of the vehicle 9, and an arbitrary viewpoint that looks down on the entire vehicle 9. An image CP is generated. On the other hand, when the shift position is “R (reverse)”, the virtual viewpoint VP is set toward the rear of the vehicle 9, and the arbitrary viewpoint image CP showing the state in the direction in which the vehicle 9 moves backward is generated.

＜５．映像信号の異常検出＞
このように任意視点画像ＣＰを生成する際には、前述したように、画像結合回路３２が結合画像ＵＰを生成し、この結合画像ＵＰを用いて視点変換回路３３が任意視点画像ＣＰを生成する。この際、画像結合回路３２は所定の周期で結合画像ＵＰを含む映像信号を送信し、視点変換回路３３がこの映像信号を受信する。 <5. Video signal anomaly detection>
When the arbitrary viewpoint image CP is generated in this way, as described above, the image combining circuit 32 generates the combined image UP, and the viewpoint conversion circuit 33 generates the arbitrary viewpoint image CP using the combined image UP. . At this time, the image combining circuit 32 transmits a video signal including the combined image UP at a predetermined cycle, and the viewpoint conversion circuit 33 receives the video signal.

画像結合回路３２から視点変換回路３３への映像信号の送信は、複数の信号線３９を介して行われる。これら信号線３９のいずれかにおいて断線や短絡などの障害が生じると、映像信号に含まれる結合画像ＵＰに色相や彩度が変わるなどの欠陥が発生する。その結果、結合画像ＵＰを用いて生成される任意視点画像ＣＰ、及び、表示画像においても欠陥が生じることになる。このような欠陥のある表示画像が表示装置７に表示されると、車両９の周辺の様子をユーザが誤って判断し、ユーザが誤った運転を行う可能性がある。 Transmission of the video signal from the image combination circuit 32 to the viewpoint conversion circuit 33 is performed via a plurality of signal lines 39. When a failure such as a disconnection or a short circuit occurs in any of these signal lines 39, a defect such as a change in hue or saturation occurs in the combined image UP included in the video signal. As a result, a defect also occurs in the arbitrary viewpoint image CP generated using the combined image UP and the display image. When such a defective display image is displayed on the display device 7, the user may erroneously determine the state around the vehicle 9, and the user may perform an incorrect driving.

このため、画像表示システム１００では、画像結合回路３２から視点変換回路３３への映像信号の送信における異常を検出するために、図１から図３を用いて説明した技術を採用している。 Therefore, the image display system 100 employs the technique described with reference to FIGS. 1 to 3 in order to detect an abnormality in the transmission of the video signal from the image combination circuit 32 to the viewpoint conversion circuit 33.

図６に示す画像結合回路３２及び視点変換回路３３は、図１に示す第１処理回路２２及び第２処理回路２３にそれぞれ対応する。そして、画像結合回路３２が備える映像送信部３２ａ及びデータ付加部３２ｂは、図１の第１処理回路２２が備える映像送信部２２ａ及びデータ付加部２２ｂにそれぞれ対応する。また、視点変換回路３３が備える映像受信部３３ａ、異常検出部３３ｂ及び警告部３３ｃは、図１の第２処理回路２３が備える映像受信部２３ａ、異常検出部２３ｂ及び警告部２３ｃにそれぞれ対応する。さらに、図６に示す表示画像生成部３４及び表示装置７は、図１に示す表示画像生成部２４及び表示装置２１にそれぞれ対応する。 The image combination circuit 32 and the viewpoint conversion circuit 33 illustrated in FIG. 6 correspond to the first processing circuit 22 and the second processing circuit 23 illustrated in FIG. 1, respectively. The video transmission unit 32a and the data addition unit 32b included in the image combining circuit 32 correspond to the video transmission unit 22a and the data addition unit 22b included in the first processing circuit 22 of FIG. Further, the video reception unit 33a, the abnormality detection unit 33b, and the warning unit 33c included in the viewpoint conversion circuit 33 correspond to the video reception unit 23a, the abnormality detection unit 23b, and the warning unit 23c included in the second processing circuit 23 of FIG. . Furthermore, the display image generation unit 34 and the display device 7 illustrated in FIG. 6 correspond to the display image generation unit 24 and the display device 21 illustrated in FIG. 1, respectively.

図８は、画像結合回路３２の処理の流れを示す図である。画像結合回路３２は、この処理を所定の周期（表示画像の表示周期と同一周期。例えば、１／３０秒）で繰り返す。 FIG. 8 is a diagram illustrating a processing flow of the image combining circuit 32. The image combining circuit 32 repeats this process at a predetermined cycle (the same cycle as the display cycle of the display image, for example, 1/30 seconds).

まず、画像結合回路３２は、画像取得部３１から４つの撮影画像Ｐ１〜Ｐ４を受け取る（ステップＳ１１）。次に、画像結合回路３２は、４つの撮影画像Ｐ１〜Ｐ４を結合して一の結合画像ＵＰを生成する（ステップＳ１２）。 First, the image combination circuit 32 receives four captured images P1 to P4 from the image acquisition unit 31 (step S11). Next, the image combining circuit 32 combines the four captured images P1 to P4 to generate one combined image UP (step S12).

次に、画像結合回路３２の映像送信部３２ａが、この結合画像ＵＰを含む映像信号を視点変換回路３３に向けて送信する。この際、データ付加部３２ｂは、映像送信部３２ａが送信する映像信号のブランキング期間に対応する部分に所定の検査用データを付加する（ステップＳ１３）。 Next, the video transmission unit 32 a of the image combination circuit 32 transmits a video signal including the combined image UP to the viewpoint conversion circuit 33. At this time, the data adding unit 32b adds predetermined inspection data to a portion corresponding to the blanking period of the video signal transmitted by the video transmitting unit 32a (step S13).

図９は、同期信号と映像信号との関係を示す図である。図９においては、垂直同期信号ＶＳを縦方向、水平同期信号ＨＳを横方向に示すことで、映像信号の一周期に含まれる情報全体を２次元の領域（以下、「全体領域」という。）ＳＡとして示している。この全体領域ＳＡのうち、垂直イネーブル信号ＶＥ及び水平イネーブル信号ＨＥの双方が”Ｈ”の期間に対応する領域（以下、「有効領域」という。）ＰＡに、一の結合画像ＵＰが含まれる。 FIG. 9 is a diagram illustrating the relationship between the synchronization signal and the video signal. In FIG. 9, the vertical synchronization signal VS is indicated in the vertical direction and the horizontal synchronization signal HS is indicated in the horizontal direction, so that the entire information included in one period of the video signal is a two-dimensional area (hereinafter referred to as “entire area”). Shown as SA. Of the entire area SA, one combined image UP is included in an area PA (hereinafter referred to as “effective area”) PA corresponding to a period in which both the vertical enable signal VE and the horizontal enable signal HE are “H”.

また、全体領域ＳＡのうち、有効領域ＰＡの外側はブランキング期間に対応する領域（以下、「ブランキング領域」という。）ＢＡである。このブランキング領域ＢＡのいずれかに検査用データＴＤが付加される。すなわち、検査用データＴＤは、映像信号における結合画像ＵＰとは無関係な位置に付加される。なお、図９では、垂直イネーブル信号ＶＥ及び水平イネーブル信号ＨＥの双方が”Ｌ”の期間に対応する領域に検査用データＴＤを付加しているが、ブランキング領域ＢＡのいずれに検査用データＴＤを付加してもよい。 Further, in the entire area SA, the area outside the effective area PA is an area BA (hereinafter referred to as “blanking area”) BA corresponding to the blanking period. The inspection data TD is added to any of the blanking areas BA. That is, the inspection data TD is added at a position unrelated to the combined image UP in the video signal. In FIG. 9, the inspection data TD is added to the area corresponding to the period in which both the vertical enable signal VE and the horizontal enable signal HE are “L”, but the inspection data TD is added to any of the blanking areas BA. May be added.

本実施の形態においても、結合画像ＵＰの各画素の値は例えば２４ビット（Ｒ：８ビット、Ｇ：８ビット、Ｂ：８ビット）で表現される。このため、映像信号は各ビット情報に対応する２４の単位信号を含んでおり、これら２４の単位信号が２４本の信号線３９を介して画像結合回路３２から視点変換回路３３に送信される。データ付加部３２ｂは、この２４の単位信号のそれぞれに検査用データＴＤを付加する。 Also in the present embodiment, the value of each pixel of the combined image UP is expressed by, for example, 24 bits (R: 8 bits, G: 8 bits, B: 8 bits). Therefore, the video signal includes 24 unit signals corresponding to each bit information, and these 24 unit signals are transmitted from the image combination circuit 32 to the viewpoint conversion circuit 33 via the 24 signal lines 39. The data adding unit 32b adds the inspection data TD to each of the 24 unit signals.

図１０は、２４の単位信号のうちのＲに対応する８つの単位信号に付与された検査用データＴＤを示す図である。図に示すように、８つの単位信号Ｒ１〜Ｒ８のそれぞれには所定のタイミングで”Ｈ”となる矩形波がある。この矩形波が検査用データＴＤとなる。このように複数の単位信号それぞれに検査用データＴＤを付加することで、複数の信号線３９のいずれかのみに断線が生じていたとしても、異常を検出することができる。 FIG. 10 is a diagram showing inspection data TD assigned to eight unit signals corresponding to R among 24 unit signals. As shown in the figure, each of the eight unit signals R1 to R8 has a rectangular wave that becomes “H” at a predetermined timing. This rectangular wave becomes inspection data TD. In this way, by adding the inspection data TD to each of the plurality of unit signals, an abnormality can be detected even if only one of the plurality of signal lines 39 is disconnected.

また、図に示すように、検査用データＴＤは、単位信号Ｒ１〜Ｒ８ごとに異なるタイミングで付加されている。すなわち、ドットクロックＤＣの周期ごとに、異なる単位信号Ｒ１〜Ｒ８に検査用データＴＤが表れるようになっている。このように、複数の単位信号ごとに異なるタイミングで検査用データＴＤを付与することで、あるタイミングでは一の単位信号のみに検査用データＴＤが表れることになる。したがって、複数の信号線３９のいずれかの間で短絡が生じていたとしても、異常を検出することができる。 Further, as shown in the figure, the inspection data TD is added at different timings for each of the unit signals R1 to R8. That is, the test data TD appears in different unit signals R1 to R8 for each period of the dot clock DC. In this way, by providing the inspection data TD at different timings for each of the plurality of unit signals, the inspection data TD appears only in one unit signal at a certain timing. Therefore, even if a short circuit occurs between any of the plurality of signal lines 39, an abnormality can be detected.

図１１は、視点変換回路３３の処理の流れを示す図である。視点変換回路３３は、この処理を所定の周期（表示画像の表示周期と同一周期。例えば、１／３０秒）で繰り返す。 FIG. 11 is a diagram illustrating a processing flow of the viewpoint conversion circuit 33. The viewpoint conversion circuit 33 repeats this process at a predetermined cycle (the same cycle as the display cycle of the display image. For example, 1/30 seconds).

まず、映像受信部３３ａが、画像結合回路３２から送信された映像信号を受信する（ステップＳ２１）。次に、視点変換回路３３は、映像受信部３３ａが受信した映像信号に含まれる結合画像ＵＰに基づいて任意視点画像ＣＰを生成する（ステップＳ２２）。 First, the video receiver 33a receives the video signal transmitted from the image combining circuit 32 (step S21). Next, the viewpoint conversion circuit 33 generates an arbitrary viewpoint image CP based on the combined image UP included in the video signal received by the video receiver 33a (step S22).

一方で、視点変換回路３３の異常検出部３３ｂは、映像受信部３３ａが受信した映像信号に含まれる検査用データＴＤに基づいて、映像信号の異常を検出する（ステップＳ２３）。具体的には、異常検出部３３ｂは、映像信号に含まれる複数の単位信号それぞれを参照し、所定のタイミングで検査用データＴＤ（矩形波）が含まれているか否かを判定する。そして、異常検出部３３ｂは、複数の単位信号のいずれかに関して検査用データＴＤが所定のタイミングで含まれていない、あるいは、所定のタイミング以外のタイミングで含まれている場合は、映像信号に異常があると判定する。 On the other hand, the abnormality detection unit 33b of the viewpoint conversion circuit 33 detects an abnormality of the video signal based on the inspection data TD included in the video signal received by the video reception unit 33a (step S23). Specifically, the abnormality detection unit 33b refers to each of the plurality of unit signals included in the video signal and determines whether or not the inspection data TD (rectangular wave) is included at a predetermined timing. Then, the abnormality detection unit 33b detects that the video signal is abnormal when the inspection data TD is not included at a predetermined timing with respect to any of the plurality of unit signals or at a timing other than the predetermined timing. Judge that there is.

異常検出部３３ｂが映像信号を正常と判定した場合は（ステップＳ２３にてＮｏ）、任意視点画像ＣＰはそのまま表示画像生成部２４に受け渡される（ステップＳ２５）。 When the abnormality detection unit 33b determines that the video signal is normal (No in step S23), the arbitrary viewpoint image CP is directly transferred to the display image generation unit 24 (step S25).

一方、異常検出部３３ｂが映像信号を異常と判定した場合は（ステップＳ２３にてＹｅｓ）、任意視点画像ＣＰに異常の発生を示す文字などを含む警告情報を警告部３３ｃが重畳する（ステップＳ２４）。そして、この警告情報が重畳された任意視点画像ＣＰが表示画像生成部２４に受け渡される（ステップＳ２５）。これにより、表示画像生成部２４が生成する表示画像は、警告情報が重畳された任意視点画像ＣＰを含むことになる。 On the other hand, if the abnormality detection unit 33b determines that the video signal is abnormal (Yes in step S23), the warning unit 33c superimposes warning information including characters indicating the occurrence of abnormality on the arbitrary viewpoint image CP (step S24). ). Then, the arbitrary viewpoint image CP on which the warning information is superimposed is transferred to the display image generation unit 24 (step S25). As a result, the display image generated by the display image generation unit 24 includes the arbitrary viewpoint image CP on which the warning information is superimposed.

したがって、図１２に示すように、警告情報ＤＢは表示画像ＤＰに含まれた状態で、表示装置７において表示される。その結果、表示装置７を視認するユーザに異常の発生が報知されることから、ユーザが誤った運転を行うことを防止でき、安全性を維持できる。 Therefore, as shown in FIG. 12, the warning information DB is displayed on the display device 7 in a state where it is included in the display image DP. As a result, since the occurrence of abnormality is notified to the user who visually recognizes the display device 7, it is possible to prevent the user from performing an incorrect driving and maintain safety.

以上説明したように、画像表示システム１００においては、画像結合回路３２のデータ付加部３２ｂが、映像送信部３２ａが送信する映像信号のブランキング期間に対応する部分に所定の検査用データＴＤを付加する。一方で、視点変換回路３３の異常検出部３３ｂが、映像信号に含まれる検査用データＴＤに基づいて、映像信号の異常を検出する。このため、映像信号に含まれる結合画像ＵＰに影響を与えること無く、映像信号の異常を検出できる。したがって、表示装置７に表示される表示画像に影響が及ばないため、車両９の周辺にある動体の動きのスムーズさが失われるなどの違和感をユーザに与えることが無い。その結果、ユーザは車両９の周辺の様子を的確に判断することができる。 As described above, in the image display system 100, the data adding unit 32b of the image combining circuit 32 adds predetermined inspection data TD to the portion corresponding to the blanking period of the video signal transmitted by the video transmitting unit 32a. To do. On the other hand, the abnormality detection unit 33b of the viewpoint conversion circuit 33 detects an abnormality of the video signal based on the inspection data TD included in the video signal. For this reason, the abnormality of the video signal can be detected without affecting the combined image UP included in the video signal. Therefore, since the display image displayed on the display device 7 is not affected, there is no sense of incongruity such as loss of smoothness of movement of moving objects around the vehicle 9. As a result, the user can accurately determine the situation around the vehicle 9.

＜６．変形例＞
以上、本発明の実施の形態について説明してきたが、この発明は上記実施の形態に限定されるものではなく様々な変形が可能である。以下では、このような変形例について説明する。上記実施の形態で説明した形態及び以下で説明する形態を含む全ての形態は、適宜に組み合わせ可能である。 <6. Modification>
Although the embodiments of the present invention have been described above, the present invention is not limited to the above-described embodiments, and various modifications are possible. Below, such a modification is demonstrated. All forms including those described in the above embodiment and those described below can be combined as appropriate.

上記実施の形態では、表示画像に異常の発生を示す警告情報を含めるための警告部は視点変換回路３３（第２処理回路２３）に設けられているが、表示画像生成部３４（２４）に設けられていてもよい。この場合、警告部は、視点変換回路３３（第２処理回路２３）の異常検出部３３ｂ（２３ｂ）から異常が発生したことを示す信号を受信し、この信号に応答して表示画像に直接的に警告情報を含めるようにすればよい。 In the above embodiment, the warning unit for including warning information indicating the occurrence of abnormality in the display image is provided in the viewpoint conversion circuit 33 (second processing circuit 23), but the display image generation unit 34 (24) It may be provided. In this case, the warning unit receives a signal indicating that an abnormality has occurred from the abnormality detection unit 33b (23b) of the viewpoint conversion circuit 33 (second processing circuit 23), and responds directly to the display image in response to this signal. The warning information may be included in.

また、上記実施の形態では、映像信号の異常を検出した場合であっても、車両９の周辺の様子を示す表示画像ＤＰが表示装置７に表示されていた。これに対して、映像信号の異常を検出した場合は、全領域が同一色（例えば、黒）の表示画像を表示装置７に表示して、車両９の周辺の様子を示さないようにしてもよい。また、映像信号の異常を検出した場合は、警告情報を表示せずに、この全領域が同一色の表示画像のみを表示装置７に表示するようにしてもよい。 In the above embodiment, the display image DP showing the state of the periphery of the vehicle 9 is displayed on the display device 7 even when an abnormality of the video signal is detected. On the other hand, when an abnormality in the video signal is detected, a display image in which the entire region is the same color (for example, black) is displayed on the display device 7 so as not to show the surroundings of the vehicle 9. Good. Further, when an abnormality of the video signal is detected, only the display image having the same color in the entire area may be displayed on the display device 7 without displaying the warning information.

また、上記実施の形態では、画像結合回路３２から視点変換回路３３への映像信号を送信する際に図１から図３を用いて説明した技術を採用していたが、他の部位間で映像信号を送信する際にも当該技術を採用してよい。例えば、撮影部５から画像処理部３へ映像信号を送信する場合、視点変換回路３３から表示画像生成部３４へ映像信号を送信する場合、あるいは、表示画像生成部３４から表示装置７へ映像信号を送信する場合などに当該技術を採用できる。 In the above-described embodiment, the technique described with reference to FIGS. 1 to 3 is employed when transmitting a video signal from the image combination circuit 32 to the viewpoint conversion circuit 33. The technique may also be adopted when transmitting a signal. For example, when a video signal is transmitted from the photographing unit 5 to the image processing unit 3, a video signal is transmitted from the viewpoint conversion circuit 33 to the display image generation unit 34, or a video signal is transmitted from the display image generation unit 34 to the display device 7. This technique can be adopted when transmitting the message.

また、上記実施の形態では、車両に搭載される画像表示システム１００について具体的に説明したが、画像処理機能を有する部位間で映像信号を送受信するような画像処理装置であればどのようなものであっても、上記で説明した技術を採用することが可能である。 In the above embodiment, the image display system 100 mounted on the vehicle has been specifically described. However, any image processing apparatus that transmits and receives video signals between parts having an image processing function may be used. Even so, it is possible to employ the technique described above.

７表示装置
１０画像処理装置
３２画像結合回路
３２ａ映像送信部
３２ｂデータ付加部
３３視点変換回路
３３ａ映像受信部
３３ｂ異常検出部
３３ｃ警告部
３４表示画像生成部
ＴＤ検査用データ
ＤＢ警告情報
ＵＰ結合画像
ＤＰ表示画像 7 Display device 10 Image processing device 32 Image combination circuit 32a Video transmission unit 32b Data addition unit 33 View point conversion circuit 33a Video reception unit 33b Abnormality detection unit 33c Warning unit 34 Display image generation unit TD Inspection data DB Warning information UP Combined image DP Display image

Claims

An image processing apparatus for processing an image,
A transmission means for transmitting a video signal;
Receiving means for receiving the video signal transmitted from the transmitting means;
Output means for outputting and displaying a display image based on an image included in the video signal received by the receiving means on a display device;
Adding means for adding inspection data to a portion corresponding to a blanking period of the video signal transmitted by the transmitting means;
Detecting means for detecting an abnormality of the video signal based on the inspection data included in the video signal received by the receiving means;
An image processing apparatus comprising:

The image processing apparatus according to claim 1.
When the detection means detects the abnormality, warning means for including warning information indicating the occurrence of the abnormality in the display image,
An image processing apparatus comprising:

The image processing apparatus according to claim 2,
The transmission means transmits the video signal including an image acquired by a camera that captures the periphery of the vehicle,
The image processing apparatus, wherein the output means outputs and displays the display image on a display device mounted on the vehicle.

The image processing apparatus according to any one of claims 1 to 3,
The transmitting means transmits a plurality of unit signals included in the video signal through a plurality of signal lines, respectively.
The image processing apparatus, wherein the adding means adds the inspection data to each of the plurality of unit signals.

The image processing apparatus according to claim 4.
The image processing apparatus according to claim 1, wherein the adding unit adds the inspection data at a different timing for each of the plurality of unit signals.

An image display system for displaying an image,
An image processing device according to any one of claims 1 to 5,
A display device for displaying a display image output from the image processing device;
An image display system comprising:

An image processing method for processing an image,
(A) transmitting a video signal;
(B) receiving the video signal transmitted in the step (a);
(C) outputting a display image based on the image included in the video signal received in the step (b) to a display device for display;
(D) adding inspection data to a portion corresponding to a blanking period of the video signal transmitted in the step (a);
(E) detecting an abnormality of the video signal based on the inspection data included in the video signal received in the step (b);
An image processing method comprising: