JP2004214970A

JP2004214970A - 画像表示システム、画像表示方法及び画像処理装置

Info

Publication number: JP2004214970A
Application number: JP2002382340A
Authority: JP
Inventors: Kenichi Hatanaka; 健一畑中
Original assignee: Sumitomo Electric Industries Ltd
Current assignee: Sumitomo Electric Industries Ltd
Priority date: 2002-12-27
Filing date: 2002-12-27
Publication date: 2004-07-29

Abstract

【課題】撮像装置から取得する画像のフリーズを検知して報知する画像表示システム、画像表示方法及び画像処理装置を提供する。
【解決手段】カメラから時系列的に連続して取得する画像フレームから、所定の時間間隔で１枚の画像フレーム中の各ブロックのＤＣ成分を抽出する抽出部４０と、抽出された各ブロックのＤＣ成分の総和を算出し、先に取得した画像フレームの各ブロックのＤＣ成分の総和との差分値を算出する差分算出部４１と、算出された差分値に基づき、取得する画像フレームがフリーズしているか否かを判断する判断部４２とを備えた復号用ＣＯＤＥＣ１２が、カメラから取得する画像フレームを復号するとともに、フリーズを検知する。
【選択図】図２

Description

【０００１】
【発明の属する技術分野】
本発明は、車両に取り付けられる撮像装置で撮像された画像データを、車両に搭載される表示装置に表示させる画像表示システム、画像表示方法、及び画像処理装置に関するものである。
【０００２】
【従来の技術】
自動車等の車両の運転を支援する装置として、車載カメラと、車載カメラで撮像した画像が表示される車載表示装置とが用いられている。例えば、車両後方を車載カメラで撮像し、車載表示装置で車両後方を確認しながら車庫入れを行う。また、車両の左右前方又は左右後方等を車載カメラで撮像し、車載表示装置に表示された表示画面を確認しながら進路変更等を行うこともある（例えば、特許文献１参照）。
【０００３】
【特許文献１】
特開２００２−７９８８０号公報
【０００４】
【発明が解決しようとする課題】
車載カメラは、不具合が生じて、車載表示装置に送られる画像が変化せずに固定した状態（以下、フリーズという）になる場合がある。車載カメラがフリーズした場合、車両が移動していても、車載表示装置に表示される画像は変化しないため、運転を支援できない。しかし、このようなフリーズを検出する方法は無く、フリーズの発生を報知する方法もないため、運転者は、カメラがフリーズしたことに気付かずに運転を続けるおそれがあるという問題があった。
【０００５】
本発明は斯かる事情に鑑みてなされたものであり、撮像装置から時系列的に入力される前後の画像データの差分値が、予め設定された閾値よりも小さい場合に、撮像装置から入力される画像データが変化していないと判断することにより、撮像装置から入力される画像データが符号化された画像データであっても、この画像データを一旦復号することなく、車載カメラがフリーズしたか否かを判断することができる画像表示システム、画像表示方法及び画像処理装置を提供することを目的とする。
【０００６】
本発明の他の目的は、撮像装置からの画像データが変化していないと判断した場合、撮像装置から入力される画像データが変化していないことを報知手段により報知することにより、当該撮像装置を利用する運転者に、撮像装置がフリーズしたことを報知することができる画像表示システムを提供することにある。
【０００７】
本発明の更に他の目的は、撮像装置から入力される、符号化により得られる周波数成分で表された画像データ夫々から抽出した一部の周波数成分についての差分値に基づき、撮像装置からの画像データが変化しているか否かを判断することにより、撮像装置から入力される画像データの差分値を算出する演算量が軽減されるとともに、この演算処理に必要なメモリ容量を削減することもできる画像表示システムを提供することにある。
【０００８】
本発明の更に他の目的は、算出手段により算出した、撮像装置からの画像データについての複数の差分値が、予め記憶手段に記憶してある閾値よりも小さい場合に、撮像装置からの画像データが変化していないと判断することにより、複数回の判断処理により、撮像装置から入力される画像データが変化していないことを確実に検知することができる画像表示システムを提供することにある。
【０００９】
本発明の更に他の目的は、撮像装置から時系列的に入力される画像データから、一部の周波数成分を抽出するタイミングを、上述のように算出した差分値が、所定の閾値よりも小さいと判断した場合に、第１の時間間隔から、より長い第２の時間間隔に変更することにより、撮像装置がフリーズしていることを確実に検知することができる画像表示システムを提供することにある。
【００１０】
本発明の更に他の目的は、撮像装置から時系列的に入力される画像データが変化していないと判断した場合に、予め設定された報知用データを送出手段により表示装置へ送出することにより、表示装置に表示された報知用データにて、当該撮像装置により撮像される画像データを表示装置にて確認する運転者に、撮像装置がフリーズしたことを確実に報知することができる画像表示システムを提供することにある。
【００１１】
【課題を解決するための手段】
第１発明に係る画像表示システムは、車両に取り付けられる撮像装置で撮像された画像データを、車両に搭載される表示装置に表示させる画像表示システムにおいて、撮像装置から時系列的に入力される前後の画像データの差分値を算出する算出手段と、予め設定された閾値を記憶する記憶手段と、前記算出手段により算出した差分値、及び前記記憶手段に記憶してある閾値を比較する比較手段と、前記差分値が前記閾値よりも小さい場合、前記画像データが変化していないと判断する判断手段とを備えることを特徴とする。
【００１２】
第２発明に係る画像表示システムは、前記判断手段により、前記画像データが変化していないと判断した場合、撮像装置から入力される画像データが変化していないことを報知する報知手段を備えることを特徴とする。
【００１３】
第３発明に係る画像表示システムは、前記画像データは、符号化により得られる周波数成分で表された画像データであり、前記算出手段は、撮像装置から入力される画像データ夫々から、一部の周波数成分を抽出する抽出手段と、該抽出手段により画像データ夫々から抽出した周波数成分の差分値を算出する手段とを備えることを特徴とする。
【００１４】
第４発明に係る画像表示システムは、前記算出手段は、複数の前記差分値を算出するように構成されており、前記判断手段は、前記複数の差分値が前記閾値よりも小さい場合、前記画像データが変化していないと判断することを特徴とする。
【００１５】
第５発明に係る画像表示システムは、前記抽出手段は、第１の時間間隔を隔てて、一部の周波数成分を抽出しており、前記算出手段により算出した差分値が前記閾値よりも小さい場合、前記第１の時間間隔よりも長い第２の時間間隔を隔てて、一部の周波数成分を抽出することを特徴とする。
【００１６】
第６発明に係る画像表示システムは、前記報知手段は、予め設定された報知用データを前記表示装置へ送出する送出手段を備えることを特徴とする。
【００１７】
第７発明に係る画像表示方法は、車両に取り付けられる撮像装置で撮像された画像データを、記憶部を備えた計算装置により、車両に搭載される表示装置に表示させる画像表示方法において、前記計算装置は、予め設定された閾値を記憶部に記憶しておき、撮像装置から時系列的に入力される前後の画像データの差分値を算出し、算出した前記差分値、及び記憶部に記憶してある閾値を比較し、前記差分値が前記閾値よりも小さい場合、前記画像データが変化していないと判断することを特徴とする。
【００１８】
第８発明に係る画像処理装置は、受け付けた画像データを外部へ伝送する画像処理装置において、外部から時系列的に画像データを受け付ける受付手段と、該受付手段により受け付けた前後の画像データの差分値を算出する算出手段と、予め設定された閾値を記憶する記憶手段と、前記算出手段により算出した差分値、及び前記記憶手段に記憶してある閾値を比較する比較手段と、前記差分値が前記閾値よりも小さい場合、前記画像データが変化していないと判断する判断手段とを備えることを特徴とする。
【００１９】
第１、第７及び第８発明による場合は、撮像装置から時系列的に入力される前後の画像データの差分値を算出手段により算出し、算出された差分値と、予め記憶手段に記憶してある閾値とを比較し、差分値が閾値よりも小さい場合に、撮像装置から入力される画像データが変化していないと判断手段により判断する。
これにより、従来からある車載カメラ及び車載表示装置等により構成される画像表示システムにおける画像表示機構を変更することなく、また、車載カメラから取得する画像データが符号化された画像データであっても、この画像データを一旦復号することなく、車載カメラがフリーズしたか否かを判断することができる。
【００２０】
第２発明による場合は、判断手段により、撮像装置からの画像データが変化していないと判断した場合、撮像装置から入力される画像データが変化していないことを報知手段により報知することにより、当該撮像装置を利用する運転者に、撮像装置がフリーズしたことを報知することができ、運転者は、撮像装置のフリーズによる車両の走行中の危険を回避することができる。
【００２１】
第３発明による場合は、撮像装置から入力される画像データが、符号化により得られる周波数成分で表された画像データであり、撮像装置から入力される複数の画像データ夫々から、抽出手段により一部の周波数成分を抽出し、複数の画像データ夫々から抽出した周波数成分についての差分値を算出手段により算出し、算出した差分値に基づき、撮像装置からの画像データが変化しているか否かを判断する。これにより、撮像装置から入力される画像データの差分値を算出する演算量が軽減されるとともに、この演算処理に必要なメモリ容量を削減することもできる。
【００２２】
第４発明による場合は、複数の前記差分値を算出するように構成されている算出手段により算出した、撮像装置からの画像データについての複数の差分値が、予め記憶手段に記憶してある閾値よりも小さい場合に、撮像装置からの画像データが変化していないと判断する。このように、複数回の判断処理により、撮像装置から入力される画像データが変化していないことを確実に検知することができる。
【００２３】
第５発明による場合は、撮像装置から時系列的に入力される画像データから、抽出手段により一部の周波数成分を抽出するタイミングを、上述のように算出した差分値が、所定の閾値よりも小さいと判断した場合に、第１の時間間隔から、より長い第２の時間間隔に変更し、第２の時間間隔を隔てて、抽出手段により抽出した一部の周波数成分についての差分値に基づき、撮像装置がフリーズしているか否かを判断することにより、撮像装置がフリーズしていることを確実に検知することができる。
【００２４】
第６発明による場合は、撮像装置から時系列的に入力される画像データが変化していないと判断した場合に、予め設定された報知用データを送出手段により表示装置へ送出することにより、この報知用データを表示装置にて表示させることができ、当該撮像装置により撮像される画像データを表示装置にて確認する運転者に、撮像装置がフリーズしたことを確実に報知することができる。
【００２５】
【発明の実施の形態】
以下、本発明をその実施の形態を示す図面に基づいて具体的に説明する。尚、本実施の形態では、カメラ（撮像装置）と、カメラで撮像された画像を表示する表示装置とを搭載した自動車（車両）を例にして説明する。また、画像は、例えば１秒当たり３０枚の画像フレーム（画像データ）で構成されている。
【００２６】
図１は本発明に係る画像表示システムの構成例を示すブロック図であり、本発明に係る画像表示システム１００は、撮像して画像フレームを取り込むカメラ（撮像装置）２と、液晶ディスプレイ又はＣＲＴ（Ｃａｔｈｏｄｅ−ＲａｙＴｕｄｅ）ディスプレイ等の表示装置３と、カメラ２により取り込まれた画像フレームを、時系列的に順次取得し、所定の処理を施した後、表示装置３へ送出する画像処理装置１とを備えている。
【００２７】
画像処理装置１、カメラ２、及び表示装置３は、専用の配線で接続したり、車載ＬＡＮ（ＬｏｃａｌＡｒｅａＮｅｔｗｏｒｋ）を介して接続することが可能であり、本実施の形態においては、画像処理装置１とカメラ２とは、ＩＥＥＥ（ＩｎｓｔｉｔｕｔｅｏｆＥｌｅｃｔｒｉｃａｌａｎｄＥｌｅｃｔｒｏｎｉｃＥｎｇｉｎｅｅｒｓ）１３９４に準拠した車載ＬＡＮを介して、画像処理装置１と表示装置３とは、専用線を介して接続されている。
【００２８】
カメラ２は、ＣＣＤ（ＣｈａｒｇｅＣｏｕｐｌｅＤｅｖｉｃｅ）等を備えた撮像部２０と、外部からの光を撮像部２０により取得して得られたＲＧＢ（Ｒ：赤，Ｇ：緑，Ｂ：青）表色系のアナログ信号を、デジタル信号に変換するＡ／Ｄ変換器２１と、Ａ／Ｄ変換器２１により変換されたＲＧＢ表色系のデジタル信号を、例えば、ＬＣＣ（Ｌ：輝度成分，ＣＣ：色成分）色空間等の標準色空間のデジタル信号に変換する色変換部２２と、色変換部２２により変換されたＬＣＣ色空間のデジタル信号を所定の処理にて符号化する符号化用ＣＯＤＥＣ２３と、ＩＥＥＥ１３９４に準拠したデータ伝送を行うための通信インタフェース２４等とを備えている。
【００２９】
カメラ２により撮像される映像は、リアルタイム性が高く、符号化用ＣＯＤＥＣ２３による符号化処理にて圧縮することにより、画像処理装置１へ伝送される画像フレームのデータ量を削減し、車載ＬＡＮを介した伝送速度を向上させている。
また、符号化用ＣＯＤＥＣ２３には、ＲＡＭにより構成されるフレームメモリ２５が接続されており、色変換部２２から順次取得し、所定の処理を施すことにより生成される符号化データを、フレームメモリ２５に蓄積していき、画像フレーム１枚分の符号化データを記憶する。尚、上述したハードウェア各部は、図示しないマイクロコンピュータ（以下、マイコンという）により制御されている。
【００３０】
上述した構成のカメラ２は、所定のタイミングで撮像部２０により画像フレームを取り込んでおり、取り込まれた画像フレームは、Ａ／Ｄ変換器２１、色変換部２２及び符号化用ＣＯＤＥＣ２３により順に所定の処理を施され、１枚分の画像フレームが生成される毎に、通信インタフェース２４を介して画像処理装置１に入力される。
【００３１】
画像処理装置１は、マイコン１０と、ＩＥＥＥ１３９４に準拠したデータ伝送を行うための通信インタフェース１１と、通信インタフェース１１を介してカメラ２から受信した画像フレームである符号化データを復号する復号用ＣＯＤＥＣ１２と、復号用ＣＯＤＥＣ１２により復号された画像フレームに所定の処理を行う画像処理部１４と、画像処理部１４により各種処理を施された画像フレームを表示装置３に送出するためのモニタインタフェース１７と、フレームメモリ１３，１５と、ＲＯＭ１６等とを備えている。
【００３２】
マイコン１０は、時計手段（図示せず）を備えており、タイミングを計時しながら、上述したハードウェア各部を制御するとともに、ＲＯＭ１６に記憶してある画像処理装置１の動作としてのコンピュータプログラムを順次実行する。
ＲＯＭ１６には、画像処理装置１の各種動作に必要な種々のコンピュータプログラムが記憶されている。
【００３３】
復号用ＣＯＤＥＣ１２には、ＲＡＭにより構成されるフレームメモリ１３が接続されており、通信インタフェース１１を介してカメラ２から受信し、復号用ＣＯＤＥＣ１２により順次復号されて生成される画像データを、フレームメモリ１３に蓄積していき、１枚分の画像フレームを記憶する。
フレームメモリ１３には、復号用ＣＯＤＥＣ１２が動作する際に発生するデータを一時的に記憶し、また、後述するように、復号用ＣＯＤＥＣ１２がカメラ２のフリーズを検知する際に用いる所定の閾値を予め記憶している。
【００３４】
画像処理部１４には、フレームメモリ１５及びＲＯＭ１６が接続されており、復号用ＣＯＤＥＣ１２から１枚分の画像フレームが入力され、画像処理部１４により所定の各処理を施された画像データは、フレームメモリ１５に記憶される。尚、本実施の形態の画像処理装置１において、復号用ＣＯＤＥＣ１２は、カメラ２から取得した符号化された画像フレームを復号するとともに、この符号化データに基づき、カメラ２に不具合が生じてフリーズしているか否かを判断しており、ＲＯＭ１６には、復号用ＣＯＤＥＣ１２がフリーズを検知した場合に、表示装置３に送出する報知画面データ（報知用データ）を記憶してある。
【００３５】
具体的には、カメラ２に不具合が生じ、フリーズした場合、画像処理装置１がカメラ２から時系列的に連続して受信する画像フレームが、略同一の画像フレームとなり、連続する画像フレームにおける変化量が非常に少なくなる。
従って、復号用ＣＯＤＥＣ１２は、通信インタフェース１１を介して取得する符号化データである画像フレームの変化量を算出し、算出した変化量に基づき、フリーズを検知している。
【００３６】
表示装置３は、画像処理装置１により復号された画像フレームを受信するインタフェース３０と、インタフェース３０を介して受信したＬＣＣ色空間の画像フレームを、ＲＧＢ表色系の画像フレームに変換する色変換部３１と、色変換部３１により変換された画像フレームを表示するディスプレイ３２とを備えている。
【００３７】
以下に、図１中の符号化用ＣＯＤＥＣ２３及び復号用ＣＯＤＥＣ１２の構成について説明する。尚、本実施の形態では、カメラ２及び画像処理装置１に、符号化用ＣＯＤＥＣ２３及び復号用ＣＯＤＥＣ１２を夫々備え、撮像部２０にて撮像した画像フレームを符号化して伝送することにより、車載ＬＡＮを介して伝送される画像フレームのデータ量を削減しており、車載ＬＡＮを介したデータ伝送における負荷を軽減している。
【００３８】
図２（ａ）は符号化用ＣＯＤＥＣ２３の内部構成を示すブロック図、図２（ｂ）は復号用ＣＯＤＥＣ１２の内部構成を示すブロック図である。
カメラ２が備える符号化用ＣＯＤＥＣ２３は、色変換部２２により生成されたＬＣＣ色空間のデジタル信号を、周波数成分に変換する直交系列変換部２３ａと、直交系列変換部２３ａにより変換して得られた周波数成分で表された画像フレームを量子化する量子化部２３ｂと、量子化部２３ｂにより量子化された画像フレームを符号化する符号化部２３ｃとを備えている。
【００３９】
直交系列変換部２３ａは、例えば、処理対象であるＬＣＣ色空間のデジタル信号を８×８画素からなるブロック単位で処理することとし、入力されたデジタル信号が示す画像フレームを８×８画素からなるブロックに分割し、ブロック単位で直交系列変換処理として例えばＤＣＴ（ＤｉｓｃｒｅｔｅＣｏｓｉｎｅＴｒａｎｓｆｏｒｍ）を実行し、６４個のＤＣＴ係数からなるＤＣＴ係数パターンを取得する。
【００４０】
図３は直交系列変換処理を説明するための図であり、図３（ａ）は、色変換部２２から取得する画像フレームに含まれる輝度成分の例を示す図であり、図中の格子夫々は、画像フレーム中の各画素を示している。
色変換部２２から取得する画像フレームは、図３（ａ）に示すように、図中ｘを水平方向とし、図中ｙを垂直方向とした輝度成分及び色成分夫々の画像フレームにより構成されており、直交系列変換部２３ａは、輝度成分及び色成分夫々について、直交系列変換処理を行い、夫々についてのＤＣＴ係数パターンを取得する。
【００４１】
また、図３（ｂ）は、輝度成分及び色成分夫々について、直交系列変換処理を行った結果の例を示す図であり、図中ｕ，ｖは、夫々周波数成分を示している。図３（ｂ）に示すように、上述のＤＣＴを行うことにより得られるＤＣＴ係数パターンに含まれるＤＣＴ係数Ｘ（ｕ，ｖ）には、低周波成分であるＤＣ（ＤｉｒｅｃｔＣｕｒｒｅｎｔ）成分と、ＤＣ成分以外のＡＣ（ＡｌｔｅｒｎａｔｅＣｕｒｒｅｎｔ）成分とが含まれており、各ＤＣＴ係数パターンについて、ＤＣ成分＝Ｘ（０，０），ＡＣ成分≠Ｘ（０，０）とする。
【００４２】
量子化部２３ｂは、直交系列変換部２３ａにより、１枚分の画像フレームに含まれる各ブロックのＤＣＴ係数パターンを取得した場合、ＤＣＴ係数パターン毎に、量子化処理を行う。
尚、本実施の形態では、８×８画素のブロックにより符号化処理を行っているため、量子化部２３ｂは、各ＤＣＴ係数パターンにおけるＤＣ成分については、８で除算した商を量子化値とし、また、ＡＣ成分については、予めＲＯＭ（図示せず）に設定された量子化テーブルに基づく量子化処理を行う。
【００４３】
次に、符号化部２３ｃは、量子化部２３ｂにより量子化処理を施された周波数成分の画像フレームについて、各ＤＣＴ係数パターン毎に、例えば、ジグザグスキャンしながらランレングス符号化処理等の可逆符号化処理を実行する。
図４はジグザグスキャンの順序を示す図であり、図４に示す番号の順序でＤＣＴ係数パターンを走査しながら順次ランレングス符号化処理を行うことにより生成される符号化データは、順次符号化用ＣＯＤＥＣ２３に接続されたフレームメモリ２５に記憶され、１枚分の画像フレームに対する符号化処理が終了した場合に、通信インタフェース２４を介して画像処理装置１に送信される。
【００４４】
尚、画像処理装置１が受信する圧縮された符号化データには、符号化用ＣＯＤＥＣ２３による各処理の実行時に用いた量子化テーブル等の各テーブルも含まれており、画像処理装置１の復号用ＣＯＤＥＣ１２は、取得した符号化データを、該符号化データとともに取得した各テーブルに基づき復号することになる。
【００４５】
画像処理装置１が備える図２（ｂ）の復号用ＣＯＤＥＣ１２は、上述したような、符号化用ＣＯＤＥＣ２３が備える直行系列変換部２３ａ，量子化部２３ｂ及び符号化部２３ｃ夫々の逆の処理を行うために、復号部１２ｃと、逆量子化部１２ｂと、直交系列逆変換部１２ａとを備えている。
また、復号用ＣＯＤＥＣ１２は、カメラ２のフリーズを検知するために、抽出部（抽出手段）４０，差分算出部（算出手段）４１、及び判断部（比較手段，判断手段）４２を更に備えている。
【００４６】
上述した復号部１２ｃ，逆量子化部１２ｂ，及び直交系列逆変換部１２ａにおいて、まず、復号部１２ｃにより、カメラ２から受信した符号化データに含まれる、該符号化データを生成する際に用いたテーブルに基づき、受信した符号化データを復号する。
また、復号された画像フレームを、逆量子化部１２ｂにより、カメラ２から受信した量子化テーブルに基づく逆量子化処理を行い、更に、直交系列逆変換部１２ａにより逆ＤＣＴを実行することにより復号し、元の画像フレームを取得することができる。
【００４７】
尚、符号化用ＣＯＤＥＣ１２において、量子化部２３ｂにより量子化処理を行われているため、復号部１２ｃ，逆量子化部１２ｂ，及び直交系列逆変換部１２ａによる復号処理によっては、完全には、カメラ２により撮像された画像フレームへの復号は不可能であるが、画質を劣化させる程の影響はない。
【００４８】
また、抽出部４０は、通信インタフェース１１を介して順次取得した符号化データから、マイコン１０の制御による所定のタイミングで、前記符号化データを抽出し、更に、抽出した符号化データに含まれる輝度成分についてのＤＣＴ係数パターンにおける一部の周波数成分としてのＤＣ成分を抽出して、差分算出部４１に入力する。
ここで、通信インタフェース１１を介して取得する符号化データは、上述したように、直交変換処理、量子化処理及び符号化処理を施されているが、直交変換処理により生成されるＤＣ成分については、量子化処理として、８での除算が施されただけであり、また、符号化処理によっては、データ圧縮の対象とはならず、取得した符号化データから抽出したＤＣ成分に対応する量子化値に８を乗算することにより、ＤＣ成分を容易に抽出することができる。
【００４９】
カメラ２がフリーズした場合、画像処理装置１が、カメラ２から時系列的に連続して受信する画像フレームは変化しないこととなり、画像処理装置１は、順次受信する画像フレームの変化量を算出し、算出した変化量に基づき、フリーズを検知する。
尚、本実施の形態の画像処理装置１においては、カメラ２から受信する画像フレーム中のＤＣ成分に基づきフリーズを検知する構成を有しているが、ＤＣ成分に限られず、異なる周波数成分に基づくフリーズ検知処理を実行することも可能である。
【００５０】
上述したように、通信インタフェース１１を介して取得した画像フレームから、抽出部４０により抽出した各ブロックのＤＣ成分は、差分算出部４１に順次入力され、順次入力されるＤＣ成分は、差分算出部４１により加算され、１枚分の画像フレーム中の各ブロックのＤＣ成分の総和が算出される。
また、差分算出部４１は、算出した１枚分の画像フレーム中のＤＣ成分の総和を記憶しておき、次に取得する１枚分の画像フレーム中のＤＣ成分の総和を算出し、これらの連続する画像フレーム中のＤＣ成分の総和の差分値を算出し、算出した差分値を判断部４２に入力する。
【００５１】
判断部４２は、差分算出部４１から入力された差分値と、予めフレームメモリ１３に記憶してある閾値とを比較する比較手段として動作しており、差分値が前記閾値よりも小さい場合、カメラ２から時系列的に連続する画像フレームの変化量が非常に少なく、フリーズしていると判断することができる。
【００５２】
上述した構成を有する本実施の形態の画像処理装置１において、マイコン１０は、自身が備える時計手段により所定のタイミングを計りながら、ハードウェア各部を制御しており、カメラ２のフリーズ検出処理として、復号用ＣＯＤＥＣ１２の抽出部４０に、通信インタフェース１１を介して順次取得する画像フレームから、所定の第１の時間間隔毎に、１枚の画像フレームを抽出させる。
【００５３】
また、復号用ＣＯＤＥＣ１２は、抽出部４０により、上述のように所定の第１の時間間隔毎に抽出した画像フレームから、該画像フレーム中の各ブロックのＤＣ成分を抽出させ、抽出したＤＣ成分に基づき算出した、第１の時間間隔で連続する画像フレームの変化量により、フリーズしたか否かを判断している。
【００５４】
上述のように、第１の時間間隔で連続する画像フレームの変化量により、カメラ２がフリーズしたと判断した場合、マイコン１０は、第１の時間間隔よりも長い第２の時間間隔後に、復号用ＣＯＤＥＣ１２の抽出部４０に、通信インタフェース１１を介して取得する画像フレームの各ブロックのＤＣ成分を抽出させ、抽出したＤＣ成分に基づき、第２の時間間隔で連続する画像フレームの変化量を算出し、算出した変化量に基づき、フリーズしたか否かを判断しており、フリーズの誤検知を確実に防止している。
【００５５】
上述のようにカメラ２のフリーズを検知した判断部４２は、マイコン１０に、フリーズが発生したことを通知する。
また、フリーズの発生を通知されたマイコン１０は、画像処理部１４を報知手段として動作させ、ＲＯＭ１６に記憶してある報知画面データを、モニタインタフェース１７を介して表示装置３に送出させることにより、「フリーズしています」等のように、フリーズの発生を報知する報知画面を表示装置３に表示させることができ、表示装置３を利用する運転者に、カメラ２がフリーズしていることを報知することができる。
【００５６】
以下に、上述した構成の画像表示システム１００において、画像処理装置１による画像表示方法に係るカメラ２のフリーズ検知処理について説明する。図５は本発明に係る画像表示システム１００におけるフリーズ検知処理手順を示すフローチャートである。
【００５７】
画像処理装置１において、マイコン１０は、自身が備える時計手段により所定の第１の時間が経過するか否かを判断しており（Ｓ１）、第１の時間が経過していない場合（Ｓ１：ＮＯ）、第１の時間が経過するまで待機しており、第１の時間が経過したと判断した場合（Ｓ１：ＹＥＳ）、復号用ＣＯＤＥＣ１２の抽出部４０に、通信インタフェース１１を介して、カメラ２から順次取得する画像フレームから、１枚の画像フレームを抽出させ、更に、この画像フレーム中の各ブロックのＤＣ成分を抽出させ（Ｓ２）、抽出されたＤＣ成分を差分算出部４１に入力させる。
【００５８】
次にマイコン１０は、差分算出部４１により、抽出部４０から順次入力される１枚の画像フレーム中の各ブロックのＤＣ成分の総和を算出させ（Ｓ３）、記憶させておき、算出したＤＣ成分の総和と、先に算出してある、時系列に連続する１枚の画像フレームの各ブロックのＤＣ成分の総和との差分値を算出させる（Ｓ４）。
また、マイコン１０は、上述のように算出した第１の時間間隔で連続する画像フレームの差分値を判断部４２に入力し、判断部４２は、取得した差分値と、予めフレームメモリ１３に記憶してある閾値とを比較し、差分値が、前記閾値よりも小さいか否かを判断する（Ｓ５）。
【００５９】
算出した差分値が前記閾値よりも大きい場合（Ｓ５：ＮＯ）、判断部４２は、カメラ２からの画像フレームはフリーズしていないと判断してマイコン１０に通知する。
フリーズしていないことを通知されたマイコン１０は、ステップＳ１の処理に戻り、第１の時間間隔毎に、連続する画像フレームの差分値を順次算出する。
【００６０】
ステップＳ５において、算出した差分値が所定の閾値よりも小さい場合（Ｓ５：ＹＥＳ）、判断部４２は、カメラ２に不具合が発生し、フリーズしているおそれがあると判断し、マイコン１０に通知する。
フリーズしているおそれがあると通知されたマイコン１０は、自身の時計手段により、第１の時間間隔よりも長い第２の時間が経過したか否かを判断する（Ｓ６）。
【００６１】
第２の時間が経過していない場合（Ｓ６：ＮＯ）、マイコン１０は、第２の時間が経過するまで待機しており、第２の時間が経過したと判断した場合（Ｓ６：ＹＥＳ）、抽出部４０に、カメラ２から取得した画像フレームを抽出させ、抽出した画像フレームから、各ブロックのＤＣ成分を抽出させて（Ｓ７）、差分算出部４１により、各ＤＣ成分の総和を算出させる（Ｓ８）。
更に、マイコン１０は、差分算出部４１に、算出したＤＣ成分の総和と、先に算出してある画像フレームの各ブロックのＤＣ成分の総和との差分値を算出させる（Ｓ９）。
【００６２】
上述のように算出された第２の時間間隔で連続する画像フレームの差分値は、判断部４２に入力され、判断部４２は、取得した差分値と、予め設定された閾値とを比較して、前記差分値が、前記閾値よりも小さいか否かを判断する（Ｓ１０）。
【００６３】
算出した差分値が所定の閾値よりも大きい場合（Ｓ１０：ＮＯ）、判断部４２は、カメラ２からの画像フレームはフリーズしていないと判断してマイコン１０に通知する。
フリーズしていないと通知されたマイコン１０は、ステップＳ１の処理に戻り、再度、第１の時間間隔毎に連続する画像フレームの差分値の算出処理を繰り返す。
【００６４】
ステップＳ１０において、算出した差分値が所定の閾値よりも小さい場合（Ｓ１０：ＹＥＳ）、判断部４２は、カメラ２に不具合が確実に発生しており、フリーズしていると判断し、マイコン１０に通知する。
フリーズしていると通知されたマイコン１０は、画像処理装置１４に、ＲＯＭ１６に記憶してある報知画面データを、モニタインタフェース１７を介して表示装置３へ送出させる（Ｓ１１）。
【００６５】
これにより、表示装置３が、画像処理装置１から受信した報知画面データをディスプレイ３２に表示することができ、ディスプレイ３２を参照している車両の運転者に、ディスプレイ３２に表示されている画像フレームがフリーズしていることを報知することができる。
尚、ディスプレイ３２に報知画面を表示させることにより、車両の運転者に、カメラ２のフリーズを報知する構成に限られず、警告音を発する等の構成を備えることも可能である。
【００６６】
上述したように、本発明の画像処理装置１は、カメラ２から取得した符号化された画像フレームに基づき、フリーズを検知する構成をなしており、符号化された画像フレームを一旦復号する必要がないため、既存の画像表示機構を変更する必要がなく、また単純で安価な回路構成により、フリーズ検知処理を実現することができる。
【００６７】
尚、上述した実施の形態では、画像処理装置１の復号用ＣＯＤＥＣ１２が、カメラ２から取得した符号化データの復号処理を行うとともに、抽出部５０，差分算出部５１、及び判断部５２によりフリーズの検知処理も実行する構成について説明しているが、符号化データに基づく検知処理であるため、抽出部５０，差分算出部５１、及び判断部５２を、通信インタフェース１１に組み込むことも可能であり、上述した画像処理装置１を表示装置３に内蔵した構成でもよい。
【００６８】
上述したフリーズ検知処理は、ＤＣＴを利用した圧縮処理を施された画像フレームに適用することが可能であり、例えば、ＤＶＩ（ＤｉｇｉｔａｌＶｉｄｅｏＩｎｔｅｒａｃｔｉｖｅ）及びモーションＪＰＥＧ（ＪｏｉｎｔＰｈｏｔｏｇｒａｐｈｉｃＥｘｐｅｒｔＧｒｏｕｐ）により圧縮された画像フレームや、ＭＰＥＧ（ＭｏｖｉｎｇＰｉｃｔｕｒｅＥｘｐｅｒｔＧｒｏｕｐ）により生成されたＩフレームに対して、適用が可能である。
【００６９】
また、フリーズしているか否かの判断は、第１の時間間隔で連続する画像フレームと、第２の時間間隔で連続する画像フレームとにより行っているが、同一の時間間隔で連続する画像フレームにおける差分値が、複数回、所定閾値よりも小さくなった場合に、フリーズしていると判断する構成としてもよい。
更に、連続する画像フレームに含まれる各ブロックのＤＣ成分の総和を比較することによる差分値に基づき、フリーズを検知しているが、連続する画像フレーム全体に対して、各ブロックにおけるＤＣ成分の差分値を算出する構成としてもよい。
【００７０】
また、フリーズを検知した場合には、表示装置３に報知画面データを表示するだけでなく、車載ＬＡＮにおけるバスリセットの実行、表示装置３のリセットの実行、又は画像表示システムを構成する各装置の電源をオフにする等の各処理を行うことにより、フリーズ状態を回避することもできる。
【００７１】
【発明の効果】
第１、第７及び第８発明による場合は、算出手段により算出された、撮像装置から時系列的に入力される前後の画像データの差分値と、予め記憶手段に記憶してある閾値とを比較し、差分値が閾値よりも小さい場合に、撮像装置から入力される画像データが変化していないと判断手段により判断することにより、従来からある車載カメラ及び車載表示装置等により構成される画像表示システムにおける画像表示機構を変更することなく、また、車載カメラから取得する画像データが符号化された画像データであっても、この画像データを一旦復号することなく、車載カメラがフリーズしたか否かを判断することができる。
【００７２】
第２発明による場合は、撮像装置からの画像データが変化していないと判断した場合、撮像装置から入力される画像データが変化していないことを報知手段により報知することにより、当該撮像装置を利用する運転者に、撮像装置がフリーズしたことを報知することができ、運転者は、撮像装置のフリーズによる車両の走行中の危険を回避することができる。
【００７３】
第３発明による場合は、撮像装置から入力される、符号化により得られる周波数成分で表された複数の画像データ夫々から、抽出手段により一部の周波数成分を抽出し、複数の画像データ夫々から抽出した周波数成分についての差分値に基づき、撮像装置からの画像データが変化しているか否かを判断することにより、撮像装置から入力される画像データの差分値を算出する演算量が軽減されるとともに、この演算処理に必要なメモリ容量を削減することもできる。
【００７４】
第４発明による場合は、複数の前記差分値を算出するように構成されている算出手段により算出した、撮像装置からの画像データについての複数の差分値が、予め記憶手段に記憶してある閾値よりも小さい場合に、撮像装置からの画像データが変化していないと判断することにより、複数回の判断処理によって、撮像装置から入力される画像データが変化していないことを確実に検知することができる。
【００７５】
第５発明による場合は、抽出手段が、撮像装置から時系列的に入力される画像データから、一部の周波数成分を抽出するタイミングを、上述のように算出した差分値が、所定の閾値よりも小さいと判断した場合に、第１の時間間隔から、より長い第２の時間間隔に変更し、第２の時間間隔を隔てて、抽出手段により抽出した一部の周波数成分についての差分値に基づき、撮像装置がフリーズしているか否かを判断することにより、撮像装置がフリーズしていることを確実に検知することができる。
【００７６】
第６発明による場合は、撮像装置から時系列的に入力される画像データが変化していないと判断した場合に、予め設定された報知用データを送出手段により表示装置へ送出することにより、この報知用データを表示装置にて表示させることができ、当該撮像装置により撮像される画像データを表示装置にて確認する運転者に、撮像装置がフリーズしたことを確実に報知することができる。
【図面の簡単な説明】
【図１】本発明に係る画像表示システムの構成例を示すブロック図である。
【図２】（ａ）は符号化用ＣＯＤＥＣの内部構成を示すブロック図であり、（ｂ）は復号用ＣＯＤＥＣの内部構成を示すブロック図である。
【図３】（ａ）は画像フレームに含まれる輝度成分の例を示す図であり、（ｂ）は直交系列変換処理を行った結果の例を示す図である。
【図４】ジグザグスキャンの順序を示す図である。
【図５】本発明に係る画像表示システムにおけるフリーズ検知処理手順を示すフローチャートである。
【符号の説明】
１００画像表示システム
１画像処理装置
１０マイクロコンピュータ
１２復号用ＣＯＤＥＣ
４０抽出部（抽出手段）
４１差分算出部（算出手段）
４２判断部（比較手段，判断手段）
２カメラ（撮像装置）
２３符号化用ＣＯＤＥＣ
３表示装置

Claims

車両に取り付けられる撮像装置で撮像された画像データを、車両に搭載される表示装置に表示させる画像表示システムにおいて、
撮像装置から時系列的に入力される前後の画像データの差分値を算出する算出手段と、
予め設定された閾値を記憶する記憶手段と、
前記算出手段により算出した差分値、及び前記記憶手段に記憶してある閾値を比較する比較手段と、
前記差分値が前記閾値よりも小さい場合、前記画像データが変化していないと判断する判断手段とを備えることを特徴とする画像表示システム。
前記判断手段により、前記画像データが変化していないと判断した場合、撮像装置から入力される画像データが変化していないことを報知する報知手段を備える請求項１に記載の画像表示システム。
前記画像データは、符号化により得られる周波数成分で表された画像データであり、
前記算出手段は、
撮像装置から入力される画像データ夫々から、一部の周波数成分を抽出する抽出手段と、
該抽出手段により画像データ夫々から抽出した周波数成分の差分値を算出する手段とを備える請求項１又は２に記載の画像表示システム。
前記算出手段は、複数の前記差分値を算出するように構成されており、
前記判断手段は、前記複数の差分値が前記閾値よりも小さい場合、前記画像データが変化していないと判断する請求項１乃至３のいずれかに記載の画像表示システム。
前記抽出手段は、
第１の時間間隔を隔てて、一部の周波数成分を抽出しており、
前記算出手段により算出した差分値が前記閾値よりも小さい場合、前記第１の時間間隔よりも長い第２の時間間隔を隔てて、一部の周波数成分を抽出する請求項３又は４に記載の画像表示システム。
前記報知手段は、予め設定された報知用データを前記表示装置へ送出する送出手段を備える請求項２乃至５のいずれかに記載の画像表示システム。
車両に取り付けられる撮像装置で撮像された画像データを、記憶部を備えた計算装置により、車両に搭載される表示装置に表示させる画像表示方法において、
前記計算装置は、
予め設定された閾値を記憶部に記憶しておき、
撮像装置から時系列的に入力される前後の画像データの差分値を算出し、
算出した前記差分値、及び記憶部に記憶してある閾値を比較し、
前記差分値が前記閾値よりも小さい場合、前記画像データが変化していないと判断することを特徴とする画像表示方法。
受け付けた画像データを外部へ伝送する画像処理装置において、
外部から時系列的に画像データを受け付ける受付手段と、
該受付手段により受け付けた前後の画像データの差分値を算出する算出手段と、
予め設定された閾値を記憶する記憶手段と、
前記算出手段により算出した差分値、及び前記記憶手段に記憶してある閾値を比較する比較手段と、
前記差分値が前記閾値よりも小さい場合、前記画像データが変化していないと判断する判断手段とを備えることを特徴とする画像処理装置。