JP2008117369A - 半導体集積回路装置および描画処理表示システム - Google Patents

半導体集積回路装置および描画処理表示システム Download PDF

Info

Publication number
JP2008117369A
JP2008117369A JP2007222113A JP2007222113A JP2008117369A JP 2008117369 A JP2008117369 A JP 2008117369A JP 2007222113 A JP2007222113 A JP 2007222113A JP 2007222113 A JP2007222113 A JP 2007222113A JP 2008117369 A JP2008117369 A JP 2008117369A
Authority
JP
Japan
Prior art keywords
image
camera
unit
distortion
information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2007222113A
Other languages
English (en)
Other versions
JP4977556B2 (ja
Inventor
Kazuhiro Hiraide
和弘 平出
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Renesas Technology Corp
Original Assignee
Renesas Technology Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Renesas Technology Corp filed Critical Renesas Technology Corp
Priority to JP2007222113A priority Critical patent/JP4977556B2/ja
Priority to US11/869,947 priority patent/US7953292B2/en
Publication of JP2008117369A publication Critical patent/JP2008117369A/ja
Application granted granted Critical
Publication of JP4977556B2 publication Critical patent/JP4977556B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/80Geometric correction
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00Geometric image transformations in the plane of the image
    • G06T3/04Context-preserving transformations, e.g. by using an importance map
    • G06T3/047Fisheye or wide-angle transformations

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Image Processing (AREA)

Abstract

【課題】カメラから取り込まれた画像を、低コストにかつ高精度にリアルタイムで歪み補正処理し、なめらかな画像として描画する。
【解決手段】カメラ2から、キャプチャ回路3を介して取り込まれた画像は、描画メモリ部6のフレームメモリに格納された後、描画処理部4によって画像補正処理が実行される。描画処理部4は、補正情報格納部7に格納された歪み情報に基づいて、コントロールポイントを画像に付加し、画像のコントロールポイントを結んだ際に形成されるメッシュ領域の形状を、該コントロールポイントを移動させて正方形状となるように処理する。この処理はたとえば、バイリニアフィルタなどを用いて補正される。
【選択図】 図1

Description

本発明は、カメラから取り込まれた画像の処理技術に関し、特に、自動車などにおける安全支援に用いられる画像の補正に有効な技術に関する。
近年、自動車においては、たとえば、CCD(Charge Coupled Device)カメラなどを用いて、運転席から死角となる後方や前側方などの視界をカーナビゲーションなどのモニタで視認し、駐車支援や走行支援する画像処理技術が実用化されている。
この場合、たとえば、自動車のフロント部、バック部、および左右のサイド部などにカメラがそれぞれ設けられており、それら複数のカメラからの入力画像を、演算処理してモニタに表示させている。
また、この種の画像処理では、安全性の観点からリアルタイム処理が要求されるために高速処理が必要となる。よって、カーナビゲーションに備えられた画像処理用のハードウェアを流用せずに、ASIC(Application Specific Integrated Circuit)やDSP(Digital Signal Processor)などによる専用のハードウェアを用いて演算処理が行われている。
ところが、上記のようなカメラからの入力画像における演算処理技術では、次のような問題点があることが本発明者により見い出された。
すなわち、画像処理の演算に専用のハードウェアがシステムに新たに必要となるので、該システムが高コストになってしまうという問題がある。
また、バック用のカメラなどは、広い範囲の表示画像が必要であるので、広角レンズを用いたカメラが広く用いられている。広角レンズを用いたカメラでは、レンズの歪みのために映像の四隅に歪みなどが生じてしまう恐れがある。
歪みの少ない画像を得るために、ハードウェアによって、歪み補正用の変換式から変換テーブルを作成し、映像の歪みを補正する技術がある。この場合、入力画像のすべての画素について、変換式を適用した上でさらに、エッジを目立たなくするために、フィルタリングやアンチエイリアシングなどの補完処理が行われている。
しかし、この技術では、映像のリアルタイム性を満たすためには、より高速な演算機能を有したハードウェア(DSPや高速メモリなど)が必要となってしまい、システムのコストがより大幅に高くなってしまうという問題がある。
本発明の目的は、カメラから取り込まれた画像を、低コストにかつ高精度にリアルタイムで歪み補正処理し、なめらかな画像として描画することのできる技術を提供することにある。
本発明の前記ならびにそのほかの目的と新規な特徴については、本明細書の記述および添付図面から明らかになるであろう。
本願において開示される発明のうち、代表的なものの概要を簡単に説明すれば、次のとおりである。
本発明による半導体集積回路装置は、カメラが撮影した画像に、歪み情報に基づいて小領域の頂点情報を付加し、その画像に付加された頂点情報の歪みを修正することにより、画像の補正を行う画像補正部を備えたものである。
また、本発明による半導体集積回路装置は、前記画像補正部が、カメラが撮影した映像を画像として取り込むキャプチャ部と、カメラにおける光学系の歪み情報を格納した補正情報格納部と、画像取り込み信号が入力された際に該キャプチャ部が取り込んだ画像を読み出し、補正情報格納部に格納された歪み情報に基づいて画像に小領域の頂点情報を付加し、画像に付加された頂点情報の歪みを修正して画像を補正する画像処理部とを備えたものである。
さらに、本発明による半導体集積回路装置は、前記画像処理部に入力される画像取り込み信号が、カメラから画像を取り込んだ際に、前記キャプチャ部が、画像処理部に出力する信号よりなるものである。
また、本発明による半導体集積回路装置は、前記画像処理部が、MIPMAP(Multum In Parvo MAPing)機能を有し、画像取り込み信号が入力された際に、補正した画像をMIPMAP機能を用いて切り替えるものである。
さらに、本発明による半導体集積回路装置は、前記補正情報格納部に格納される歪み情報が、等間隔に頂点情報が付加されたテンプレート画像をカメラから取り込むことによって、カメラの光学系の歪みが加わった頂点情報の位置情報からなるものである。
また、本願のその他の発明の概要を簡単に示す。
本発明による描画処理表示システムは、映像を撮影するカメラと、該カメラの画像を格納するフレームメモリと、表示する画像を格納する描画メモリと、該フレームメモリに格納された画像から、カメラの光学系の歪みを補正して出力する画像補正部を備えた半導体集積回路装置と、該半導体集積回路装置から出力された補正された画像を表示する表示部とを備え、画像補正部は、カメラが撮影した映像を画像として取り込み、フレームメモリに出力するキャプチャ部と、カメラにおける光学系の歪み情報を格納した補正情報格納部と、画像取り込み信号が入力された際にフレームメモリに格納された画像を読み出し、補正情報格納部に格納された歪み情報に基づいて画像に小領域の頂点情報を付加し、画像に付加された頂点情報の歪みを修正することにより画像を補正する画像処部と、描画メモリに格納された補正画像が表示部に表示されるように表示処理を行う描画制御部とを備えたものである。
また、本発明による描画処理表示システムは、映像を撮影するカメラと、該カメラの画像を格納するフレームメモリと、カメラにおける光学系の歪み情報を格納した補正情報格納部と、表示する画像を格納する描画メモリと、該フレームメモリに格納された画像から、カメラの光学系の歪みを補正して出力する画像補正部を備えた半導体集積回路装置と、該半導体集積回路装置から出力された補正された画像を表示する表示部とを備え、画像補正部は、カメラが撮影した映像を画像として取り込み、フレームメモリに出力するキャプチャ部と、カメラにおける光学系の歪み情報を格納した補正情報格納部と、画像取り込み信号が入力された際にフレームメモリに格納された画像を読み出し、補正情報格納部に格納された歪み情報に基づいて画像に小領域の頂点情報を付加し、画像に付加された頂点情報の歪みを修正することにより画像を補正する画像処理部と、描画メモリに格納された補正画像が表示部に表示されるように表示処理を行う描画制御部とを備えたものである。
さらに、本発明による描画処理表示システムは、前記画像処理部に入力される画像取り込み信号が、カメラから画像を取り込んだ際に、キャプチャ部が、画像処理部に出力する信号よりなるものである。
また、本発明による描画処理表示システムは、前記画像処理部が、MIPMAP機能を有し、画像取り込み信号が入力された際に、補正した画像をMIPMAP機能を用いて切り替えるものである。
さらに、本発明による描画処理表示システムは、前記補正情報格納部に格納される歪み情報が、等間隔に頂点情報が付加されたテンプレート画像をカメラから取り込むことによって、該カメラの光学系の歪みが加わった頂点情報の位置情報からなるものである。
また、本発明による描画処理表示システムは、前記画像処理部が、等間隔に頂点情報が付加された歪みのないテンプレートの正規画像とカメラから取り込まれたテンプレートの画像とを比較し、テンプレートの正規画像の頂点情報とカメラから取り込まれたテンプレートの頂点情報とのずれ量を算出し、該頂点情報毎のずれ量を歪みデータとして補正情報格納部に格納するものである。
さらに、本発明による描画処理表示システムは、前記画像処理部が比較するテンプレートの正規画像が、補正情報格納部に予め格納されているものである。
本願において開示される発明のうち、代表的なものによって得られる効果を簡単に説明すれば以下のとおりである。
(1)カメラから取り込まれる歪んだ画像を、低コストで高精度にリアルタイムで補正処理することができる。
(2)また、カメラから取り込まれる歪んだ画像の補正処理を高速化することができる。
以下、本発明の実施の形態を図面に基づいて詳細に説明する。なお、実施の形態を説明するための全図において、同一の部材には原則として同一の符号を付し、その繰り返しの説明は省略する。
図1は、本発明の一実施の形態による描画処理表示装置の構成例を示すブロック図、図2は、図1の描画処理表示装置による画像補正処理例を示した説明図、図3は、図1の描画処理表示装置に設けられた補正処理情報格納部に格納される歪み情報取得の説明図、図4は、図1の描画処理表示装置による歪み情報の算出処理、および画像補正処理の説明図、図5は、図4に続く説明図、図6は、図5に続く説明図、図7は、図6に続く説明図、図8は、図1の描画処理表示装置における他の構成例を示すブロック図、図9は、図1の描画処理表示装置に設けられた描画処理部によるキャプチャ画像をフレームメモリから読み出して切り替える動作の説明図である。
本実施の形態において、描画処理表示システム1は、たとえば、カメラなどから取り込まれた映像をリアルタイム処理して表示するシステムである。描画処理表示システム1は、図1に示すように、カメラ2、キャプチャ回路3、描画処理部4、描画制御部5、描画メモリ部6、補正情報格納部7、制御部8、および表示部9から構成されている。
カメラ2は、たとえば、自動車の前方バンパ、後方バンパ、ならびに左右のドアミラーなどにそれぞれ取り付けられており、自動車の前方、後方、左右の映像をそれぞれ撮影する。
キャプチャ回路3、描画処理部4、描画制御部5、補正情報格納部7、および制御部8は、たとえば、1つの半導体集積回路装置で形成されている。また、キャプチャ回路3、描画処理部4、ならびに補正情報格納部7によって画像補正部GHが構成されている。
キャプチャ部として機能するキャプチャ回路3は、カメラ2が撮影した画像を取り込む。画像処理部として機能する描画処理部4は、たとえば、3D(Dimension)描画エンジンなどからなり、制御部8の命令に基づいて描画処理を実行する。描画制御部5は、描画処理部4によって描画される内容を実際に表示する処理を行う。
描画メモリ部6は、たとえば、SDRAM(Syncronous Dynamic Random Access Memory)やDDR(Double Data rate) SDRAMなどの揮発性メモリからなり、制御部8から出力された複数の描画命令(コマンド)を蓄積、キャプチャ回路3が取り込んだキャプチャ画像の格納(フレームメモリ)、ならびに描画処理部4が描画処理した描画イメージの格納(描画メモリ)を行う。
補正情報格納部として機能する補正情報格納部7は、フラッシュメモリなどに例示される不揮発性半導体メモリからなり、カメラ2が取り込んだ画像の歪み情報が格納されている。制御部8は、CPU(Central Processing Unit)などからなり、アプリケーションに基づいて、描画処理表示システム1における全体の制御を司る。
表示部9は、たとえば、LCD(Liquid Crystal Display)などのモニタからなり、描画制御部5から出力された画像データ映像として表示する。
次に、本実施の形態における描画処理表示システム1の画像処理技術について説明する。
図2は、描画処理表示システム1による画像補正処理例を示した説明図であり、自動車後方の画像を取り込む後方バンパに取り付けられたカメラ2の画像である。図2の上方は、カメラ2が取り込んだ画像の一例を示しており、図2の下方は、表示部9に表示された補正後の画像の一例を示したものである。
この場合、後方バンパなどに取り付けられたカメラ2は、左右、およびその下側にそれぞれレンズが設けられた3分割レンズが備えられた構成となっている。
図2の上方に示すように、3分割レンズのカメラ2における左側の分割レンズの画像L、右側の分割レンズの画像R、ならびに下側の分割レンズの画像Dは、不連続で、かつ広角レンズによる歪みが生じたものとなっている。
カメラ2の画像L,R,Dは、キャプチャ回路3によって取り込まれて描画メモリ部6のフレームメモリに格納された後、描画処理部4によって画像補正処理が実行される。
描画処理部4は、補正情報格納部7に格納された歪み情報に基づいて、コントロールポイント(図2に示す黒点)CPを画像L,R,Dにそれぞれ付加する。このコントロールポイントCPは、画像L、R,Dを任意の領域に分割したメッシュ領域における頂点情報である。
描画処理部4は、画像L、R,Dを、たとえば、バイリニアフィルタなどを用いて補正するとともに、アンチエイリアシング機能などを用いて画像がなめらかになるように補正処理を行う。
この補正は、図2の上方に示すように、画像L、R,DにおけるコントロールポイントCPを結んだ際に形成されるメッシュ領域の歪んだ四角形状D1を、該コントロールポイントCPを移動させることにより、図2の下方に示すように正方形状D2となるように処理する。
続いて、描画処理部4は、補正処理した画像L,R,Dを描画メモリ部6の描画メモリに格納する。格納された画像は、描画制御部5によって表示処理が行われて、図2の下方に示すように表示部9に表示される。
次に、補正情報格納部7に格納される歪み情報の取得技術について、図3を用いて説明する。
まず、等間隔にコントロールポイントCPが設けられているテンプレートTPを準備する。そして、そのテンプレートTPをカメラ2により撮影し、キャプチャ回路3を介して描画メモリ部6のフレームメモリに格納する。
フレームメモリに格納されたテンプレートのキャプチャ画像Caは、カメラ2の光学系の歪みが加わっており、その歪みによりコントロールポイントCPの位置が等間隔でないものがある。
そして、フレームメモリに格納されたキャプチャ画像CaのコントロールポイントCPの位置情報を歪み情報として算出し、補正情報格納部7に格納する。これら歪み情報の算出処理は、リアルタイムである必要はないので、制御部8によって処理が実行される。
ここで、歪み情報の算出処理、および画像補正処理について、図4〜図7の動作説明図を用いて説明する。
まず、図4に示すように、テンプレートTPをカメラ2により撮影して描画メモリ部6のフレームメモリに格納する。続いて、図5に示すように、補正情報格納部7にプリセットされた歪みのない正規形状のテンプレートTPの画像と描画メモリ部6に格納されたカメラ2が撮影したテンプレートTP画像との比較を行う。
正規形状のテンプレートTPは、補正情報格納部7にプリセットせずに、たとえば、描画処理部4によって正規形状のテンプレートTPを演算によって作成するようにしてもよい。
描画処理部4は、画像認識(IMP)機能を用いて、正規形状のテンプレートTPのコントロールポイントCPとカメラ2が撮影したテンプレートTPのコントロールポイントCPinとのずれ量(ベクトル情報)をそれぞれ算出し、図6に示すように、補正データ(歪み情報)として補正情報格納部7に格納する。
以上により、歪み情報の算出処理が終了する。この処理は、リアルタイムである必要はなく、キャリブレーションが必要となった際(たとえば、カメラの傾きやねじれなどが発生した場合など)に実行すればよい。
たとえば、本発明にかかる描画処理表示装置を内蔵したカーナビゲーションシステムなどにカメラ2のキャリブレーション指示を指令するボタン(物理的または情報処理的な)を有し、自動車の後方にテンプレートTPを設置した後に当該ボタンを押下することによりカメラ2のキャリブレーションを行うようにする。
その後、通常の使用では、図7に示すように、補正情報格納部7に格納された補正データを基に、図2で説明した入力画像の補正処理を行うことにより、画像が補正されて表示されることになる。
それにより、カメラ2の据え付け、組み立て時の傾きやねじれなどによるゆがみが生じた場合でも、カメラ2それ自体を調整することなく、短時間で容易に歪み画像の補正を高精度に行うことができる。
先に述べたカメラ2からのキャプチャ(入力)画像は、リアルタイム(たとえば、30fs〜60fs程度)で更新される。通常、キャプチャ回路3がカメラ2からの画像を取り込んだ際に、更新タイミングを知らせる割り込み信号を制御部8に出力し、該制御部8は、その割り込み信号を受けて、描画処理部4が処理する画像をフレームメモリから取り込んでいる。
しかしながら、キャプチャ回路3からの割り込み信号を受けて制御部8がフレームメモリからのテクスチャ(入力画像)の読み出しを制御する場合、割り込み信号の応答時間などのタイムラグから、リアルタイム性が確保できない恐れがある。
そこで、図8に示しように、キャプチャ回路3からの入力画像の更新タイミングを制御部8を介さずに通知する構成とする。
この場合、図示するように、キャプチャ回路3と描画処理部4とは、専用配線CLで接続されている。この専用配線を介してキャプチャ回路3から出力される更新タイミングを知らせる割り込み信号が描画処理部4に直接入力される構成となっている。これにより、制御部8の介在がなくなるので、処理速度を高速化することが可能となり、リアルタイム性を確保することができる。
描画処理部4は、図9に示すように、専用配線CLを介してキャプチャ回路3から出力された割り込み信号を受ける毎にキャプチャ画像をフレームメモリから読み出して切り替える。
このキャプチャ画像の切り替えは、3D描画エンジンである描画処理部4に備えられたMIPMAP(Multum In Parvo MAPing)機能を使用するようにしてもよい。MIPMAP機能は、テクスチャマッピング技術の1つであり、描画サイズの大きさによりテクスチャを切り替える機能である。
このMIPMAP機能を用いてキャプチャ画像の更新を行うことにより、新たなハードウェアの追加が不要となり、低コストで、容易にカメラ2からのキャプチャ画像の更新を行うことができる。
それにより、本実施の形態によれば、広角レンズなどを用いたカメラ2から取り込まれる歪んだ画像を、低コストで高精度に、かつ高速に補正処理することができ、より高度な自動車の安全支援を行うことができる。
また、本実施の形態では、カメラ2から取り込まれた映像をリアルタイム処理して表示するシステムとして記載したが、自動車などに高度な画像描画システムが備えられているものであれば、該画像描画システムのハードウェアを用いて本発明の描画処理表示システム1を実現することが可能である。
たとえば、カーナビゲーションシステムなどには、描画処理表示システム1におけるキャプチャ回路3、描画処理部4、描画制御部5、描画メモリ部6、制御部8、および表示部9などに相当するハードウェアが設けられており、これらを流用することにより、より低コストで本発明の描画処理表示システム1を実現することができる。
以上、本発明者によってなされた発明を実施の形態に基づき具体的に説明したが、本発明は前記実施の形態に限定されるものではなく、その要旨を逸脱しない範囲で種々変更可能であることはいうまでもない。
本発明は、安全支援装置として用いられるカメラから取り込まれた画像の歪み補正処理技術に適している。
本発明の一実施の形態による描画処理表示装置の構成例を示すブロック図である。 図1の描画処理表示装置による画像補正処理例を示した説明図である。 図1の描画処理表示装置に設けられた補正処理情報格納部に格納される歪み情報取得の説明図である。 図1の描画処理表示装置による歪み情報の算出処理、および画像補正処理の説明図である。 図4に続く説明図である。 図5に続く説明図である。 図6に続く説明図である。 図1の描画処理表示装置における他の構成例を示すブロック図である。 図1の描画処理表示装置に設けられた描画処理部によるキャプチャ画像をフレームメモリから読み出して切り替える動作の説明図である。
符号の説明
1 描画処理表示システム
2 カメラ
3 キャプチャ回路
4 描画処理部
5 描画制御部
6 描画メモリ部
7 補正情報格納部
8 制御部
9 表示部
L 画像
R 画像
D 画像
GH 画像補正部
CP コントロールポイント
TP テンプレート
Ca キャプチャ画像
CL 専用配線

Claims (12)

  1. カメラが撮影した画像に、歪み情報に基づいて小領域の頂点情報を付加し、前記画像に付加された頂点情報の歪みを修正することにより、前記画像の補正を行う画像補正部を備えたことを特徴とする半導体集積回路装置。
  2. 請求項1記載の半導体集積回路装置において、
    前記画像補正部は、
    前記カメラが撮影した映像を画像として取り込むキャプチャ部と、
    前記カメラにおける光学系の歪み情報を格納した補正情報格納部と、
    画像取り込み信号が入力された際に前記キャプチャ部が取り込んだ画像を読み出し、前記補正情報格納部に格納された歪み情報に基づいて前記画像に小領域の頂点情報を付加し、前記画像に付加された頂点情報の歪みを修正して前記画像を補正する画像処理部とを備えたことを特徴とする半導体集積回路装置。
  3. 請求項2記載の半導体集積回路装置において、
    前記画像処理部に入力される画像取り込み信号は、
    前記キャプチャ部が、前記カメラから画像を取り込んだ際に前記画像処理部に出力する信号であることを特徴とする半導体集積回路装置。
  4. 請求項2または3記載の半導体集積回路装置において、
    前記画像処理部は、
    MIPMAP機能を有し、画像取り込み信号が入力された際に、補正した前記画像を前記MIPMAP機能を用いて切り替えることを特徴とする半導体集積回路装置。
  5. 請求項2〜4のいずれか1項に記載の半導体集積回路装置において、
    前記補正情報格納部に格納される歪み情報は、
    等間隔に頂点情報が付加されたテンプレート画像を前記カメラから取り込むことによって、前記カメラの光学系の歪みが加わった頂点情報の位置情報からなることを特徴とする半導体集積回路装置。
  6. 映像を撮影するカメラと、
    前記カメラの画像を格納するフレームメモリと、
    表示する画像を格納する描画メモリと、
    前記フレームメモリに格納された画像から、前記カメラの光学系の歪みを補正して出力する画像補正部を備えた半導体集積回路装置と、
    前記半導体集積回路装置から出力された補正された画像を表示する表示部とを備え、
    前記画像補正部は、
    前記カメラが撮影した映像を画像として取り込み、前記フレームメモリに出力するキャプチャ部と、
    前記カメラにおける光学系の歪み情報を格納した補正情報格納部と、
    画像取り込み信号が入力された際に前記フレームメモリに格納された画像を読み出し、前記補正情報格納部に格納された歪み情報に基づいて前記画像に小領域の頂点情報を付加し、前記画像に付加された頂点情報の歪みを修正することにより前記画像を補正する画像処理部と、
    前記描画メモリに格納された補正画像が前記表示部に表示されるように表示処理を行う描画制御部とを備えたことを特徴とする描画処理表示システム。
  7. 映像を撮影するカメラと、
    前記カメラの画像を格納するフレームメモリと、
    前記カメラにおける光学系の歪み情報を格納した補正情報格納部と、
    表示する画像を格納する描画メモリと、
    前記フレームメモリに格納された画像から、前記カメラの光学系の歪みを補正して出力する画像補正部を備えた半導体集積回路装置と、
    前記半導体集積回路装置から出力された補正された画像を表示する表示部とを備え、
    前記画像補正部は、
    前記カメラが撮影した映像を画像として取り込み、前記フレームメモリに出力するキャプチャ部と、
    前記カメラにおける光学系の歪み情報を格納した補正情報格納部と、
    画像取り込み信号が入力された際に前記フレームメモリに格納された画像を読み出し、前記補正情報格納部に格納された歪み情報に基づいて前記画像に小領域の頂点情報を付加し、前記画像に付加された頂点情報の歪みを修正することにより前記画像を補正する画像処理部と、
    前記描画メモリに格納された補正画像が前記表示部に表示されるように表示処理を行う描画制御部とを備えたことを特徴とする描画処理表示システム。
  8. 請求項6または7記載の描画処理表示システムにおいて、
    前記画像処理部に入力される画像取り込み信号は、
    前記キャプチャ部が、前記カメラから画像を取り込んだ際に前記画像処理部に出力する信号であることを特徴とする描画処理表示システム。
  9. 請求項6〜8のいずれか1項に記載の描画処理表示システムにおいて、
    前記画像処理部は、
    MIPMAP機能を有し、画像取り込み信号が入力された際に、補正した前記画像を前記MIPMAP機能を用いて切り替えることを特徴とする描画処理表示システム。
  10. 請求項6〜9のいずれか1項に記載の描画処理表示システムにおいて、
    前記補正情報格納部に格納される歪み情報は、
    等間隔に頂点情報が付加されたテンプレート画像を前記カメラから取り込むことによって、前記カメラの光学系の歪みが加わった頂点情報の位置情報からなることを特徴とする描画処理表示システム。
  11. 請求項6〜9のいずれか1項に記載の描画処理表示システムにおいて、
    前記画像処理部は、
    等間隔に頂点情報が付加された歪みのないテンプレートの正規画像と前記カメラから取り込まれたテンプレートの画像とを比較し、前記テンプレートの正規画像の頂点情報と前記カメラから取り込まれたテンプレートの頂点情報とのずれ量を算出し、前記頂点情報毎のずれ量を歪みデータとして前記補正情報格納部に格納することを特徴とする描画処理表示システム。
  12. 請求項11記載の描画処理表示システムにおいて、
    前記画像処理部が比較するテンプレートの正規画像は、
    前記補正情報格納部に予め格納されていることを特徴とする描画処理表示システム。
JP2007222113A 2006-10-11 2007-08-29 半導体集積回路装置および描画処理表示システム Active JP4977556B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2007222113A JP4977556B2 (ja) 2006-10-11 2007-08-29 半導体集積回路装置および描画処理表示システム
US11/869,947 US7953292B2 (en) 2006-10-11 2007-10-10 Semiconductor integrated circuit device and rendering processing display system

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2006277803 2006-10-11
JP2006277803 2006-10-11
JP2007222113A JP4977556B2 (ja) 2006-10-11 2007-08-29 半導体集積回路装置および描画処理表示システム

Publications (2)

Publication Number Publication Date
JP2008117369A true JP2008117369A (ja) 2008-05-22
JP4977556B2 JP4977556B2 (ja) 2012-07-18

Family

ID=39303172

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2007222113A Active JP4977556B2 (ja) 2006-10-11 2007-08-29 半導体集積回路装置および描画処理表示システム

Country Status (2)

Country Link
US (1) US7953292B2 (ja)
JP (1) JP4977556B2 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2015032895A (ja) * 2013-07-31 2015-02-16 ブラザー工業株式会社 画像処理装置

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102010042248A1 (de) * 2010-10-11 2012-04-12 Robert Bosch Gmbh Verfahren und Vorrichtung zur optischen Darstellung einer Umgebung eines Fahrzeugs
JP5924020B2 (ja) * 2012-02-16 2016-05-25 セイコーエプソン株式会社 プロジェクター、及び、プロジェクターの制御方法
CN109754380B (zh) * 2019-01-02 2021-02-02 京东方科技集团股份有限公司 一种图像处理方法及图像处理装置、显示装置

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH08287243A (ja) * 1994-12-29 1996-11-01 Philips Electron Nv 画像形成装置および幾何光学的画像歪修正方法
JP2003085542A (ja) * 2001-09-07 2003-03-20 Neucore Technol Inc 画像データ校正方法および装置

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
FR2657208B1 (fr) * 1990-01-16 1992-04-10 Thomson Consumer Electronics Procede et dispositif de correction automatique de geometrie, de superposition de couleurs et d'uniformite d'image pour camera de television.
GB9613092D0 (en) * 1996-06-21 1996-08-28 Dsam Ltd Optical testing apparatus for an optical system
US5953506A (en) * 1996-12-17 1999-09-14 Adaptive Media Technologies Method and apparatus that provides a scalable media delivery system
US6285779B1 (en) * 1999-08-02 2001-09-04 Trident Microsystems Floating-point complementary depth buffer
JP4512293B2 (ja) 2001-06-18 2010-07-28 パナソニック株式会社 監視システムおよび監視方法
JP3897247B2 (ja) 2002-05-16 2007-03-22 富士フイルム株式会社 光学歪みの補正方法及び補正装置

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH08287243A (ja) * 1994-12-29 1996-11-01 Philips Electron Nv 画像形成装置および幾何光学的画像歪修正方法
JP2003085542A (ja) * 2001-09-07 2003-03-20 Neucore Technol Inc 画像データ校正方法および装置

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2015032895A (ja) * 2013-07-31 2015-02-16 ブラザー工業株式会社 画像処理装置

Also Published As

Publication number Publication date
JP4977556B2 (ja) 2012-07-18
US20080089607A1 (en) 2008-04-17
US7953292B2 (en) 2011-05-31

Similar Documents

Publication Publication Date Title
JP5222597B2 (ja) 画像処理装置及び方法、運転支援システム、車両
JP5316805B2 (ja) 車載カメラ装置の画像調整装置及び車載カメラ装置
TWI524306B (zh) 圖像轉換和多視圖輸出系統及方法
JP5120880B2 (ja) 画像処理装置及び画像処理方法
JP4874280B2 (ja) 画像処理装置及び方法、運転支援システム、車両
JP5672862B2 (ja) 撮像装置、撮像システム及び撮像方法
JP4975592B2 (ja) 撮像装置
JP4976685B2 (ja) 画像処理装置
JP2005311868A (ja) 車両周辺視認装置
JP2009017020A (ja) 画像処理装置及び表示画像生成方法
US20170039677A1 (en) Semiconductor device, electronic apparatus, and image processing method
JP4977556B2 (ja) 半導体集積回路装置および描画処理表示システム
JP2007172501A (ja) 車両運転支援装置
JP4791222B2 (ja) 表示制御装置
US10926639B2 (en) Image processing device, in-vehicle camera system and image processing method
JP4853434B2 (ja) 画像処理装置
JP2007158639A (ja) 車両運転支援装置
JP2007266703A5 (ja)
JP5393877B2 (ja) 撮像装置および集積回路
JP3446277B2 (ja) 車両用周囲状況表示装置
KR101825343B1 (ko) 차량의 후방 뷰 영상 처리 장치 및 시스템
WO2011161746A1 (ja) 画像処理方法、プログラム、画像処理装置及び撮像装置
US10257420B2 (en) Image processing apparatus, optical apparatus, and image processing method
JP2010016746A (ja) 周辺監視装置
JP4832272B2 (ja) 車両周辺画像表示装置およびその表示方法

Legal Events

Date Code Title Description
A711 Notification of change in applicant

Free format text: JAPANESE INTERMEDIATE CODE: A712

Effective date: 20100528

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20100810

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20110816

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20111014

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20120321

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20120416

R150 Certificate of patent or registration of utility model

Ref document number: 4977556

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20150420

Year of fee payment: 3

S531 Written request for registration of change of domicile

Free format text: JAPANESE INTERMEDIATE CODE: R313531

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350