JP2001251610A

JP2001251610A - 撮像システム、画像処理装置及び方法並びに記憶媒体

Info

Publication number: JP2001251610A
Application number: JP2000059829A
Authority: JP
Inventors: Takeo Sakimura; 岳生崎村; Katsumi Iijima; 克己飯島; Katsuhiko Mori; 克彦森
Original assignee: Canon Inc
Current assignee: Canon Inc
Priority date: 2000-03-06
Filing date: 2000-03-06
Publication date: 2001-09-14

Abstract

(57)【要約】【課題】水平方向の同期ずれを解消する。【解決手段】各撮像装置１０ａ，１０ｂは、同期信号
発生回路２６から出力される同期信号に従って動作し、
信号処理回路２０ａ，２０ｂから撮影画像データと制御
信号（タイミング信号）を出力する。画素クロックずれ
検知回路３０は、撮像装置１０ａ，１０ｂから出力され
る画像データ間の水平同期ずれを、画素クロック単位で
検出する。信号処理回路２８は、画素クロックずれ検知
回路３０の検出結果に従い、水平同期ずれを無くすよう
にメモリ３４への書込みアドレスを調整して、両画像デ
ータをメモリ３４に書き込む。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、２つ以上の撮像手
段を具備する撮像システム、複数の撮像装置の出力画像
の水平方向のずれを補正する画像処理装置及び方法並び
に記憶媒体に関する。

【０００２】

【従来の技術】２つ以上の撮像装置を同期させて撮像す
るシステムは、既に知られている。例えば、２つの並置
した撮像装置の視点を一致させて撮像した２枚の画像を
撮像面の境界で２次元方向につなぎ合わせると、広画角
で高精細なパノラマ画像を得ることが出来る。これによ
り、１つの広角な撮像光学系を有する撮像装置を用いて
撮像した画像に比べて、歪みの小さい良好な画質の画像
を得ることができる。また、２つの撮像装置を並行に置
いて同方向を撮影すると、２つの画像間に視差が生じ
る。この視差をステレオ視することで観察者は立体感の
ある画像を見ることが出来る。

【０００３】このように２つの撮像装置から同じタイミ
ングの撮影画像を得るには、２つの撮像装置を同じ同期
信号で駆動する必要がある。従来は、各撮像装置の撮像
信号を処理する信号処理回路が、同期信号発生回路から
の同期信号に従って、撮像素子の垂直駆動回路及びタイ
ミング発生回路を駆動するようにしていた。

【０００４】

【発明が解決しようとする課題】従来例でも、２つの撮
像装置は、同じアドレスの画素データを同じタイミング
で出力するはずである。しかし、実際には、同期信号発
生装置から各撮像装置の信号処理回路までの同期信号の
遅延、各撮像装置における信号処理回路から垂直駆動回
路及びタイミング発生回路のそれぞれへの駆動信号遅
延、並びに、垂直駆動回路及びタイミング発生回路から
撮像素子までの信号遅延など、各部で無視できない遅延
があり、しかも、これらは撮像装置間で同じであること
が保証されていない。その結果、実際には、２つの撮像
装置を普通の精度で同期動作させた場合には、２つの撮
像装置から出力される画素データは同じアドレスの画素
データにはならず、２つの撮像装置から完全に同期した
画像を得るには至っていない。

【０００５】本発明は、複数の撮像装置の出力画像を画
素単位で同期させる簡単な構成の撮像システムを提示す
ることを目的とする。

【０００６】本発明はまた、複数の撮像装置の出力画像
の水平方向のずれを補正する画像処理装置及び方法並び
に記憶媒体を提示することを目的とする。

【０００７】

【課題を解決するための手段】本発明に係る撮像システ
ムは、複数の撮像装置と、当該複数の撮像装置から出力
される画像データ間の画素クロックずれを検知する画素
クロックずれ検知手段と、当該複数の撮像装置から出力
される画像データを記憶するメモリと、当該画素クロッ
クずれ検知手段の検知結果に従い、当該メモリの書込み
アドレス及び読み出しアドレスの一方を調整するアドレ
ス調整手段とを具備することを特徴とする。

【０００８】本発明に係る画像処理装置は、第１の画像
データ及びそのタイミングを示す第１のタイミング信号
を出力する第１の画像出力手段と、第２の画像データ及
びそのタイミングを示す第２のタイミング信号を入力す
る第２の画像出力手段と、当該第１及び第２の画像デー
タ間の画素クロックずれを検知する画素クロックずれ検
知手段と、当該第１及び第２の画像データを記憶するメ
モリと、当該画素クロックずれ検知手段の検知結果に従
い、当該メモリの書込みアドレス及び読み出しアドレス
の一方を調整するアドレス調整手段とを具備することを
特徴とする。

【０００９】本発明に係る画像処理方法は、第１及び第
２の画像データを同期させる画像処理方法であって、当
該第１及び第２の画像データ間の画素クロックずれを、
当該第１の画像データのタイミングを示す第１のタイミ
ング信号及び当該第２の画像データのタイミングを示す
第２のタイミング信号により検知する画素クロックずれ
検知ステップと、当該画素クロックずれ検知手段の検知
結果に従い、当該第１の画像データ及び当該第２の画像
データのメモリへの書込みアドレス及び当該メモリから
の読み出しアドレスの一方を調整するアドレス調整ステ
ップとを具備することを特徴とする。

【００１０】本発明に係る記憶媒体には、上述の画像処
理方法を実行するプログラム・ソフトウエアが格納され
る。

【００１１】

【実施例】以下、図面を参照して、本発明の実施例を詳
細に説明する。

【００１２】図１は、本発明の一実施例の概略構成ブロ
ック図を示す。１０ａ，１０ｂは実質的に同じ構成及び
機能の撮像装置である。撮像装置１０ａ，１０ｂはそれ
ぞれ、撮影レンズ１２ａ，１２ｂ、撮影レンズ１２ａ，
１２ｂによる光学像を電気信号に変換する撮像素子１４
ａ，１４ｂ、撮像素子１４ａ，１４ｂの出力信号を相関
二重サンプリングし、利得調整するＣＤＳ／ＡＧＣ回路
１６ａ，１６ｂ、ＣＤＳ／ＡＧＣ回路１６ａ，１６ｂの
アナログ出力信号をディジタル信号に変換するＡ／Ｄ変
換器１８ａ，１８ｂ、Ａ／Ｄ変換器１８ａ，１８ｂの出
力データにガンマ変換、色バランス調整及び輝度・色差
信号変換等の処理を施す信号処理回路２０ａ，２０ｂ、
信号処理回路２０ａ，２０ｂからの駆動信号に従って動
作し、撮像素子１４ａ，１４ｂ及び信号処理回路２０
ａ，２０ｂにタイミング信号を供給するタイミング発生
回路２２ａ，２２ｂ、及び信号処理回路２０ａ，２０ｂ
により駆動され、撮像素子１４ａ，１４ｂに垂直駆動信
号を供給する垂直駆動回路２４ａ，２４ｂを具備する。
同期信号発生器２６は同じ同期信号を信号処理回路２０
ａ，２０ｂに供給する。

【００１３】２８は、撮像装置１０ａ，１０ｂの信号処
理回路２０ａ，２０ｂからの画素データを合成する信号
処理回路、３０は撮像装置１０ａ，１０ｂの信号処理回
路２０ａ，２０ｂと信号処理回路２８との間の制御信号
から、信号処理回路２０ａ，２０ｂから出力される画素
データの画素クロックずれを検知する画素クロックずれ
検知回路である。信号処理回路２８は、検知回路３０の
検知結果に従い信号処理回路２０ａ，２０ｂからの画素
データのずれを無くしてから、両画素データを合成す
る。

【００１４】３２は全体を制御するＣＰＵ、３４はメモ
リ、３６はＣＰＵ３２の動作プログラムなどを記憶する
ハードディスクなどの記憶装置、３８はユーザインター
フェース（キーボード及びマウスなど）、４０は表示制
御装置、４２は表示制御装置４０に内蔵されるビデオメ
モリ（ＶＲＡＭ）である。ＣＰＵ３２、メモリ３４、記
憶装置３６、ユーザインターフェース３８及び表示制御
装置４０は、ＣＰＵバス４４及びデータバス４６に接続
する。表示制御装置４０の出力画像信号は、映像モニタ
４８に印加される。

【００１５】本実施例の動作を説明する。ＣＰＵ３２
が、図示しない記憶媒体から読み込んだプログラムに従
い全体の動作を制御する。

【００１６】各撮像装置１０ａ，１０ｂでは、撮像素子
１４ａ，１４ｂが撮影レンズ１２ａ，１２ｂによる光学
像を電気信号に変換する。ＣＤＳ／ＡＧＣ回路１６ａ，
１６ｂは、撮像素子１４ａ，１４ｂの出力を相関二重サ
ンプリングし、利得を自動調整して、Ａ／Ｄ変換器１８
ａ，１８ｂに印加する。Ａ／Ｄ変換器１８ａ，１８ｂは
ＣＤＳ／ＡＧＣ回路１６ａ，１６ｂのアナログ出力をデ
ィジタル信号に変換し、信号処理回路２０ａ，２０ｂに
印加する。

【００１７】タイミング発生回路２２ａ，２２ｂは撮像
素子１４ａ，１４ｂの撮像エリアの１ライン分の露光タ
イミングを規定する信号（水平同期信号及び画素クロッ
ク信号）を撮像素子１４ａ，１４ｂに印加し、垂直駆動
回路２４ａ，２４ｂは、撮像素子１４ａ，１４ｂの１フ
ィールド分の露光タイミングを規定する信号（垂直駆動
信号又は垂直同期信号）を撮像素子１４ａ，１４ｂに印
加する。タイミング発生回路２２ａ，２２ｂはまた、撮
像素子１４ａ，１４ｂに印加するのと同じタイミング信
号を信号処理回路２０ａ，２０ｂに印加し、信号処理回
路２０ａ，２０ｂは、タイミング発生回路２２ａ，２２
ｂからのタイミング信号及び同期信号発生回路２６から
の同期信号に従って、垂直駆動回路２４ａ，２４ｂによ
る垂直駆動信号出力のタイミングを制御する。このよう
にして、撮像素子１４ａ，１４ｂの撮像タイミングを同
期させることができる。但し、信号遅延による同期ずれ
が存在し得る。

【００１８】信号処理回路２０ａ，２０ｂは、Ａ／Ｄ変
換器１８ａ，１８ｂからの画像データを特定の色座標系
上の値に変換する。色座標系には、Ｙ−Ｃ座標系のほか
に、ＲＧＢ座標系等の様々な色空間座標系が存在する
が、変換後の色座標系は特に限定されない。信号処理回
路２０ａ，２０ｂはまた、色座標系を変換した後の画素
データを信号処理回路２８に供給すると共に、それに同
期した画素クロックを制御線を介して信号処理回路２８
及び画素クロックずれ検知回路３０に供給する。信号処
理回路２０ａ，２０ｂは更に、その制御線に撮像素子１
４ａ，１４ｂの撮像エリアの１ラインが始まる毎に水平
同期信号ＨＤを、撮像エリアの１フィールド毎に垂直同
期信号ＶＤを出力する。詳細は後述するが、信号処理回
路２８は、画素クロックずれ検知回路３０の検知結果に
従い、信号処理回路２０ａ，２０ｂからの画素データの
画素クロックずれを修整してから合成し、ＣＰＵ３２か
らの指示に従い合成画像データをデータバス４６を介し
てメモリ３４、記憶装置３６及び／又は表示制御回路４
０に供給する。

【００１９】ユーザインターフェース３８によるユーザ
の指示に応じて、ＣＰＵ３２がＣＰＵバス４４を介して
信号処理回路２８を制御する。例えば、信号処理回路２
８は、合成画像データをデータバス４６を介してＶＲＡ
Ｍ４２に書き込むのと同時に、ＣＰＵバス４４を介して
表示制御回路４０にＶＲＡＭ４２の画像データをモニタ
４８に読み出させる。これにより、合成画像データがモ
ニタ４８の画面上に表示される。勿論、ＣＰＵ３２が直
接、メモリ３４、記憶装置３６及び表示制御回路４０を
制御してもよい。

【００２０】本実施例の特徴である画素クロックずれ検
知回路３０の作用を詳細に説明する。図２は、撮像装置
１０ａ，１０ｂの撮像素子１４ａ，１４ｂに印加される
垂直同期信号ＶＤ、水平同期信号ＨＤ及び画素クロック
のタイミングチャートを示す。図２（１），（２）は撮
像素子１４ａ，１４ｂに対する１垂直同期期間の垂直同
期信号ＶＤをそれぞれ示す。図２（３），（４）は、撮
像素子１４ａに対する１水平同期期間の垂直同期信号Ｖ
Ｄと水平同期信号ＨＤをそれぞれ示し、図２（５），
（６）は、撮像素子１４ｂに対する１水平周期期間の垂
直同期信号ＶＤと水平同期信号ＨＤをそれぞれ示す。図
２（７），（８）は、撮像素子１４ａに対する１水平同
期期間の始まり部分の水平同期信号ＨＤと画素クロック
をそれぞれ示し、図２（９），（１０）は、撮像素子１
４ｂに対する１水平同期期間の始まり部分の水平同期信
号ＨＤと画素クロックをそれぞれ示す。

【００２１】図２は、撮像素子１４ｂの垂直同期信号が
撮像素子１４ａの垂直同期信号より１μｓだけ遅延して
いる例を示す。この遅延は、同期信号発生器２６から出
力される同期信号に従って形成される垂直同期信号、水
平同期信号及び画素クロックがそれぞれ撮像素子１４
ａ，１４ｂに印加されるまでに各部で生ずる信号遅延に
基づくものである。

【００２２】垂直同期期間は、例えば３０フィールド／
１秒の画像では約３３ｍｓとなる。撮像素子１４ａ，１
４ｂに対する垂直同期信号の時間差１μｓは、これに比
べれば問題では無い。１水平同期期間は約８０μｓであ
り、これと比べても問題では無い。しかし、画素クロッ
ク間隔は約１４０ｎｓであり、１μｓの遅延は、図２
（８），（１０）から明らかなように、無視できないも
のとなる。この場合、信号処理回路２０ａ，２０ｂから
同時点に出力される画素データは、撮像素子１４ａ，１
４ｂ上の異なるアドレスの画素データとなる。

【００２３】このように、複数の撮像部の撮像が同期し
ているというのは、従来は、撮像素子１４ａ，１４ｂを
駆動する時間誤差が垂直同期期間及び水平同期期間の１
周期に比べ無視できる程の小さなものであることを意味
していた。しかし、撮像した画像の１ライン内の画素ク
ロックベースで見た場合には、数画素分の無視できない
遅延を生じている。本実施例では、画素クロックずれ検
知回路３０がこの画素クロックずれを検知し、信号処理
回路２８での合成処理でその画素クロックずれを解消さ
せる。

【００２４】図３は、画素クロックずれ検知回路３０の
動作フローチャートを示す。先に説明したように、信号
処理回路２０ａ，２０ｂから信号処理回路２８には画像
データの他に、垂直同期信号、水平同期信号及び画素ク
ロックを含む制御信号が印加され、その制御信号が画素
クロックずれ検知回路３０にも印加されている。信号処
理回路２０ａ，２０ｂから出力される制御信号に含まれ
る水平同期信号をモニタする（Ｓ１）。信号処理回路２
０ａから出力される水平同期信号が信号処理回路２０ｂ
から出力されるより早い場合には（Ｓ１）、信号処理回
路２０ｂから水平同期信号が出力されるまで、信号処理
回路２０ａから出力される画素クロックを計数する（Ｓ
２，Ｓ３）。逆に、信号処理回路２０ｂから出力される
水平同期信号が信号処理回路２０ａから出力されるより
早い場合には（Ｓ１）、信号処理回路２０ａから水平同
期信号が出力されるまで、信号処理回路２０ｂから出力
される画素クロックを計数する（Ｓ４，Ｓ５）。画素ク
ロックのカウント値（図２に示す例では、７）は水平方
向の画素ずれを示し、オフセット量ｄに代入される（Ｓ
６）。

【００２５】このオフセット量ｄは、信号処理回路２８
に渡される。図４は、オフセット量ｄを考慮して、信号
処理回路２０ａ，２０ｂからの画像データを書き込むメ
モリ３４の模式図を示す。メモリのアドレス空間は２次
元となっており、アドレス（０，０）から順次コラムア
ドレスを更新し、画像の１ライン分の書き込みが終わる
とロウアドレスを更新して、同様に、コラムアドレスを
更新しつつ画素データをメモリに書き込む。

【００２６】信号処理回路２０ａ，２０ｂからの画像デ
ータをそれぞれからの画素クロックに同期してメモリ３
４に書き込めば、メモリ３４に１画面分を書き終わった
状態では、２つの画像は同期することになるが、厳密に
は、１画面分の書き始め又は書き終わりの、上述の画素
クロックずれの部分では、２つの画像が同期しない。ま
た、一方の画素クロックに従って２つの画像をメモリ３
４に書き込めば、一方の画像の最初のラインが他方の画
像に対して水平にずれたものとなってしまう。

【００２７】これを解消するには、信号処理回路２８
が、信号処理回路２０ｂからの画像データを、信号処理
回路２０ａからの画像データよりもオフセット量ｄだけ
遅れてメモリ３４に書き込めばよい。換言すると、信号
処理回路２８は、信号処理回路２０ａからの画像データ
をオフセット量分だけ遅延してメモリ３４に書き込み、
信号処理回路２０ｂからの画像データは遅延せずにメモ
リ３４に書き込む。これにより、信号処理回路２０ａ，
２０ｂから出力される画像データ間の画素ずれが解消さ
れる。これはまた、後に２つの画像をメモリ３４から読
み出して表示記録するときに、同一のアドレス値でアク
セスでき、しかも水平方向の画素ずれを補正した状態で
読み出せることを意味する。容易な処理で画像を操作す
ることが可能となる。また、撮像装置１０ａの画像が撮
像装置１０ｂの画像より遅れている場合には、オフセッ
トが逆になることは明らかである。

【００２８】メモリ３４への書き込み時に画素ずれを補
正したが、メモリ３４からの読み出し時に画素ずれを補
正するようにしてもよい。すなわち、メモリ３４への書
き込み時には同じアドレス値を使用し、メモリ３４から
の読み出し時にオフセット量ｄに従い撮像装置１０ａか
らの画像の読み出しアドレス又は撮像装置１０ｂからの
画像の読み出しアドレスを調整する。図５に例示するよ
うに、撮像装置１０ａ，１０ｂの各撮影画像に対して画
素ずれを考慮して撮影画像よりも広いメモリ空間を設定
し、同じ書き込みアドレスで各撮影画像をメモリ３４に
書き込む。この書き込みでは、図５に例示するように、
一方の画像（例えば、撮像装置１０ｂの画像）は、他方
の画像（例えば、撮像装置１０ａの画像）に比べてオフ
セット量ｄだけ遅延しているので、両画像は、メモリ３
４上の各メモリ空間で斜線で示した領域に配置される。
このずれを読み出しアドレスを調整することで吸収す
る。図５に示す例では、撮像装置１０ｂ用メモリの読み
出しアドレスの起点を（０，０）とすると、撮像装置１
０ａ用メモリの読み出しアドレスの起点を（０，ｄ）と
する。これにより、撮像素子１４ａ，１４ｂの画像の同
じアドレスの画素値を同じタイミングで読み出すことが
できる。これは、水平方向の画素ずれを自動補正したこ
とになる。

【００２９】２つの撮像装置を有する場合を例に説明し
たが、３つ以上の撮像装置を有する場合でも同様であ
る。

【００３０】画像間の画素クロックずれ量は、画面毎に
一定とは限らない。そのような場合には、間欠的又は連
続的に画像クロックずれ検知回路３０で画素クロックず
れ量を検知するのが好ましい。画素クロックずれ検知回
路３０がプログラムにより実現されている場合には、一
定時間毎にそのプログラムを起動することになる。

【００３１】記憶装置３６は、フラッシュメモリカード
のように着脱自在なものであってもよい。

【００３２】画像信号が輝度／色差信号の場合、色差信
号の極性も合わせる必要がある。図６は、その変更実施
例の概略構成ブロック図を示す。図１と同じ構成要素に
は同じ符号を付してある。図６に示す実施例では、撮像
装置５０ａ，５０ｂは、それぞれ、信号処理回路２０
ａ，２０ｂの代わりとして、画像データが輝度（Ｙ）・
色差（Ｃ）空間で表現される画像データを出力する信号
処理回路５２ａ，５２ｂを具備する。信号処理回路５２
ａ，５２ｂは、画像データ以外に、色差の区別を示す極
性信号ＲＸＢを出力する。色差極性判別回路５４は、信
号処理回路５２ａ，５２ｂから出力される色差極性信号
ＲＸＢから、信号処理回路５０ａ，５０ｂから信号処理
回路５６に供給される画像データ（色差データ）の極性
を判別する。信号処理回路５６は、画素クロックずれ検
知回路３０の出力だけでなく、色差極性判別回路５４の
判別結果にも従って、後述するように動作する。

【００３３】図７は、信号処理回路５２ａ，５２ｂから
出力される画像データのフォーマットを示す。輝度
（Ｙ）データが８ビット、２つの色差（Ｃｒ，Ｃｂ）デ
ータがそれぞれ８ビットであるとすると、１つの画素ク
ロックで出力されるデータは１６ビットとなり、輝度デ
ータは画素クロック毎に出力されるが、色差データは、
Ｃｒ，Ｃｂ，Ｃｒ，Ｃｂ，・・・というように点順次で
出力される。

【００３４】ある画素クロックにおける色差データがＣ
ｒであるかＣｂであるかを示す信号を、上述のように色
差極性信号ＲＸＢと呼ぶ。信号処理回路５２ａ，５２ｂ
は、Ｃｒを出力しているときにＲＸＢに‘１’をセット
し、Ｃｂを出力しているときにＲＸＢに‘０’をセット
して色差極性判別回路５４及び信号処理回路５６に出力
する。撮像素子１４ａ，１４ｂが共に同期信号発生器２
６から出力される同期信号に完全に同期して駆動される
場合、信号処理回路５２ａ，５２ｂから出力されるＲＸ
Ｂ値は一致する。しかしながら、撮像素子１４ａ，１４
ｂの駆動に遅延が生じると、図８に示すように、同じア
ドレスの画素でも信号処理回路５２ａ，５２ｂから出力
されるＰＢＸが反転してしまうことがある。図８（１）
は信号処理回路５２ａから出力される画素クロック、同
（２）は信号処理回路５２ａから出力されるＲＸＢ、同
（３）は信号処理回路５２ｂから出力される画素クロッ
ク、同（４）は信号処理回路５２ｂから出力されるＲＸ
Ｂである。このとき、信号処理回路５２ａ，５２ｂから
出力される画像データは、同じアドレスであっても一方
がＣｒであるのに他方がＣｂになっている。これをＹ−
Ｃ入力のモニタなどに同時に表示すると、何れか一方が
色の反転した画像になってしまう。

【００３５】本実施例では、色差極性判別回路５４を設
けることで、このような弊害を防止できる。すなわち、
色差極性判別回路５４は、信号処理回路５２ａ，５２ｂ
から出力されるＲＸＢを比較し、両方の極性が一致して
いる時には判別値ｘ＝‘０’、極性が異なるときはｘ＝
‘１’にして、信号処理回路５６に印加する。信号処理
回路５６は、この判別値ｘに従い、メモリ３４への書き
込み開始アドレスを変更する。即ち、判別値ｘが‘０’
のときは書き込み開始アドレスをそのままに、判別値ｘ
が‘１’のときは、信号処理回路５２ｂの出力画像デー
タの書き込みアドレスのコラム値を１、増やす。

【００３６】このような制御により、撮像装置５０ａ，
５０ｂから出力される画像データを、その色差の極性レ
ベルまで同期させることができ、同時にメモリ３４から
読み出しても色の反転しない画像を表示でできる。

【００３７】２つの撮像装置を有する複眼撮像システム
を例に説明したが、３つ以上の撮像装置を有する多眼撮
像システムにも同様に適用できる。

【００３８】判別値ｘは、画面間で一定ではない。従っ
て、ＲＸＢの判別又は比較を継続的に実行するのが望ま
しい。色差極性判別回路５４をプログラムで実装する場
合には、そのプログラムを適当な間隔で起動すればよ
い。

【００３９】記憶装置３６は固定されたものでも、フラ
ッシュメモリカードのように着脱自在なものであって
も、どちらでもよい。

【００４０】本発明は、複数の機器から構成されるシス
テムに適用しても、一つの機器からなる装置に適用して
もよい。

【００４１】また、上述した実施例の機能を実現するよ
うに各種のデバイスを動作させるべく当該各種デバイス
と接続された装置又はシステム内のコンピュータに、上
記実施例の機能を実現するためのソフトウェアのプログ
ラムコードを供給し、その装置又はシステムのコンピュ
ータ（ＣＰＵ又はＭＰＵ）を、格納されたプログラムに
従って前記各種デバイスを動作させることによって実施
したものも、本願発明の範囲に含まれる。

【００４２】この場合、前記ソフトウエアのプログラム
コード自体が、前述した実施例の機能を実現することに
なり、そのプログラムコード自体、及びそのプログラム
コードをコンピュータに供給するための手段、例えば、
かかるプログラムコードを格納した記憶媒体は、本発明
を構成する。かかるプログラムコードを格納する記憶媒
体としては、例えば、フロッピーディスク、ハードディ
スク、光ディスク、光磁気ディスク、ＣＤ−ＲＯＭ、磁
気テープ、不揮発性のメモリカード及びＲＯＭ等を用い
ることが出来る。

【００４３】また、コンピュータが供給されたプログラ
ムコードを実行することにより、前述の実施例の機能が
実現されるだけではなく、そのプログラムコードがコン
ピュータにおいて稼働しているＯＳ（オペレーティング
システム）又は他のアプリケーションソフトウエア等と
共同して上述の実施例の機能が実現される場合にも、か
かるプログラムコードが本出願に係る発明の実施例に含
まれることは言うまでもない。

【００４４】更には、供給されたプログラムコードが、
コンピュータの機能拡張ボード又はコンピュータに接続
された機能拡張ユニットに備わるメモリに格納された
後、そのプログラムコードの指示に基づいて、その機能
拡張ボード又は機能拡張ユニットに備わるＣＰＵ等が実
際の処理の一部または全部を行い、その処理によって上
述した実施例の機能が実現される場合も、本出願に係る
発明に含まれることは言うまでもない。

【００４５】

【発明の効果】以上の説明から容易に理解できるよう
に、本発明によれば、画素単位で非同期に入力する画像
の水平方向のずれを自動補正できる。また、Ｙ−Ｃ色座
標系における画像データに対して、その色差極性を反転
することなく正確な画像を出力できる。

【図面の簡単な説明】

【図１】本発明の一実施例の概略構成ブロック図であ
る。

【図２】本実施例の同期信号及び画素クロックのタイ
ミングチャートである。

【図３】画素クロックずれ検知回路３０のフローチャ
ートである。

【図４】本実施例のメモリ構造の模式図である。

【図５】画素クロックずれを読み出し時に補正する場
合の説明図である。

【図６】変更実施例の概略構成ブロック図である。

【図７】Ｙ−Ｃ空間での画像データ構造の模式図であ
る。

【図８】図６に示す実施例のタイミングチャートであ
る。

【符号の説明】

１０ａ，１０ｂ：撮像装置１２ａ，１２ｂ：撮影レンズ１４ａ，１４ｂ：撮像素子１６ａ，１６ｂ：ＣＤＳ／ＡＧＣ回路１８ａ，１８ｂ：Ａ／Ｄ変換器２０ａ，２０ｂ：信号処理回路２２ａ，２２ｂ：タイミング発生回路２４ａ，２４ｂ：垂直駆動回路２６：同期信号発生器２８：信号処理回路３０：画素クロックずれ検知回路３２：ＣＰＵ３４：メモリ３６：記憶装置３８：ユーザインターフェース（キーボード及びマウス
など）４０：表示制御装置４２：ビデオメモリ（ＶＲＡＭ）４４：ＣＰＵバス４６：データバス４８：映像モニタ５０ａ，５０ｂ：撮像装置５２ａ，５２ｂ：信号処理回路５４：色差極性判別回路５６：信号処理回路

───────────────────────────────────────────────────── フロントページの続き (51)Int.Cl.⁷ 識別記号ＦＩテーマコート゛(参考）Ｈ０４Ｎ 13/02 Ｈ０４Ｎ 13/02 ５Ｌ０９６ 15/00 15/00 (72)発明者森克彦東京都大田区下丸子３丁目30番２号キヤノン株式会社内Ｆターム(参考） 5B047 AA30 EB15 5C020 AA05 AA13 AA22 CA11 CA15 5C022 AB61 AC41 AC54 5C054 AA01 AA05 CA04 CC02 EA01 EC07 FA00 FE18 FF02 GA01 GA04 GC03 5C061 AB04 AB06 AB08 AB24 5L096 AA02 BA20 CA05 DA05 GA08 GA41 HA13

Claims

【特許請求の範囲】

【請求項１】複数の撮像装置と、当該複数の撮像装置から出力される画像データ間の画素
クロックずれを検知する画素クロックずれ検知手段と、当該複数の撮像装置から出力される画像データを記憶す
るメモリと、当該画素クロックずれ検知手段の検知結果に従い、当該
メモリの書込みアドレス及び読み出しアドレスの一方を
調整するアドレス調整手段とを具備することを特徴とす
る撮像システム。
【請求項２】当該画素クロックずれ検知手段は、当該
複数の撮像装置から当該画像データと同時に出力される
水平同期信号のずれを、当該撮像装置から当該画像デー
タと同時に出力される画素クロックの単位で検出する請
求項１に記載の撮像システム。
【請求項３】更に、当該複数の撮像装置から出力され
る画像データ間の色差極性を判別する色差極性判別手段
を具備し、当該アドレス調整手段は、当該色差極性判別
手段の判別結果に従い、両者の色差極性が一致するよう
に、当該メモリの書込みアドレス及び読み出しアドレス
の一方を調整する請求項１に記載の撮像システム。
【請求項４】第１の画像データ及びそのタイミングを
示す第１のタイミング信号を出力する第１の画像出力手
段と、第２の画像データ及びそのタイミングを示す第２のタイ
ミング信号を入力する第２の画像出力手段と、当該第１及び第２の画像データ間の画素クロックずれを
検知する画素クロックずれ検知手段と、当該第１及び第２の画像データを記憶するメモリと、当該画素クロックずれ検知手段の検知結果に従い、当該
メモリの書込みアドレス及び読み出しアドレスの一方を
調整するアドレス調整手段とを具備することを特徴とす
る画像処理装置。
【請求項５】当該第１及び第２のタイミング信号が水
平同期信号及び画素クロック信号を含み、当該画素クロ
ックずれ検知手段は、当該第１及び第２の画像出力手段
から当該画像データと同時に出力される水平同期信号の
ずれを、当該第１及び第２の画像出力手段から当該画像
データと同時に出力される画素クロックの単位で検出す
る請求項４に記載の画像処理装置。
【請求項６】更に、当該第１及び第２の画像出力手段
から出力される画像データ間の色差極性を判別する色差
極性判別手段を具備し、当該アドレス調整手段は、当該
色差極性判別手段の判別結果に従い、両者の色差極性が
一致するように、当該メモリの書込みアドレス及び読み
出しアドレスの一方を調整する請求項４に記載の画像処
理装置。
【請求項７】第１及び第２の画像データを同期させる
画像処理方法であって、当該第１及び第２の画像データ間の画素クロックずれ
を、当該第１の画像データのタイミングを示す第１のタ
イミング信号及び当該第２の画像データのタイミングを
示す第２のタイミング信号により検知する画素クロック
ずれ検知ステップと、当該画素クロックずれ検知手段の検知結果に従い、当該
第１の画像データ及び当該第２の画像データのメモリへ
の書込みアドレス及び当該メモリからの読み出しアドレ
スの一方を調整するアドレス調整ステップとを具備する
ことを特徴とする画像処理方法。
【請求項８】当該第１及び第２のタイミング信号が水
平同期信号及び画素クロック信号を含み、当該画素クロ
ックずれ検知ステップは、当該第１及び第２の画像デー
タの水平同期信号間のずれを、当該第１及び第２の画像
データの一方の画素クロックの単位で検出する請求項７
に記載の画像処理方法。
【請求項９】更に、当該第１及び第２の画像データ間
の色差極性を判別する色差極性判別ステップを具備し、
当該アドレス調整ステップは、当該色差極性判別ステッ
プの判別結果に従い、両者の色差極性が一致するよう
に、当該メモリの書込みアドレス及び読み出しアドレス
の一方を調整する請求項７に記載の画像処理方法。
【請求項１０】第１及び第２の画像データを同期させ
る画像処理方法であって、当該第１及び第２の画像データ間の画素クロックずれ
を、当該第１の画像データのタイミングを示す第１のタ
イミング信号及び当該第２の画像データのタイミングを
示す第２のタイミング信号により検知する画素クロック
ずれ検知ステップと、当該画素クロックずれ検知手段の検知結果に従い、当該
第１の画像データ及び当該第２の画像データのメモリへ
の書込みアドレス及び当該メモリからの読み出しアドレ
スの一方を調整するアドレス調整ステップとを具備する
画像処理方法を実行するプログラム・ソフトウエアを記
憶する記憶媒体。
【請求項１１】当該第１及び第２のタイミング信号が
水平同期信号及び画素クロック信号を含み、当該画素ク
ロックずれ検知ステップは、当該第１及び第２の画像デ
ータの水平同期信号間のずれを、当該第１及び第２の画
像データの一方の画素クロックの単位で検出する請求項
１０に記載の記憶媒体。
【請求項１２】当該プログラム・ソフトウエアは更
に、当該第１及び第２の画像データ間の色差極性を判別
する色差極性判別ステップを具備し、当該アドレス調整
ステップは、当該色差極性判別ステップの判別結果に従
い、両者の色差極性が一致するように、当該メモリの書
込みアドレス及び読み出しアドレスの一方を調整する請
求項１０に記載の記憶媒体。