JP2008141326A - 撮像システム及びカメラユニット - Google Patents
撮像システム及びカメラユニット Download PDFInfo
- Publication number
- JP2008141326A JP2008141326A JP2006323548A JP2006323548A JP2008141326A JP 2008141326 A JP2008141326 A JP 2008141326A JP 2006323548 A JP2006323548 A JP 2006323548A JP 2006323548 A JP2006323548 A JP 2006323548A JP 2008141326 A JP2008141326 A JP 2008141326A
- Authority
- JP
- Japan
- Prior art keywords
- image data
- defect
- compression
- image
- processing unit
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- Studio Devices (AREA)
Abstract
【課題】画像の容量を抑えつつ画素欠陥によるノイズの発生を抑え、また画像処理アルゴリズムの選択肢を広げることが可能な撮像システム及びカメラユニットを提供する。
【解決手段】画像データを生成し圧縮するカメラ部3と、圧縮画像データを伸張し画像処理を行い表示可能な状態にして出力する画像処理部4とが分かれて構成されており、イーサネット等の伝送路5を介してカメラ部3の生成した画像データが画像処理部4に送信され画像処理が行われる。
【選択図】図1
【解決手段】画像データを生成し圧縮するカメラ部3と、圧縮画像データを伸張し画像処理を行い表示可能な状態にして出力する画像処理部4とが分かれて構成されており、イーサネット等の伝送路5を介してカメラ部3の生成した画像データが画像処理部4に送信され画像処理が行われる。
【選択図】図1
Description
本発明は、デジタル画像データを生成する撮像システム及びカメラユニットに関する。
従来のデジタルスチルカメラや、ビデオカメラ等では、固体撮像素子(CCD:Charge Coupled Device、CMOS:Complementary Metal Oxide Semiconductor等)で撮像した生画像(ベイヤ画像)に補間処理を施してRGBの三原色データを生成した後輝度信号と色差信号とに変換してJPEGやMPEG等に圧縮し、記録装置に記録する処理が行われている。
ここで、上述した従来のデジタルスチルカメラや、ビデオカメラにおいて、画像の各座標毎に一色の情報しか持たないベイヤ画像から、座標毎に赤、青、緑の3色の情報を有するRGB画像を生成する処理は、補間処理(デモザイク処理)と呼ばれる。しかし、デモザイク処理によって、3色の情報を有するように保管したRGB画像データの容量は、1色の情報しか有さないベイヤ画像データの要領と比較して、3倍程度に大きくなってしまうため、記憶容量に限界を有するデジタルスチルカメラやビデオカメラにおいて不利である、という不利益があった。
また、固体撮像素子は通常、その製造時に所定の個数以下の欠陥を有している。従来のデジタルスチルカメラやビデオカメラでは、これらの欠陥に起因する画素欠陥を補正する処理を行っている。この画素欠陥の補正処理は、画像の圧縮前に行われるが、画像の圧縮がJPEGやMPEG等の周波数変換を伴う圧縮アルゴリズムで実行された場合には、補正された画素欠陥部は周囲と異なる画素値を有するために、圧縮が正しく行われず、圧縮された画像の伸張時(再生時)に周囲に影響を及ぼしてしまう。この周囲への影響はノイズとなって現れ、このノイズはその視覚的特徴からモスキートノイズと呼ばれ、再生画像の劣化の一因となる。
上述したような各種処理は、従来はデジタルスチルカメラやビデオカメラの内部で行われる。画像処理にはその目的や方式によって様々なアルゴリズムが開発されており、画像の特性や撮影条件に応じて最適なアルゴリズムを選択することによって、より高い画質を得ることもできるようになる。しかし、携帯性や消費電力の観点からデジタルスチルカメラやビデオカメラに搭載される機器資源には限りがあるために、搭載できるアルゴリズムの数が少なかったり、比較的簡単なアルゴリズムしか搭載することができなかったりする、という不利益がある。また、従来のデジタルスチルカメラやビデオカメラの構成では、一度搭載したアルゴリズムの変更を行うことができない、という不利益がある。
本発明は、上述した不利益を解消するために、画像の容量を抑えつつ画素欠陥によるノイズの発生を抑え、また画像処理アルゴリズムの選択肢を広げることが可能な撮像システム及びカメラユニットを提供することを目的とする。
上述した目的を達成するために、第1の発明の撮像システムは、画像データを生成し送信するカメラ部と、前記カメラ部が送信した前記画像データにデジタル画像処理を行う画像処理部と、前記カメラ部と前記画像処理部との間の通信データを伝送する伝送路と、を有し、前記カメラ部は、画像データを生成する撮像素子と、前記撮像素子が生成した画像データを圧縮する圧縮処理部と、前記圧縮処理部が圧縮した圧縮画像データを前記伝送路を介して前記画像処理部に送信する送信部と、制御部と、を有し、前記制御部は、前記撮像素子が生成する画像データに当該撮像素子の欠陥に起因する画素欠陥が存在する場合に、当該画素欠陥の位置情報を含む欠陥データを前記圧縮画像データに付加して前記送信部に送信させる。
第2の発明のカメラは、画像データを生成する撮像素子と、前記撮像素子が生成した画像データを圧縮する圧縮処理部と、前記圧縮処理部が圧縮した圧縮画像データを伝送路を介して送信する送信部と、制御部と、を有し、前記制御部は、前記撮像素子が生成する画像データに当該撮像素子の欠陥に起因する画素欠陥が存在する場合に、当該画素欠陥の位置情報を含む欠陥データを前記圧縮画像データに付加して前記送信部に送信させる。
第3の発明の撮像システムは、画像データを生成し出力するカメラ部と、外部記録装置と、を有し、前記カメラ部は、画像データを生成する撮像素子と、前記撮像素子が生成した画像データを圧縮する圧縮処理部と、制御部と、を有し、前記制御部は、前記撮像素子が生成する画像データに当該撮像素子の欠陥に起因する画素欠陥が存在する場合に、当該画素欠陥の位置情報を含む欠陥データを前記圧縮画像データに付加して出力させ、前記外部記録装置は、前記カメラ部が出力した前記圧縮画像データ及び前記欠陥データを記録する。
本発明によれば、画像の容量を抑えつつ画素欠陥によるノイズの発生を抑え、また画像処理アルゴリズムの選択肢を広げることが可能な撮像システム及びカメラユニットを提供することができる。
以下、本発明の撮像システム100について説明する。
本発明の撮像システム100では、静止画データあるいは動画データのどちらを生成する撮像システムであってもよい。
本発明の撮像システム100は、図1に示すように、撮像ユニット1と画像圧縮部2とからなるカメラ部3、画像処理部4を有する。
図1は、撮像システム100の構成例を示すブロック図である。
本発明の撮像システム100では、静止画データあるいは動画データのどちらを生成する撮像システムであってもよい。
本発明の撮像システム100は、図1に示すように、撮像ユニット1と画像圧縮部2とからなるカメラ部3、画像処理部4を有する。
図1は、撮像システム100の構成例を示すブロック図である。
カメラ部3は、撮像ユニット1及び画像圧縮部2を有し、画像を撮像してA/D変換、圧縮等の処理を行い、処理した画像データを後述する画像処理部4に送信する。
撮像ユニット1は、図1に示すように、レンズ11、撮像素子12、アナログ信号処理部13を有し、画像の撮像を行うブロックである。
レンズ11は、撮像素子12に被写体からの光を集めて通す。
撮像ユニット1は、図1に示すように、レンズ11、撮像素子12、アナログ信号処理部13を有し、画像の撮像を行うブロックである。
レンズ11は、撮像素子12に被写体からの光を集めて通す。
撮像素子12は、CCD(Charge Coupled Device)やCMOS(Complementary Metal Oxide Semiconductor)等を有し、レンズ11が集光した光をアナログの電気信号(画像データ)に変換する。ここで、撮像素子12が生成した画像データは、図2(a)に示すように、各画素につき1色の情報を有するベイヤパターンの画像データである。
図2は、ベイヤ画像データを説明するための図である。
アナログ信号処理部13は、撮像素子12が出力したベイヤパターンのアナログ画像データに対し、ゲイン調整等のアナログ処理を行う。
図2は、ベイヤ画像データを説明するための図である。
アナログ信号処理部13は、撮像素子12が出力したベイヤパターンのアナログ画像データに対し、ゲイン調整等のアナログ処理を行う。
画像圧縮部2は、図1に示すように、A/D変換部21、圧縮処理部22、送信部23、メモリ24、CPU25を有する。
A/D変換部21は、カメラ部3から出力されたベイヤパターンのアナログ画像データをデジタルベイヤ画像データに変換する。
圧縮処理部22は、A/D変換部21が出力したデジタルベイヤ画像データを符号化して圧縮する。圧縮処理には、JPEG、MPEG等の非可逆圧縮(圧縮前のデータと、圧縮・伸張を経たデータとが完全には一致しないデータ圧縮方法)か、lossless−JPEGやJPEG2000等の可逆圧縮(圧縮前のデータと、圧縮・伸張の処理を経たデータが完全に等しくなるデータ圧縮方法)かのいずれかの圧縮方法が使用される。
A/D変換部21は、カメラ部3から出力されたベイヤパターンのアナログ画像データをデジタルベイヤ画像データに変換する。
圧縮処理部22は、A/D変換部21が出力したデジタルベイヤ画像データを符号化して圧縮する。圧縮処理には、JPEG、MPEG等の非可逆圧縮(圧縮前のデータと、圧縮・伸張を経たデータとが完全には一致しないデータ圧縮方法)か、lossless−JPEGやJPEG2000等の可逆圧縮(圧縮前のデータと、圧縮・伸張の処理を経たデータが完全に等しくなるデータ圧縮方法)かのいずれかの圧縮方法が使用される。
以下、圧縮処理部22の画像圧縮処理について詳しく説明する。
圧縮処理部22は、図2(a)に示すように、画像内の各画素が1色の情報を有するベイヤ画像データを、図2(b)〜(d)に示すように、色毎に分割し、分割された色毎の画像データに対して圧縮処理を行う。
圧縮処理部22は、図2(a)に示すように、画像内の各画素が1色の情報を有するベイヤ画像データを、図2(b)〜(d)に示すように、色毎に分割し、分割された色毎の画像データに対して圧縮処理を行う。
また、圧縮処理部22は、圧縮する対象の画像データ内において、撮像素子12の欠陥の有無に応じて非可逆圧縮を行うか可逆圧縮を行うかを決定する。
撮像素子12は、所定の個数以下の欠陥を有する場合がある。撮像素子12が有する欠陥は、撮像素子12の製造時に生じる欠陥であり、その位置は個々の撮像素子に固有である。この欠陥は、背景技術において説明したように後述する圧縮(符号化)処理及び伸張(復号)処理の際に画像にノイズを生じさせる原因となる。そこで、欠陥を考慮した圧縮処理及び伸張処理を行うことによりノイズの発生を抑えるために、本発明の撮像システム100では、生成したベイヤパターンのアナログ画像データに欠陥に関する情報を有する欠陥データが付加されて後述する画像処理部4に送信され、欠陥を補間するための欠陥処理が行われるようになっている。
撮像素子12は、所定の個数以下の欠陥を有する場合がある。撮像素子12が有する欠陥は、撮像素子12の製造時に生じる欠陥であり、その位置は個々の撮像素子に固有である。この欠陥は、背景技術において説明したように後述する圧縮(符号化)処理及び伸張(復号)処理の際に画像にノイズを生じさせる原因となる。そこで、欠陥を考慮した圧縮処理及び伸張処理を行うことによりノイズの発生を抑えるために、本発明の撮像システム100では、生成したベイヤパターンのアナログ画像データに欠陥に関する情報を有する欠陥データが付加されて後述する画像処理部4に送信され、欠陥を補間するための欠陥処理が行われるようになっている。
撮像素子の欠陥による画素欠陥を有する画像データを非可逆圧縮した後に伸張した場合、モスキートノイズと呼ばれるノイズが伸張された画像上に現れやすくなる。モスキートノイズとは、JPEGやMPEG等、DCT(Discrete Cosine Transform:離散コサイン変換)やWavelet変換等の周波数変換を使用した非可逆圧縮技術によって圧縮された画像に現れるノイズである。モスキートノイズは、周囲と比較して画素値が急激に変化している部位、すなわち物体の境界線付近等に生じやすいノイズであるため、周囲と画素値が異なる画素欠陥部にもモスキートノイズが現れやすい。
このため、圧縮処理部22では、デジタルベイヤ画像データを、画素欠陥を含む部位とそうでない部位とに分割し、画素欠陥を含む部位に対しては可逆圧縮(lossless−JPEGやJPEG2000等)を行うか、或いは無圧縮のままとし、画素欠陥を含まない部位に対しては非可逆圧縮(JPEG、MPEG等)を行う。
一般に、JPEGやMPEG等の非可逆圧縮を行う場合には、画像データは例えば8画素×8画素によって構成されるブロックに分割され、それぞれのブロック毎に独立して圧縮が行われる。本発明の撮像システム100においては、圧縮処理部22は、デジタルベイヤ画像データを図3(a)に示すように8×8画素のブロックに分割し、図3(b)に示すように、画素欠陥を含むブロックに対しては上述したように可逆圧縮を行い(或いは無圧縮のままとし)、それ以外のブロックに対しては非可逆圧縮を行う。
図3は、圧縮処理部22の非可逆圧縮を行う部位と可逆圧縮を行う部位の決定方法の具体例を説明するための図である。
図3は、圧縮処理部22の非可逆圧縮を行う部位と可逆圧縮を行う部位の決定方法の具体例を説明するための図である。
圧縮処理部22は、上述したように、デジタルベイヤ画像データを、画素欠陥を含むブロックに対しては可逆圧縮(あるいは圧縮なし)を行い、それ以外のブロックに対して非可逆圧縮を行う。圧縮処理部22の圧縮した画像データの記述方法について以下説明する。
図4は、圧縮処理部22の圧縮画像データの記述方法を説明するための図である。
図4(a)に示すように、画像データを分割した各8画素×8画素のブロックに対してナンバリングした場合に、圧縮された画像データは図4(b)及び(c)に示すような符号化データ(ビットストリーム)形式で記述するとする。すなわち、符号化データには、その先頭から、ヘッダ情報、ブロック0の情報、ブロック1の情報…というように順番に各ブロックの情報が並べられて記述される。
図4は、圧縮処理部22の圧縮画像データの記述方法を説明するための図である。
図4(a)に示すように、画像データを分割した各8画素×8画素のブロックに対してナンバリングした場合に、圧縮された画像データは図4(b)及び(c)に示すような符号化データ(ビットストリーム)形式で記述するとする。すなわち、符号化データには、その先頭から、ヘッダ情報、ブロック0の情報、ブロック1の情報…というように順番に各ブロックの情報が並べられて記述される。
図4において、図4(b)と図4(c)とは異なる記述方法を示している。
まず、図4(b)では、各ブロックの情報には先頭に可逆圧縮を行ったブロックであるか・非可逆圧縮を行ったブロックであるかを示すフラグが付加されている場合を示している。すなわち、例えば、ブロック1等には非可逆圧縮が行われたことを示す「0」、ブロック10には可逆圧縮が行われたことを示す「1」のフラグが付加されている。
まず、図4(b)では、各ブロックの情報には先頭に可逆圧縮を行ったブロックであるか・非可逆圧縮を行ったブロックであるかを示すフラグが付加されている場合を示している。すなわち、例えば、ブロック1等には非可逆圧縮が行われたことを示す「0」、ブロック10には可逆圧縮が行われたことを示す「1」のフラグが付加されている。
また、図4(c)に示すように、符号化データの先頭、ヘッダの部分に各ブロックの可逆・非可逆圧縮フラグをまとめて記述するようにしてもよい。この場合、可逆・非可逆圧縮フラグ内の順番と、その後の各ブロックの情報の順番とが対応しており、それぞれのブロックが可逆圧縮されたか非可逆圧縮であるかがわかるようになっている。ただし、図4(c)に示した場合では、各ブロックの可逆・非可逆圧縮フラグを全てのブロックが伸張されるまで保持される必要がある。しかし、全てのブロックの可逆・非可逆圧縮フラグをまとめてあるために、符号化データの容量が小さくなるという利点を有する。
なお、本発明の撮像システム100の圧縮処理部22の圧縮画像データの記述方法は、上述した方法には限定されない。他の方法で記述してもよい。
圧縮処理部22は、上述したようにデジタルベイヤ画像データを圧縮する。
なお、本発明の撮像システム100の圧縮処理部22の圧縮画像データの記述方法は、上述した方法には限定されない。他の方法で記述してもよい。
圧縮処理部22は、上述したようにデジタルベイヤ画像データを圧縮する。
送信部23は、圧縮処理部22が圧縮処理した圧縮画像データと、後述するメモリ24に記憶された欠陥データとを、後述する受信部41に送信するための処理を行う。送信部23と受信部41間の通信には、例えばイーサネット(登録商標)等の伝送路5を使用する。
メモリ24は、撮像素子12の欠陥データを記憶している。欠陥データとは、欠陥の位置のデータの他に、白色固定の欠陥(白点)であるのか、黒色固定の欠陥(黒点)であるのか、それ以外の色の欠陥であるのか、製造時からある欠陥であるのか、後天的な欠陥(例えば宇宙線等に起因する)であるのか、等の情報を含んでいても良い。
CPU25は、画像圧縮部2の各構成を統括的に制御する。
メモリ24は、撮像素子12の欠陥データを記憶している。欠陥データとは、欠陥の位置のデータの他に、白色固定の欠陥(白点)であるのか、黒色固定の欠陥(黒点)であるのか、それ以外の色の欠陥であるのか、製造時からある欠陥であるのか、後天的な欠陥(例えば宇宙線等に起因する)であるのか、等の情報を含んでいても良い。
CPU25は、画像圧縮部2の各構成を統括的に制御する。
ここまで説明した構成を含むカメラ部3は、後述する画像処理部4とは独立して構成されている。カメラ部3では、上述したように、画像の圧縮処理のみを行い、デジタル画像処理(RGB信号生成や輝度信号・色差信号生成処理等)のような複雑で重い処理を行わないため、必要な構成も少なく、携帯性が損なわれないように構成されている。
画像処理部4は、画像圧縮部2から送信された圧縮画像データと欠陥データを受信し、伸張し、デジタル画像処理を行う。
画像処理部4は、例えばPC(Personal Computer)等、カメラ部3とは独立した情報処理装置であり、伝送路5を介してカメラ部3から送信された圧縮画像データに伸張およびデジタル信号処理を行う。
画像処理部4は、図1に示すように、受信部41、画像伸張部42、デジタル信号処理部43、表示処理部44、CPU45を有する。
受信部41は、伝送路5を通じて画像圧縮部2の送信部23から送信された圧縮デジタルベイヤ画像データと欠陥データを受信する。
画像処理部4は、例えばPC(Personal Computer)等、カメラ部3とは独立した情報処理装置であり、伝送路5を介してカメラ部3から送信された圧縮画像データに伸張およびデジタル信号処理を行う。
画像処理部4は、図1に示すように、受信部41、画像伸張部42、デジタル信号処理部43、表示処理部44、CPU45を有する。
受信部41は、伝送路5を通じて画像圧縮部2の送信部23から送信された圧縮デジタルベイヤ画像データと欠陥データを受信する。
画像伸張部42は、圧縮デジタルベイヤ画像データの伸張処理を行う。
画像伸張部42は、例えば図4(b)及び(c)に示した記述方法で記述された圧縮画像データを、付加された可逆・非可逆圧縮フラグを基に、圧縮方法に応じた伸張方法で伸張する。
画像伸張部42は伸張処理によって、画素欠陥を含むブロックに関しては圧縮による劣化が無いデジタルベイヤ画像データ、画素欠陥を含まないブロックに関しては非可逆圧縮により劣化したデジタルベイヤ画像データを得る。
画像伸張部42は、例えば図4(b)及び(c)に示した記述方法で記述された圧縮画像データを、付加された可逆・非可逆圧縮フラグを基に、圧縮方法に応じた伸張方法で伸張する。
画像伸張部42は伸張処理によって、画素欠陥を含むブロックに関しては圧縮による劣化が無いデジタルベイヤ画像データ、画素欠陥を含まないブロックに関しては非可逆圧縮により劣化したデジタルベイヤ画像データを得る。
デジタル信号処理部43は、画像伸張部42が伸張したデジタルベイヤ画像データに対し、欠陥を補間する欠陥処理を行う。
欠陥処理の方法としては、例えば、画素欠陥の画素値を、所定の数の周囲の画素値を平均することにより算出する単純な方法がある。すなわち、画素欠陥部の画素値は周囲の画素値と類似していると予想できるために、このような方法により画素欠陥を補完することができる。ただし、この方法では、画素欠陥の周囲の画素値のばらつきが大きい場合に、うまく補間することができない。
よりよい欠陥処理の方法としては、例えば、より多くの周囲の画素値を平均したり、画素欠陥部の周辺の画素の周波数分布を利用して補間を行ったり、といった方法がある。ただし、本発明では欠陥処理の詳しい方法については限定しない。
欠陥処理の方法としては、例えば、画素欠陥の画素値を、所定の数の周囲の画素値を平均することにより算出する単純な方法がある。すなわち、画素欠陥部の画素値は周囲の画素値と類似していると予想できるために、このような方法により画素欠陥を補完することができる。ただし、この方法では、画素欠陥の周囲の画素値のばらつきが大きい場合に、うまく補間することができない。
よりよい欠陥処理の方法としては、例えば、より多くの周囲の画素値を平均したり、画素欠陥部の周辺の画素の周波数分布を利用して補間を行ったり、といった方法がある。ただし、本発明では欠陥処理の詳しい方法については限定しない。
また、デジタル信号処理部43は、欠陥処理されたデジタルベイヤ画像データを基に輝度信号と式差信号を生成し、更に、自動露光処理、自動焦点処理、色信号処理(ホワイトバランス調整、γ処理等)、輝度信号処理(低周波部分抽出等)等のデジタル画像信号処理を行う。
表示処理部44は、画像データを表示するための処理を行い出力する。
CPU45は、画像処理部4の各構成に対して統括的な制御を行う。
表示処理部44は、画像データを表示するための処理を行い出力する。
CPU45は、画像処理部4の各構成に対して統括的な制御を行う。
次に、本発明の撮像システム100の動作例について説明する。
図5は、撮像システム100の動作例を説明するためのフローチャートである。
ステップST1:
撮像素子12は、レンズ11を通過した光を基にアナログベイヤ画像データを生成する。
ステップST2:
アナログ信号処理部13は、アナログベイヤ画像データに対しゲイン調整等のアナログ信号処理を行う。
図5は、撮像システム100の動作例を説明するためのフローチャートである。
ステップST1:
撮像素子12は、レンズ11を通過した光を基にアナログベイヤ画像データを生成する。
ステップST2:
アナログ信号処理部13は、アナログベイヤ画像データに対しゲイン調整等のアナログ信号処理を行う。
ステップST3:
A/D変換部21がアナログベイヤ画像データをアナログ・デジタル変換し、デジタルベイヤ画像データを生成する。
ステップST4:
圧縮処理部22がデジタルベイヤ画像データを圧縮し圧縮画像データを生成する。
A/D変換部21がアナログベイヤ画像データをアナログ・デジタル変換し、デジタルベイヤ画像データを生成する。
ステップST4:
圧縮処理部22がデジタルベイヤ画像データを圧縮し圧縮画像データを生成する。
ステップST5:
送信部23が圧縮画像データと欠陥データを伝送路5を介して受信部41に送信する。
ステップST6:
受信部41が圧縮画像データと欠陥データを受信する。
送信部23が圧縮画像データと欠陥データを伝送路5を介して受信部41に送信する。
ステップST6:
受信部41が圧縮画像データと欠陥データを受信する。
ステップST7:
画像伸張部42が圧縮画像データを伸張しデジタルベイヤ画像データを得る。
ステップST8:
デジタル信号処理部43がステップST7において画像伸張部が伸張したデジタルベイヤ画像データのうち、画素欠陥を含むブロックに対して欠陥を補間する欠陥処理を行う。
画像伸張部42が圧縮画像データを伸張しデジタルベイヤ画像データを得る。
ステップST8:
デジタル信号処理部43がステップST7において画像伸張部が伸張したデジタルベイヤ画像データのうち、画素欠陥を含むブロックに対して欠陥を補間する欠陥処理を行う。
ステップST9:
デジタル信号処理部43が輝度信号・式差信号の生成を含むデジタル画像処理を行う。
ステップST10:
表示処理部44が表示するための処理を行う。
デジタル信号処理部43が輝度信号・式差信号の生成を含むデジタル画像処理を行う。
ステップST10:
表示処理部44が表示するための処理を行う。
次に、圧縮処理部22が行う圧縮処理の動作例について説明する。
図6は、圧縮処理部22の圧縮処理時の動作例を説明するためのフローチャートである。
ステップST11:
圧縮処理部22は、デジタルベイヤ画像データを所定の大きさのブロック、例えば8画素×8画素のブロックに分割する。
ステップST12:
圧縮処理部22は、ステップST11において分割されたブロックが、画素欠陥を含むブロックであった場合には、ステップST16に進み、そうでない場合はステップST13に進む。
図6は、圧縮処理部22の圧縮処理時の動作例を説明するためのフローチャートである。
ステップST11:
圧縮処理部22は、デジタルベイヤ画像データを所定の大きさのブロック、例えば8画素×8画素のブロックに分割する。
ステップST12:
圧縮処理部22は、ステップST11において分割されたブロックが、画素欠陥を含むブロックであった場合には、ステップST16に進み、そうでない場合はステップST13に進む。
ステップST13:
圧縮処理部22は、当該ブロックに対して非可逆圧縮処理を行う。
ステップST14:
圧縮処理部22は、当該ブロックに対して非可逆圧縮フラグを付加する。
圧縮処理部22は、当該ブロックに対して非可逆圧縮処理を行う。
ステップST14:
圧縮処理部22は、当該ブロックに対して非可逆圧縮フラグを付加する。
ステップST15:
圧縮処理部22は、ステップST11において分割された全てのステップにおいて圧縮が終了した場合には圧縮処理を終了し、そうでない場合にはステップST18に進む。
圧縮処理部22は、ステップST11において分割された全てのステップにおいて圧縮が終了した場合には圧縮処理を終了し、そうでない場合にはステップST18に進む。
ステップST16:
圧縮処理部22は、当該ブロックに対して可逆圧縮処理を行う。
ステップST17:
圧縮処理部22は、当該ブロックに対して可逆圧縮フラグを付加する。
ステップST18:
圧縮処理部22は、次のブロックに圧縮処理を移行してステップST12に戻る。
圧縮処理部22は、当該ブロックに対して可逆圧縮処理を行う。
ステップST17:
圧縮処理部22は、当該ブロックに対して可逆圧縮フラグを付加する。
ステップST18:
圧縮処理部22は、次のブロックに圧縮処理を移行してステップST12に戻る。
以上説明したように、本発明の撮像システム100によれば、画像データを生成し圧縮するカメラ部3と、圧縮画像データを伸張し画像処理を行い表示可能な状態にして出力する画像処理部4とが分かれて構成されており、イーサネット(登録商標)等の伝送路5を介してカメラ部3の生成した画像データが画像処理部4に送信され画像処理が行われるようになっているため、カメラ部3の携帯性を損なわずに、画像処理部4において複雑で重い画像処理を行うことができる。また、画像処理部4がカメラ部3から独立しているために、画像処理のアルゴリズムを自由に変更することができ、より効率が良い画像処理を行うことができるようになる。
すなわち、画像処理部4が画像処理を担うことで、カメラ部3の必要資源を少なくすることができ、特にカメラ部3のみを数多く製造したい場合に有利である。また、画像処理部4を適宜取り替えることで、目的にあわせて画像処理アルゴリズムを変更することが可能になる。特に、近年の技術開発によって高周波数、高性能のCPUが安価に入手出来るようになっており、例えば携帯性を求められない等の理由により、画像処理部4に高性能のCPU45を搭載可能である場合は、ソフトウェアによってアルゴリズムを実現することで画像処理部4の画像処理方式に柔軟性を持たせることが可能となる。
すなわち、画像処理部4が画像処理を担うことで、カメラ部3の必要資源を少なくすることができ、特にカメラ部3のみを数多く製造したい場合に有利である。また、画像処理部4を適宜取り替えることで、目的にあわせて画像処理アルゴリズムを変更することが可能になる。特に、近年の技術開発によって高周波数、高性能のCPUが安価に入手出来るようになっており、例えば携帯性を求められない等の理由により、画像処理部4に高性能のCPU45を搭載可能である場合は、ソフトウェアによってアルゴリズムを実現することで画像処理部4の画像処理方式に柔軟性を持たせることが可能となる。
また、本発明の撮像システム100によれば、カメラ部3において圧縮処理部22がデジタル画像データを圧縮する際に、従来のデジタルカメラのようにRGB画像データ(1つの画素につき3色の情報を有する)を使用せずに、より情報量が少ないベイヤ画像データ(1つの画素につき1色の情報を有する)を圧縮しているため、圧縮画像データの容量を従来と比較して抑えることができ、伝送路5を介した送信の際に伝送路に過負荷がかからないようになっている。
また、本発明の撮像システム100によれば、撮像素子12に存在する欠陥による画像データの画素欠陥を含むブロックに対しては圧縮処理部22は可逆圧縮をし、それ以外のブロックに対して非可逆圧縮を行っているので、画素欠陥を含む画像データを非可逆圧縮し伸張した場合に画素欠陥が周囲に及ぼす影響を抑制し、伸張後の画像データにノイズが現れることを抑止することができる。
本発明は上述した実施形態には限定されない。
すなわち、本発明の実施に際しては、本発明の技術的範囲またはその均等の範囲内において、上述した実施形態の構成要素に関し様々な変更、コンビネーション、サブコンビネーション、並びに代替を行ってもよい。
すなわち、本発明の実施に際しては、本発明の技術的範囲またはその均等の範囲内において、上述した実施形態の構成要素に関し様々な変更、コンビネーション、サブコンビネーション、並びに代替を行ってもよい。
なお、デジタル信号処理部43が行う画素欠陥を補間する欠陥処理において、画素欠陥を補間するために画素欠陥の周囲の複数の画素を使用して補間を行うようにしてもよい。具体的な補間方法については本発明では限定しないが、このようにすることにより、より欠陥処理の精度が向上することが期待される。この場合、必要となる周囲の画素の個数は、欠陥処理の方法によって異なるが、例えば、欠陥処理のために画素欠陥の周囲上下左右に3画素ずつが必要であった場合には、画素欠陥が上述した8×8画素のブロックの端のほうに位置していたとすると、圧縮処理部22が圧縮を行う際に、図7(a)に示すようにブロックB内の画素欠陥を補間するために必要な画素がブロックA内にも存在するために、ブロックAも可逆圧縮の対象となる。また、図7(b)に示すように、画素欠陥がブロックBの隅に存在していた場合には、ブロックA及びブロックDも可逆圧縮の対象となる。この場合には、例えば図6のフローチャート中のステップST12において、欠陥座標を含むブロックであるか否かを判定するだけでなく、上述したように、画素欠陥の補間に必要な画素を含むブロックをも判定し、ステップST16およびST17において判定されてブロックに対して可逆圧縮処理及び可逆圧縮フラグ付加を行うようにすればよい。
或いは、図7(a)におけるブロックAのように、画素欠陥を持つブロックに隣接しており、画素欠陥に必要とされる画素を含んでいる場合でも、ブロックA自体の範囲内には欠陥が無いため、必要とされている画素が非可逆圧縮処理によって大きく変化することはないと判断し、ブロックAに対しては非可逆変換を行う、という選択肢も考えられる。
或いは、図7(a)におけるブロックAのように、画素欠陥を持つブロックに隣接しており、画素欠陥に必要とされる画素を含んでいる場合でも、ブロックA自体の範囲内には欠陥が無いため、必要とされている画素が非可逆圧縮処理によって大きく変化することはないと判断し、ブロックAに対しては非可逆変換を行う、という選択肢も考えられる。
また、画素欠陥周辺の画素の分布状況によっては、送信部23が圧縮画像データに欠陥データを付加しない構成にすることも可能である。例えば、画素欠陥が黒点の欠陥であり、画素欠陥周辺の画素が黒色がちな分布であった場合には、その欠陥を欠陥として見なさないことにすることも可能である。すなわち、目立たないため修正の必要がない欠陥の周辺部分に対して非可逆圧縮処理を行い、より小さいデータとして転送することも可能である。
具体的には、圧縮処理部22が画像圧縮時に、画素欠陥周辺の画素値を基に当該画素が目立たないか否かを判定し、目立たないと判定された場合には当該画素欠陥の欠陥データを送信部23が当該画素欠陥を含むブロックの圧縮画像データに付加しないようにすればよい。
ただし、欠陥データを付加しない変形例は、静止画の生成時にのみ適用することが出来る。動画生成の際には、画像が刻々と変化するため、ある欠陥が常に目立たない可能性は低いからである。
具体的には、圧縮処理部22が画像圧縮時に、画素欠陥周辺の画素値を基に当該画素が目立たないか否かを判定し、目立たないと判定された場合には当該画素欠陥の欠陥データを送信部23が当該画素欠陥を含むブロックの圧縮画像データに付加しないようにすればよい。
ただし、欠陥データを付加しない変形例は、静止画の生成時にのみ適用することが出来る。動画生成の際には、画像が刻々と変化するため、ある欠陥が常に目立たない可能性は低いからである。
また、本発明の上述した実施形態とは異なる実施例として、上述した実施形態の画像処理部4の代わりに、外部記録装置6を有していてもよい。この場合、上述した実施形態と同様の撮像ユニット1、画像圧縮部2を含むカメラ部3から伝送路5を介して送信された圧縮画像データ及び欠陥データは、外部記録装置6に記録される。外部記録装置6に例えばHDD、MO、DVD等の可搬性のある記録装置を使用することによって、圧縮画像データ及び欠陥データを容易に持ち運ぶことができ、また圧縮画像データ及び欠陥データがともに記録されているので容易に伸張し画像処理を行うことが可能となる。また、この場合、イーサネット(登録商標)等の伝送路5を介してカメラ部3と外部記録装置6とは通信を行わなくても良く、例えば有線接続によりカメラ部3が画像データ及び欠陥データを外部記録装置6に送信してもよい。
100…撮像システム、1…撮像ユニット、11…レンズ、12…撮像素子、13…アナログ信号処理部、2…画像圧縮部、21…A/D変換部、22…圧縮処理部、23…送信部、24…メモリ、25…CPU、3…カメラ部、4…画像処理部、41…受信部、42…画像伸張部、43…デジタル信号処理部、44…表示処理部、45…CPU、5…伝送路、6…外部記録装置
Claims (6)
- 画像データを生成し送信するカメラ部と、
前記カメラ部が送信した前記画像データにデジタル画像処理を行う画像処理部と、
前記カメラ部と前記画像処理部との間の通信データを伝送する伝送路と、
を有し、
前記カメラ部は、
画像データを生成する撮像素子と、
前記撮像素子が生成した画像データを圧縮する圧縮処理部と、
前記圧縮処理部が圧縮した圧縮画像データを前記伝送路を介して前記画像処理部に送信する送信部と、
制御部と、
を有し、
前記制御部は、前記撮像素子が生成する画像データに当該撮像素子の欠陥に起因する画素欠陥が存在する場合に、当該画素欠陥の位置情報を含む欠陥データを前記圧縮画像データに付加して前記送信部に送信させる
撮像システム。 - 前記制御部は、前記圧縮処理部に画像データを圧縮させる際に、当該画像データを所定数の画素により構成される所定のブロックに分割し、前記画素欠陥を含むブロックを可逆圧縮させ、前記画素欠陥を含まないブロックを非可逆圧縮させる
請求項1に記載の撮像システム。 - 前記制御部は、前記圧縮処理部に、可逆圧縮させたブロックには可逆圧縮されたことを示す可逆圧縮フラグを付加し、非可逆圧縮させたブロックには非可逆圧縮されたことを示す非可逆圧縮フラグを付加して前記圧縮画像データを生成させる
請求項2に記載の撮像システム。 - 前記制御部は、前記圧縮処理部に圧縮させる画像データとして、前記撮像素子が生成したベイヤ画像データを使用する
請求項2に記載の撮像システム。 - 画像データを生成する撮像素子と、
前記撮像素子が生成した画像データを圧縮する圧縮処理部と、
前記圧縮処理部が圧縮した圧縮画像データを伝送路を介して送信する送信部と、
制御部と、
を有し、
前記制御部は、前記撮像素子が生成する画像データに当該撮像素子の欠陥に起因する画素欠陥が存在する場合に、当該画素欠陥の位置情報を含む欠陥データを前記圧縮画像データに付加して前記送信部に送信させる
カメラユニット。 - 画像データを生成し出力するカメラ部と、
外部記録装置と、
を有し、
前記カメラ部は、
画像データを生成する撮像素子と、
前記撮像素子が生成した画像データを圧縮する圧縮処理部と、
制御部と、
を有し、
前記制御部は、前記撮像素子が生成する画像データに当該撮像素子の欠陥に起因する画素欠陥が存在する場合に、当該画素欠陥の位置情報を含む欠陥データを前記圧縮画像データに付加して出力させ、
前記外部記録装置は、前記カメラ部が出力した前記圧縮画像データ及び前記欠陥データを記録する
撮像システム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2006323548A JP2008141326A (ja) | 2006-11-30 | 2006-11-30 | 撮像システム及びカメラユニット |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2006323548A JP2008141326A (ja) | 2006-11-30 | 2006-11-30 | 撮像システム及びカメラユニット |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2008141326A true JP2008141326A (ja) | 2008-06-19 |
Family
ID=39602381
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2006323548A Pending JP2008141326A (ja) | 2006-11-30 | 2006-11-30 | 撮像システム及びカメラユニット |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2008141326A (ja) |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2011166219A (ja) * | 2010-02-04 | 2011-08-25 | Nippon Hoso Kyokai <Nhk> | 符号化装置、復号装置及びプログラム |
JP2018129753A (ja) * | 2017-02-10 | 2018-08-16 | キヤノン株式会社 | 画像符号化装置、画像復号化装置、その制御方法、および制御プログラム |
US11823417B2 (en) | 2020-07-16 | 2023-11-21 | Samsung Electronics Co., Ltd. | Camera module, image processing system and image compression method |
JP7499765B2 (ja) | 2019-06-28 | 2024-06-14 | ソニーセミコンダクタソリューションズ株式会社 | 送信装置、受信装置及び伝送システム |
-
2006
- 2006-11-30 JP JP2006323548A patent/JP2008141326A/ja active Pending
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2011166219A (ja) * | 2010-02-04 | 2011-08-25 | Nippon Hoso Kyokai <Nhk> | 符号化装置、復号装置及びプログラム |
JP2018129753A (ja) * | 2017-02-10 | 2018-08-16 | キヤノン株式会社 | 画像符号化装置、画像復号化装置、その制御方法、および制御プログラム |
JP7499765B2 (ja) | 2019-06-28 | 2024-06-14 | ソニーセミコンダクタソリューションズ株式会社 | 送信装置、受信装置及び伝送システム |
US11823417B2 (en) | 2020-07-16 | 2023-11-21 | Samsung Electronics Co., Ltd. | Camera module, image processing system and image compression method |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US9886733B2 (en) | Watermarking digital images to increase bit depth | |
WO2005125216A1 (ja) | 画像圧縮処理装置、画像圧縮処理方法および画像圧縮処理プログラム | |
US8823832B2 (en) | Imaging apparatus | |
US20200288123A1 (en) | Image processing apparatus and image processing method | |
US20160212441A1 (en) | Inter frame watermark in a digital video | |
US10003767B2 (en) | Image processing apparatus and image processing method | |
US20160210971A1 (en) | Audio watermark in a digital video | |
JP2008141326A (ja) | 撮像システム及びカメラユニット | |
JP2018148578A (ja) | 送信装置 | |
JP6700798B2 (ja) | 撮像装置及びその制御方法 | |
CN107079130B (zh) | 图像处理设备和图像处理方法 | |
JP2006080860A (ja) | カメラ及びカメラ画像転送システム | |
JP2005278025A (ja) | 輝度・色差信号生成装置、画像圧縮装置、及び画像処理システム | |
US20080181314A1 (en) | Image coding apparatus and image coding method | |
US11823422B2 (en) | Image processing apparatus, control method of the same, and storage medium | |
JP2011041144A (ja) | 画像処理装置、画像処理プログラム | |
JP5131954B2 (ja) | ビデオレコーダ並びにカメラシステム | |
US9554108B2 (en) | Image processing device and storage medium storing image processing program | |
KR100771138B1 (ko) | 촬영 장치 및 영상 보정 방법 | |
WO2016047250A1 (ja) | 信号処理装置、撮像装置および信号処理方法 | |
WO2016002245A1 (ja) | 画像処理システム、及び、画像処理方法 | |
JP6812214B2 (ja) | 画像符号化装置、画像符号化方法、及びプログラム | |
JP2011239240A (ja) | 撮像装置 | |
JP2008092503A (ja) | 撮像装置 | |
JP2009260633A (ja) | 画像圧縮装置、画像圧縮装置を備えた撮像記録装置、および、画像圧縮プログラム |