JP2004328072A

JP2004328072A - Digital camera and digital camera system

Info

Publication number: JP2004328072A
Application number: JP2003116102A
Authority: JP
Inventors: Yuji Nagaishi; 裕二永石; Tatsuro Shigesato; 達郎重里
Original assignee: Matsushita Electric Industrial Co Ltd
Current assignee: Panasonic Holdings Corp
Priority date: 2003-04-21
Filing date: 2003-04-21
Publication date: 2004-11-18

Abstract

<P>PROBLEM TO BE SOLVED: To provide a digital camera which reflects a high picture quality photograph mode fit to a user's taste by restructuring a signal processor circuit with picture processing contents defined by a user in the digital camera from an external apparatus. <P>SOLUTION: The digital camera comprises a pre-processing block 118 for pre-processing pixel signals from an image sensor 100 to generate raw pixel data, an image processing block 119 for generating color image data by applying image processes to the pixel data including a color generating process and a color adjusting process, and a decoding means 116 for converting information about process contents obtained by an information input unit 117 from the outside to the connection information or the operation program information of an operation circuit constitution. The image processing block restructures the image process according to the process contents based on the decoding result by the decoding means. <P>COPYRIGHT: (C)2005,JPO&NCIPI

Description

【０００１】
【発明の属する技術分野】
本発明は、デジタルカメラ装置に関し、特に、ユーザが、デジタルカメラ装置に接続されたパーソナルコンピュータ（ＰＣ）等の外部機器、またはデジタルカメラ装置に装着されたメモリーカード等の着脱可能な半導体記憶媒体によって、デジタルカメラにおける画像加工処理を定義して信号処理回路を再構成でき、ユーザの好みに合った画像加工処理性能および機能を実現できるデジタルカメラ装置、およびかかるデジタルカメラ装置を用いたデジタルカメラシステムに関する。
【０００２】
【従来の技術】
近年のデジタルカメラ装置は、多画素化や高性能化に伴い、イメージセンサーの改良と、そこから出力される画素信号を処理する信号処理方法も年々改良されている。一般に、信号処理のアルゴリズムや画像フィルタ処理等を変更することで、生成される画像の画質や色あい等を大きく変えることができる。
【０００３】
また、パーソナルコンピュータ（以下、ＰＣと略称する）の普及に伴い、デジタルカメラ装置で撮影し前処理のみが施されたＲＡＷデータフォーマットの画素データを、シリアルデジタルデータとして、例えばＵＳＢ（ＵｎｉｖｅｒｓａｌＳｅｒｉａｌＢｕｓ）で接続されたＰＣへと取り込み、ＰＣに既にインストールされている市販の画像加工ソフトウェアを用いて、取り込んだ画素データをＰＣ上でディスプレイにより確認しながら画像加工処理して、色画像データを生成するユーザも増えてきている。
【０００４】
ユーザは、撮影した画素データをＰＣ上で画像加工処理することにより、多少ユーザの意図する状態で撮影ができなかったとしても、後でユーザの好みに合うように、画素データをある程度修正することが可能となっている。
【０００５】
なお、ここで「前処理」とは、イメージセンサーからの画素信号を生の画素データとして、例えばＵＳＢポートから外部機器に出力できるまでに最低限必要な処理を指し、例えば、相関二重サンプリング（ＣＤＳ）、自動ゲイン制御（ＡＧＣ）、Ａ／Ｄ変換（ＡＤＣ）、黒レベルの固定（クランプ）、イメージセンサーの欠陥画素を補正する傷補正、γ補正、ホワイトバランス調整等の処理がある。また、「画像加工処理」とは、上記のような前処理が施された生の画素データに対して、色生成や色調整等の画像加工を施すための処理を指し、例えば色補間、アパーチャ補正、ズーム、圧縮／伸長等の処理がある。
【０００６】
【特許文献１】
特開２００１−２６８４１７号公報
【０００７】
【発明が解決しようとする課題】
このように、ＰＣとデジタルカメラ装置とを接続することにより、機能面や加工面での柔軟性が大きく向上する。しかしながら、従来の構成では、デジタルカメラ自体において、あらかじめユーザの好みに合った画像加工処理を定義して信号処理回路を再構成することはできない。
【０００８】
一方、特許文献１では、ＰＣを使ってデジタルカメラ装置が有するアプリケーションプログラムをユーザがカスタマイズできる機能を備えたデジタルカメラ装置が提案されている。この機能拡張は、デジタルカメラ装置内にあるアプリケーションプログラムを、カスタマイズリスト使って、その組み合わせや処理手順等を定義して、ユーザカスタマイズ機能を提供するものである。具体的には、このユーザカスタマイズ機能は、あらかじめデジタルカメラ装置内に定義または構成された処理について、撮影して内部メモリまたはＰＣカードに蓄積された画像や音声に対して、表示部に表示する画像の選択、その表示時間の設定、選択画像の効果音の選択といった自動化の手順を定義するものである。
【０００９】
しかしながら、やはり、特許文献１に記載のユーザカスタマイズ機能は、ユーザの好みに合った画像加工処理をカメラ本体に対して定義して信号処理回路を再構成できるものでない。
【００１０】
本発明は、かかる問題点に鑑みてなされたものであり、その目的は、外部機器からデジタルカメラ装置内部の画像加工処理をユーザが定義して信号処理回路を再構成することで、ユーザの好みに合った高画質な撮影モードを反映させることができるデジタルカメラ装置、およびかかるデジタルカメラ装置を用いたデジタルカメラシステムを提供することにある。
【００１１】
【課題を解決するための手段】
前記の目的を達成するため、本発明に係るデジタルカメラ装置は、撮影対象からの光信号を電気信号に変換し画素信号として出力する撮像素子と、撮像素子からの画素信号に対して前処理を施して生の画素データを生成すると共に、画素データに対して色生成処理および色調整処理を含む画像加工処理を施して色画像データを生成する信号処理手段と、外部から与えられる処理内容に関する情報を入力するための情報入力手段と、情報入力手段から得られた情報を演算回路構成の接続情報または演算プログラム情報に変換するデコード手段とを備え、信号処理手段は、デコード手段によるデコード結果に基づいて、処理内容に応じた画像加工処理の再構成を行うことを特徴とする。
【００１２】
本発明に係るデジタルカメラ装置において、信号処理手段は、デコード手段によるデコード結果に応じて、複数の単位演算回路から構成された演算回路の接続関係を変更して、画像加工処理の再構成を行う。
【００１３】
または、本発明に係るデジタルカメラ装置において、信号処理手段は、プログラム化が可能な演算回路から構成され、デコード手段によって生成されたプログラムに従って演算処理を実行して、画像加工処理の再構成を行う。
【００１４】
また、本発明に係るデジタルカメラ装置において、処理内容に関する情報は、対応する色画像データが得られる前の撮影条件に関する情報と共に、デジタルカメラ装置に装着された着脱可能な半導体記憶媒体に格納されることが好ましい。
【００１５】
この場合、着脱可能な半導体記憶媒体に格納されている撮影条件に関する情報がユーザにより選択された場合、デコード手段は、着脱可能な半導体記憶媒体から読み出された処理内容に関する情報をデコードし、信号処理手段は、デコード手段によるデコード結果に基づいて、処理内容に応じた画像加工処理の再構成を行うことが好ましい。
【００１６】
前記の目的を達成するため、本発明に係る第１のデジタルカメラシステムは、デジタルカメラ装置と、デジタルカメラ装置に接続された外部機器からなるデジタルカメラシステムであって、デジタルカメラ装置は、撮影対象からの光信号を電気信号に変換し画素信号として出力する撮像素子と、撮像素子からの画素信号に対して前処理を施して生の画素データを生成すると共に、画素データに対して色生成処理および色調整処理を含む画像加工処理を施して色画像データを生成する信号処理手段と、信号処理手段からの色画像データを表示画像として出力する表示出力手段と、外部から与えられる処理内容に関する情報を入力するための情報入力手段と、情報入力手段から得られた情報を演算回路構成の接続情報または演算プログラム情報に変換するデコード手段とを備え、信号処理手段は、デコード手段によるデコード結果に基づいて、処理内容に応じた画像加工処理の再構成を行い、外部機器は、デジタルカメラ装置の表示出力手段により出力される表示画像に基づいて、処理内容を決定する処理内容決定手段と、処理内容決定手段により決定された処理内容に関する情報をデジタルカメラ装置の入力手段に送信する情報出力手段とを備えたことを特徴とする。
【００１７】
前記の目的を達成するため、本発明に係る第２のデジタルカメラシステムは、デジタルカメラ装置と、デジタルカメラ装置に接続された外部機器からなるデジタルカメラシステムであって、デジタルカメラ装置は、撮影対象からの光信号を電気信号に変換し画素信号として出力する撮像素子と、撮像素子からの画素信号に対して前処理を施して生の画素データを生成すると共に、画素データに対して色生成処理および色調整処理を含む画像加工処理を施して色画像データを生成する信号処理手段と、信号処理手段からの生の画素データまたは色画像データを出力するデータ出力手段と、外部から与えられる処理内容に関する情報を入力するための情報入力手段と、情報入力手段から得られた情報を演算回路構成の接続情報または演算プログラム情報に変換するデコード手段とを備え、信号処理手段は、デコード手段によるデコード結果に基づいて、処理内容に応じた画像加工処理の再構成を行い、外部機器は、デジタルカメラ装置のデータ出力手段から与えられた生の画素データまたは色画像データに基づいて、処理内容を決定する処理内容決定手段と、処理内容決定手段により決定された処理内容に関する情報をデジタルカメラ装置の入力手段に送信する情報出力手段とを備えたことを特徴とする。
【００１８】
第２のデジタルカメラシステムにおいて、外部機器の処理内容決定手段は、生の画素データまたは色画像データに対してユーザにより色生成処理および色調整処理が施されて得られた色画像データに対する処理内容に関する情報を生成する。
【００１９】
第１および第２のデジタルカメラシステムにおいて、信号処理手段は、デコード手段によるデコード結果に基づいて、複数の単位演算回路から構成された演算回路の接続関係を変更して、画像加工処理の再構成を行う。
【００２０】
または、第１および第２のデジタルカメラシステムにおいて、信号処理手段は、プログラム化が可能な演算回路から構成され、デコード手段によって生成されたプログラムに従って演算処理を実行して、画像加工処理の再構成を行う。
【００２１】
また、第１および第２のデジタルカメラシステムにおいて、処理内容に関する情報は、対応する色画像データが得られる前の撮影条件に関する情報と共に、デジタルカメラ装置に装着された着脱可能な半導体記憶媒体に格納されることが好ましい。
【００２２】
この場合、着脱可能な半導体記憶媒体に格納されている撮影条件に関する情報がユーザにより選択された場合、デコード手段は、着脱可能な半導体記憶媒体から読み出された処理内容に関する情報をデコードし、信号処理手段は、デコード手段によるデコード結果に基づいて、処理内容に応じた画像加工処理の再構成を行うことが好ましい。
【００２３】
【発明の実施の形態】
以下、本発明の好適な実施の形態について、図面を参照しながら説明する。なお、以下の実施の形態では、デジタルカメラ装置として、ＪＰＥＧ（ＪｏｉｎｔＰｈｏｔｏｇｒａｐｈｉｃＥｘｐｅｒｔｓＧｒｏｕｐ）規格に準拠した静止画データの出力および記録が可能なデジタルスチルカメラ（以下、ＤＳＣと略称する）を例に挙げて説明するが、本発明はこれに限定されず、例えばＭＰＥＧ（ＭｏｖｉｎｇＰｉｃｔｕｒｅＥｘｐｅｒｔｓＧｒｏｕｐ）規格に準拠した動画データの出力および記録機能を有していてもよい。
【００２４】
（実施の形態１）
図１は、本発明の実施の形態１に係るデジタルカメラ装置としてＤＳＣの一構成例を示す機能ブロック図である。
【００２５】
図１において、撮像素子であるＣＣＤ（ＣｈａｒｇｅＣｏｕｐｌｅｄＤｅｖｉｃｅ）またはＣＭＯＳ（ＣｏｍｐｌｅｍｅｎｔａｒｙＭｅｔａｌ−ＯｘｉｄｅＳｅｍｉｃｏｎｄｕｃｔｏｒ）イメージセンサー１００により、撮影対象からの光信号を変換して得られた電気信号（画素信号）は、まずＣＤＳ／ＡＧＣ回路１０１において、相関二重サンプリング（ＣＤＳ）処理により暗電流やリセットノイズの影響が除去され、自動ゲイン制御（ＡＧＣ）処理により所定の振幅レベルまで増幅されて、ＡＤ変換器（ＡＤＣ）１０２において、例えば１０〜１４ビットのデジタル信号に変換される。
【００２６】
ここで、イメージセンサー１００を用いてカラー映像を撮像する方式には、イメージセンサー１個でカラー情報を得る単板式と、３個のイメージセンサーを用いてカラー情報を得る３板式に大別できる。通常、単板式では、イメージセンサーの表面上に１画素毎に１色の色フィルターを構成することで、カラー情報が得られる。この色フィルターのパターン配列については様々なものが提唱されているが、静止画中心のデジタルスチルカメラにおいては、ＲＧＢ（赤・緑・青）からなる原色のベイヤ配列構造の色フィルタを有するものが多い。
【００２７】
ＡＤ変換器１０２から出力された画素データは、データの基準となる黒レベルを固定するためにクランプ回路１０３においてクランプされ、センサーモジュールに存在する欠陥画素部分の補正をおこなう傷補正回路１０４、γ特性を補正するγ補正回路１０５、およびＲＧＢの出力感度を補正することにより白レベルの色合いを補正するホワイトバランス回路１０６を経て、ユーザによって撮影前に行われていた外部出力モードの設定に応じて、データ出力手段１０７と色補間処理回路１０９とに送られる。ここで、ＣＤＳ／ＡＧＣ回路１０１、ＡＤＣ１０２、クランプ回路１０３、傷補正回路１０４、γ補正回路１０５、およびホワイトバランス回路から前処理ブロック１１８が構成される。
【００２８】
前述したように、単板式のイメージセンサーを用いた方式では、１画素あたりに１色しか色情報が得られない。そのため、前処理ブロック１１８では、１画素あたりに１色しか色情報がない状態（以下、ＲＡＷフォーマットと呼ぶ）で画素データを扱う。
【００２９】
前処理ブロック１１８における処理を終えたＲＡＷフォーマットの画素データは、データ出力手段１０７である半導体メモリインタフェース回路に出力できるようになっており、ユーザが外部出力するモードを設定している場合は、ＲＡＷフォーマットで外部に出力することができる。一方、ユーザがＲＡＷフォーマットで外部出力をしないモードを設定している場合は、ＲＡＷフォーマットの画素データは、次いで色補間処理回路１０９による処理を受ける。
【００３０】
図２Ａ、図２Ｂ、および図２Ｃは、それぞれ、図１の色補間処理回路１０９による処理を説明するための、色フィルタ構造の一例を示す模式図、周辺４画素の緑（Ｇ）成分から注目画素のＧ成分を補間する例を示す模式図、および周辺４画素の赤（Ｒ）成分から注目画素のＲ成分を補間する例を示す模式図である。
【００３１】
色補間処理回路１０９では、１画素あたり１色しか存在しなかった情報から１画素あたり３色の色情報が得られるように、不足する２色分の色情報を周辺４画素から補間処理する。
【００３２】
図２Ａにおいて、２０１はＲ（赤）、Ｇ（緑）、Ｂ（青）から構成された色フィルタ構造の一例を示している。図２Ｂは、色フィルタ構造２０１中のあるＢ画素に注目したＧの補間例２０２を示し、Ｇの補間例２０２は、Ｂ画素位置でのＧ画素情報を、周辺４画素Ｇ１〜Ｇ４によって算出する例であり、具体的には、以下の式（１）で表される演算を施して算出される。
【００３３】
Ｇ＝（１／４）Ｇ１＋（１／４）Ｇ２＋（１／４）Ｇ３＋（１／４）Ｇ４…（１）
また、図２Ｃは、色フィルタ構造２０１中のあるＢ画素に注目したＲの補間例２０３を示し、Ｒの補間例２０３は、Ｂ画素位置でのＲ画素情報を、周辺４画素Ｒ１〜Ｒ４によって算出する例であり、具体的には、以下の式（２）で表される演算を施して算出される。
【００３４】
Ｒ＝（１／４）Ｒ１＋（１／４）Ｒ２＋（１／４）Ｒ３＋（１／４）Ｒ４…（２）
このように、色補間処理回路１０９においては、周辺画素から注目画素の色情報を補間処理して、ＲＡＷデータフォーマットの画素データを、以降１画素あたりＲＧＢ３画素（ＲＧＢ４４４）のデータに変換する。その後、ＲＧＢ４４４フォーマットに変換されたデータは、以下の変換式（３）によって、輝度信号Ｙと色差信号ＵＶからなるＹＵＶデータに変換される。
【００３５】

また、必要に応じて、ＹＵＶデータは、色差信号ＵＶについて垂直方向に間引きしたＹＵＶ４２２フォーマットあるいはＹＵＶ４２０フォーマットに変換される。
【００３６】
なお、色補間処理については、説明の都合上、単純な補間方法で説明したが、色フィルタの配列構成やハードウェア規模によっては様々な方法が考えられ、本発明は上記の色補間方法に限定されるものではない。
【００３７】
再び図１に戻って、アパーチャ補正回路１１０では、輝度信号Ｙに対して、その輪郭部分を強調して画像の鮮明感を向上させるためにアパーチャフィルタ処理が施される。アパーチャフィルタ処理は、図３に示す３×３の２次元フィルタを用いて行われる。図３において、注目画素ａ０を含む周辺８画素ａ１〜ａ８に対して、以下の式（４）で表される２次元のフィルタ演算が施され、注目画素ａ０にアパーチャフィルタ処理が施される。
【００３８】
ａ０＝（−１×ａ１）＋（−２×ａ２）＋（−２×ａ３）＋（２×ａ４）＋（４×ａ０）＋（２×ａ５）＋（−１×ａ６）＋（−２×ａ７）＋（−２×ａ８） …（４）
しかし、図３に示す３×３の２次元フィルタをそのまま適用すると、同時にノイズ成分も強調されてしまうため、不感帯域を設定してその部分についてはアパーチャフィルタ処理を適用しないようにするコアリング処理が施される。なお、アパーチャ補正回路１１０におけるフィルタ演算処理については、係数やフィルタ段数が異なるだけであるため、回路自体は色補間処理回路１０９と共用化可能である。
【００３９】
ズーム回路１１１では、イメージセンサー１００から得られた色画像データが、記録する画像サイズと表示出力する画像サイズに変換される。この際、単純に画素を間引いたり、補間したりする方法では、画像に折り返し歪みが発生することが知られており、色画像データに対してローパスフィルタ（ＬＰＦ）処理を施してから画素を補間または間引きする。ＬＰＦ処理は、図３で示したような２次元フィルタや１次元的なフィルタ演算によって行うため、係数やフィルタ段数が異なるだけで、回路自体は色補間処理回路１０９と共用化可能である。
【００４０】
圧縮／伸張回路１１２は、ＪＰＥＧ規格とＭＰＥＧ規格に対応した離散コサイン変換（ＤＣＴ）ベースによる圧縮および伸張を行う回路で、静止画の場合はＪＰＥＧ形式、動画の場合はＭＰＥＧ形式で圧縮および伸張を行う。
【００４１】
ズーム回路１１１において表示用サイズにリサイズされた色画像データは、ＯＳＤ（ＯｎＳｃｒｅｅｎＤｉｓｐｌａｙ）回路１１３において、ＤＳＣ内部の情報や撮影時の情報と重ね合わせられ、表示出力手段である表示出力インタフェース（ＩＦ）１１４を経由して、表示出力手段である液晶ディスプレイ１１５に出力される。
【００４２】
一方、圧縮／伸張回路１１２に送られた色画像データは、圧縮処理が施された後、データ出力手段１０７を経由して、着脱可能な半導体記憶媒体である半導体メモリカード１０８に送られて記録される。
【００４３】
ここで、色補間処理回路１０９、アパーチャ補正回路１１０、ズーム回路１１１、および圧縮／伸長回路１１２から画像加工処理ブロック１１９が構成され、前述の前処理ブロック１１８と共に、信号処理手段を構成する。
【００４４】
以上が、撮影時における各回路の構成と動作である。
【００４５】
画像加工処理ブロック１１９は、色補間処理回路１０９、アパーチャ補正回路１１０、ズーム回路１１１、および圧縮／伸張回路１１２から構成されるが、圧縮／伸張回路１１２を除いては、前述したように、主な処理はフィルタ演算処理であるため、各処理回路で同じ回路が適用可能となる。
【００４６】
図４は、画像加工処理ブロック１１９で共用される単位演算回路４０１の内部構成例を示すブロック図である。図４において、入力レジスタ（ＩＮＲＥＧ）４０３と出力レジスタ（ＯＵＴＲＥＧ）４０５は、選択的に接続可能な複数の配線資源４０７、シフター４０２、および加減算器４０４と結線されている。乗算処理は、乗算する値に制限をかけることによりシフター４０２で代用する。配線資源４０７の選択にあたっては、後述するデコード手段１１６からの接続情報が、入力レジスタ４０３および出力レジスタ４０５に送られるようになっている。この単位演算回路４０１により、フィルタ演算処理に必要となる積和演算が実現できる。なお、本実施の形態では、乗算器の代わりにシフター４０２と加減算器４０４とで構成されるシフト演算器を使用したが、当然のことながら乗算器であってもよい。
【００４７】
図５は、図４の単位演算回路４０１を複数結合して構成された２次元フィルタ５０１のブロック図である。このように、画像加工処理ブロック１１９を、単位演算回路４０１と、選択的に接続可能な複数の配線資源４０７とによって構成することで、再構成が可能な信号処理回路を実現する。
【００４８】
再び図１に戻って、デコード手段１０６は、ＣＰＵと内部メモリから構成される。外部から情報入力手段１１７を介して得られた、ユーザによる画像加工の処理内容に関する情報は、デコード手段１０６の内部メモリ上に置かれ、ＣＰＵにより必要に応じてアクセスし処理される。処理内容に関する情報は、フィルタの構成、係数、信号の流れを定義または指定するものであり、デコード手段１０６のＣＰＵが、それらの情報に基づいて、単位演算回路４０１に処理を割り当て、また接続関係を決定する。ＣＰＵは、フィルタの構成情報から単位演算回路４０１の接続情報を判定し、フィルタの係数については単位演算回路４０１内のシフター４０２のシフト量として与える。
【００４９】
図６は、ＤＳＣ６０１と、ＤＳＣ６０１に接続された外部機器であるＰＣ６０２とからなるデジタルカメラシステムの概略ブロック図である。図６において、本デジタルカメラシステムは、２つの画像加工モードを有する。
【００５０】
まず、第１の画像加工モードについて説明する。第１の画像加工モードでは、ＤＳＣ６０１で撮影したデータは、前処理ブロック１１８において処理された後ＲＡＷデータフォーマットの画素データまたは画像加工処理ブロック１１９において処理された後の色画像データとして、ＤＳＣ６０１のデータ出力手段１０７（図１参照）を介してＰＣ６０２に送られる。ここで、ＰＣ６０２への画素データの転送は、データ出力手段１０７を介して画素データが格納された半導体メモリカード１０８をＤＳＣ６０１から抜き取り、ＰＣ６０２のメモリカードアダプタに挿入してオフラインで行われるか、またはＤＳＣ６０１のデータ出力手段１０７をＵＳＢポートとし、これがＰＣ６０１のＵＳＢポートと接続されて、シリアルデジタルデータ転送によりオンラインで行われる。
【００５１】
ＰＣ６０２に送られた画素データまたは色画像データは、処理内容決定手段６０２１に入力され、そこで、ＰＣ６０２に接続されたモニタ６０３上のフィルタ構成の設定画面６０３１を介してユーザにより設定された、フィルタの段数、フィルタの係数、および信号の流れを含むフィルタ構成情報として、画像加工の処理内容に関する情報が生成され、情報出力手段６０２３を介してＤＳＣ６０１の情報入力手段１１７（図１参照）に送られる。ここで、ＰＣ６０２の情報出力手段６０２２とＤＳＣ６０１の情報入力手段１１７は、ＵＳＢポートとして構成され、ユーザは、モニタ６０３上のフィルタ構成の設定画面６０３１により設定したフィルタの特性を表示する画面６０３２や、画素データに対してフィルタ処理が施された色画像データを表示する画面６０３３を見ながら、ユーザの好みに合った画質や色合いを有する画像をオフラインで生成する。
【００５２】
次に、第２の画像加工モードについて説明する。第２の画像加工モードでは、ユーザは、ＰＣ６０２上で画像を生成するのではなく、画素データに適用するフィルタの構成、フィルタの係数、信号の流れの設定のみを行い、これを処理内容に関する情報として、情報出力手段６０２２からＤＳＣ６０１の情報入力手段１１７に送り、ＤＳＣ６０１における表示出力手段である液晶ディスプレイ１１５を見ながら、ユーザの好みに合った画質や色合いを有する画像を生成する。
【００５３】
図７Ａは、ＰＣ６０２がＤＳＣ６０１に与える処理内容に関する情報として、フィルタの段数、フィルタの係数、信号の流れというフィルタ構成情報の内容例を示す図である。図７Ａに示すフィルタ構成情報の例では、色補間処理回路１０９のフィルタが選択され、フィルタタップ数を５に、フィルタ係数＃１を−２に、フィルタ係数＃２を４に、フィルタ係数＃Ｎを２に設定し、データ入力元がホワイトバランス回路１０６の出力であり、データ出力先がアパーチャ補正回路１１０である場合を表している。
【００５４】
図７Ｂは、ＤＳＣ６０１のデコード手段１１６によって、図７Ａのフィルタ構成情報から変換された単位演算器４０１の接続情報の内容例を示す図である。図７Ｂに示す単位演算器４０１の接続情報の例では、単位演算器番号＃１の単位演算器に対して、演算係数が５に設定され、一方の入力接続バスとしてバス＃２３が、他方の入力接続バスとしてバス＃２４が、出力接続バスとしてバス＃２２が選択され、バスのビット数は８ビットで、単位演算器＃１に単位演算器＃３４と＃４５３が接続され、対象とする演算回路が色補間処理回路１０９の演算回路である場合を表し、その他、作成日や、作成元のバージョン情報も含まれる。
【００５５】
図８は、図７Ｂに示す単位演算器４０１の接続情報に基づいて構成された単位演算器＃１のバス接続例を示すブロック図である。なお、図８において、図４にと同じ構成を有する部分については、同一の符号を付している。図８の実線で示すように、単位演算器＃１に対して、一方の入力接続バスとしてバス＃２３が、他方の入力接続バスとしてバス＃２４が、出力選択バスとしてバス＃２２が選択されている。
【００５６】
なお、上記では、ＰＣ６０２がＤＳＣ６０１に処理内容に関する情報として、フィルタの段数、フィルタの係数、信号の流れというフィルタ構成情報を与える場合について説明したが、処理内容に関する情報は、図７Ｂに示す単位演算回路４０１の接続情報であってもよい。この場合、ＤＳＣ６０１内のデコード手段１１６はデコードを行わず、画像加工処理ブロック１１９内の各回路を構成する複数の単位演算回路４０１を直接再構成する。
【００５７】
なお、本実施の形態では、ＤＳＣ６０１からＰＣ６０２へのＲＡＷデータフォーマットの画素データの転送を、半導体メモリカード１０８を用いてオフラインで行うか、またはＵＳＢポートの接続によりオンラインで行うか、また、ＰＣ６０２からＤＳＣ６０１への処理内容に関する情報の転送をＵＳＢポートの接続により行う場合について説明したが、本発明はこれに限定されず、他の接続形態をとることもできる。
【００５８】
（実施の形態２）
実施の形態１では、画像加工処理ブロック１１９内の各演算回路を、複数の単位演算器の接続関係を変更することで、デジタルフィルタを再構成したが、本発明の実施の形態２として、少なくとも画像加工処理ブロックを、プログラム化が可能なデジタル信号プロセッサ（以下、ＤＳＰと略称する）９１９で構成した場合について説明する。
【００５９】
図９は、本発明の実施の形態２に係るデジタルカメラ装置としてＤＳＣの一構成例を示す機能ブロック図である。なお、図９において、図１に示す実施の形態１と同じ構成および機能を有する部分については、同一の符号を付して説明を省略する。本実施の形態が、実施の形態２と異なるのは、画像加工処理ブロックをプログラム化が可能なＤＳＰ９１９で構成した点と、デコード手段１１６が、ＰＣ６０２（図６参照）から与えられる処理内容に関する情報を演算プログラム情報に変換し、ＤＳＰ９１９が、デコード手段１１６によって生成されたプログラムに従って演算処理を実行して、画像加工処理の再構成を行う点にある。
【００６０】
（実施の形態３）
本発明の実施の形態３は、実施の形態１および２に適用され、ＰＣ６０２から与えられる処理内容に関する情報を、ユーザの好みに合った画像が得られる前の撮影条件に関する情報と共に、ＤＳＣ６０１に装着された半導体メモリカード１０８に格納する場合について説明する。
【００６１】
ここで、撮影条件には、例えば、色温度、シャッター速度、絞り、フラッシュの有り無し等が含まれ、ユーザは、半導体メモリカード１０８に格納されているこれらの撮影条件に関する情報、例えば、ユーザにより撮影条件を暗示する名前が付けられた「昼の桜」、「夜桜」、「野球観戦」、「運動会」等のうちいずれかを液晶ディスプレイ１１５上で選択すると、デコード手段１１６は、半導体メモリカード１０８から読み出された処理内容に関する情報をデコードし、画像加工処理ブロック１１９（図１参照）またはＤＳＰ９１９（図９参照）は、デコード手段１１６によるデコード結果に基づいて、処理内容に応じた画像加工処理の再構成を行う。
【００６２】
これにより、ユーザが撮影条件に関する情報を単に選択するだけで、一度行った画像加工処理の再構成が即座にでき、通常カメラに備えている簡易な撮影モード設定よりも高精度の画像加工が可能となる。
【００６３】
【発明の効果】
以上説明したように、本発明によれば、外部機器からデジタルカメラ装置内部の画像加工処理をユーザが定義して信号処理回路を再構成することで、ユーザの好みに合った高画質な撮影モードを反映させることができるデジタルカメラ装置、およびかかるデジタルカメラ装置を用いたデジタルカメラシステムを実現することが可能になる、という格別な効果を奏する。
【図面の簡単な説明】
【図１】本発明の実施の形態１に係るデジタルカメラ装置としてＤＳＣの一構成例を示す機能ブロック図
【図２Ａ】図１の色補間処理回路１０９による処理を説明するための、色フィルタ構造の一例を示す模式図
【図２Ｂ】図１の色補間処理回路１０９による処理を説明するための、周辺４画素の緑（Ｇ）成分から注目画素のＧ成分を補間する例を示す模式図
【図２Ｃ】図１の色補間処理回路１０９による処理を説明するための、周辺４画素の赤（Ｒ）成分から注目画素のＲ成分を補間する例を示す模式図
【図３】図１のアパーチャ補正回路１１０に用いられる３×３の２次元フィルタによる画素演算処理を示す模式図
【図４】図１の画像加工処理ブロック１１９で共用される単位演算回路４０１の内部構成例を示すブロック図
【図５】図４の単位演算回路４０１を複数結合して構成された２次元フィルタ５０１のブロック図
【図６】ＤＳＣ６０１と、ＤＳＣ６０１に接続された外部機器であるＰＣ６０２とからなるデジタルカメラシステムの概略ブロック図
【図７Ａ】ＰＣ６０２がＤＳＣ６０１に与える処理内容に関する情報として、フィルタ構成情報の内容例を示す図
【図７Ｂ】ＤＳＣ６０１のデコード手段１１６によって、図７Ａのフィルタ構成情報から変換された単位演算器４０１の接続情報の内容例を示す図
【図８】図７Ｂに示す単位演算器４０１の接続情報に基づいて構成された単位演算器＃１のバス接続例を示すブロック図
【図９】本発明の実施の形態２に係るデジタルカメラ装置としてＤＳＣの一構成例を示す機能ブロック図
【符号の説明】
１０１ＣＤＳ／ＡＧＣ回路
１０２ＡＤ変換器（ＡＤＣ）
１０３クランプ回路
１０４傷補正回路
１０５ γ補正回路
１０６ホワイトバランス回路
１０７データ出力手段
１０８半導体メモリカード（着脱可能な半導体記憶媒体）
１０９色補間処理回路
１１０アパーチャ補正回路
１１１ズーム回路
１１２圧縮／伸長回路
１１３ＯＳＤ
１１４表示出力ＩＦ
１１５液晶ディスプレイ
１１６デコード手段
１１７情報入力手段
１１８前処理ブロック
１１９画像加工処理ブロック
４０１単位演算器
４０２シフター
４０３入力レジスタ（ＩＮＲＥＧ）
４０４加減算回路
４０５出力レジスタ（ＯＵＴＲＥＧ）
４０６デコード手段１１６からの接続情報
４０７接続バス
５０１２次元フィルタ
６０１ＤＳＣ（デジタルカメラ装置）
６０２ＰＣ（外部機器）
６０２１処理内容決定手段
６０２２情報出力手段
６０３ＰＣ６０２に接続されたモニタ
６０３１フィルタ構成の設定画面
６０３２フィルタ特性の表示画面
６０３３フィルタ処理が施された色画像データの表示画面
９１９ＤＳＰ[0001]
TECHNICAL FIELD OF THE INVENTION
The present invention relates to a digital camera device, and in particular, allows a user to use an external device such as a personal computer (PC) connected to the digital camera device or a removable semiconductor storage medium such as a memory card mounted on the digital camera device. The present invention relates to a digital camera device capable of reconfiguring a signal processing circuit by defining image processing in a digital camera and realizing image processing performance and functions suited to a user's preference, and a digital camera system using such a digital camera device. .
[0002]
[Prior art]
2. Description of the Related Art In a recent digital camera device, with an increase in the number of pixels and an increase in performance, an image sensor has been improved, and a signal processing method for processing a pixel signal output from the image sensor has been improved year by year. In general, by changing a signal processing algorithm, image filter processing, or the like, it is possible to greatly change the image quality, color tone, and the like of a generated image.
[0003]
Also, with the spread of personal computers (hereinafter abbreviated as PCs), pixel data in a RAW data format, which has been photographed by a digital camera device and subjected to only preprocessing, is converted into serial digital data, for example, a USB (Universal Serial Bus). To the connected PC, and, using commercially available image processing software already installed in the PC, perform image processing while confirming the captured pixel data on the display on the PC to generate color image data. Users are also increasing.
[0004]
The user can modify the pixel data to some extent later to suit the user's preference by processing the captured pixel data on the PC, even if the user cannot capture the image in a desired state. Is possible.
[0005]
Here, the “pre-processing” refers to the minimum processing required to output a pixel signal from an image sensor as raw pixel data to, for example, a USB port to an external device. CDS), automatic gain control (AGC), A / D conversion (ADC), black level fixing (clamping), flaw correction for correcting defective pixels of the image sensor, γ correction, white balance adjustment, and the like. Further, “image processing” refers to processing for performing image processing such as color generation and color adjustment on raw pixel data that has been subjected to the above preprocessing, such as color interpolation and aperture. There are processes such as correction, zoom, and compression / decompression.
[0006]
[Patent Document 1]
JP 2001-268417 A
[0007]
[Problems to be solved by the invention]
As described above, by connecting the PC and the digital camera device, flexibility in terms of functions and processing is greatly improved. However, with the conventional configuration, it is not possible to reconfigure the signal processing circuit in the digital camera itself by defining image processing that matches the user's preference in advance.
[0008]
On the other hand, Patent Document 1 proposes a digital camera device having a function of allowing a user to customize an application program of the digital camera device using a PC. This function extension provides a user customization function by defining a combination, a processing procedure, and the like of application programs in the digital camera device using a customization list. More specifically, the user customizing function is a function for processing images defined or configured in advance in the digital camera device, and for displaying images and sounds stored on the internal memory or the PC card on the display unit with respect to images and sounds. , The setting of the display time, and the selection of the sound effect of the selected image.
[0009]
However, after all, the user customizing function described in Patent Document 1 cannot reconfigure the signal processing circuit by defining image processing corresponding to the user's preference for the camera body.
[0010]
The present invention has been made in view of such a problem, and an object of the present invention is to reconfigure a signal processing circuit by defining image processing inside a digital camera device from an external device, thereby reducing the user's preference. An object of the present invention is to provide a digital camera device capable of reflecting a high-quality shooting mode suitable for a digital camera, and a digital camera system using the digital camera device.
[0011]
[Means for Solving the Problems]
In order to achieve the above object, a digital camera device according to the present invention converts an optical signal from an object to be photographed into an electric signal and outputs it as a pixel signal, and performs pre-processing on the pixel signal from the image sensor. Signal processing means for generating image data including color generation processing and color adjustment processing on the pixel data to generate color image data, and information on processing contents provided from outside. Information input means for inputting the information, and decoding means for converting the information obtained from the information input means into connection information of the arithmetic circuit configuration or arithmetic program information. Thus, the image processing is reconfigured according to the processing content.
[0012]
In the digital camera device according to the present invention, the signal processing unit reconfigures the image processing by changing the connection relationship of the arithmetic circuits composed of the plurality of unit arithmetic circuits according to the decoding result by the decoding unit. .
[0013]
Alternatively, in the digital camera device according to the present invention, the signal processing unit is configured by a programmable arithmetic circuit, and executes the arithmetic processing according to the program generated by the decoding unit to perform the reconstruction of the image processing. .
[0014]
Further, in the digital camera device according to the present invention, the information on the processing content is stored in a removable semiconductor storage medium mounted on the digital camera device together with information on the photographing conditions before the corresponding color image data is obtained. Is preferred.
[0015]
In this case, when the information on the imaging condition stored in the removable semiconductor storage medium is selected by the user, the decoding unit decodes the information on the processing content read from the removable semiconductor storage medium, and outputs a signal. It is preferable that the processing unit reconfigures the image processing according to the processing content based on the decoding result by the decoding unit.
[0016]
In order to achieve the above object, a first digital camera system according to the present invention is a digital camera system including a digital camera device and an external device connected to the digital camera device. An image sensor that converts an optical signal from an optical signal into an electric signal and outputs the pixel signal as a pixel signal, performs preprocessing on the pixel signal from the image sensor to generate raw pixel data, and performs color generation processing on the pixel data. Signal processing means for generating color image data by performing image processing including color and color adjustment processing, display output means for outputting the color image data from the signal processing means as a display image, and information on processing contents provided from outside Information input means for inputting the information, and information obtained from the information input means is converted into connection information of the arithmetic circuit configuration or arithmetic program information. And a signal processing unit that reconfigures the image processing according to the processing content based on the decoding result by the decoding unit, and the external device is output by the display output unit of the digital camera device. Processing means for determining processing contents based on a display image to be processed, and information output means for transmitting information on the processing contents determined by the processing content determining means to an input means of the digital camera device. And
[0017]
In order to achieve the above object, a second digital camera system according to the present invention is a digital camera system including a digital camera device and an external device connected to the digital camera device. An image sensor that converts an optical signal from an optical signal into an electric signal and outputs the pixel signal as a pixel signal, performs preprocessing on the pixel signal from the image sensor to generate raw pixel data, and performs color generation processing on the pixel data. Signal processing means for generating color image data by performing image processing including color and color adjustment processing, data output means for outputting raw pixel data or color image data from the signal processing means, and processing contents provided from outside Information input means for inputting information relating to the information processing means, and information obtained from the information input means is used for connection information of an arithmetic circuit configuration or an arithmetic Decoding means for converting the information into information, and the signal processing means reconfigures the image processing according to the processing content based on the decoding result by the decoding means. Processing content determining means for determining the processing content based on given raw pixel data or color image data, and information output for transmitting information on the processing content determined by the processing content determining means to the input means of the digital camera device Means.
[0018]
In the second digital camera system, the processing content determination means of the external device is configured to perform processing on color image data obtained by performing color generation processing and color adjustment processing on raw pixel data or color image data by a user. Generate information about
[0019]
In the first and second digital camera systems, the signal processing unit changes the connection relationship of the arithmetic circuit composed of the plurality of unit arithmetic circuits based on the decoding result of the decoding unit, and reconfigures the image processing process. I do.
[0020]
Alternatively, in the first and second digital camera systems, the signal processing means is constituted by a programmable arithmetic circuit, and executes the arithmetic processing according to the program generated by the decoding means to reconfigure the image processing processing. I do.
[0021]
In the first and second digital camera systems, the information on the processing content is stored in a detachable semiconductor storage medium mounted on the digital camera device together with the information on the photographing conditions before the corresponding color image data is obtained. Preferably.
[0022]
In this case, when the information on the imaging condition stored in the removable semiconductor storage medium is selected by the user, the decoding unit decodes the information on the processing content read from the removable semiconductor storage medium, and outputs a signal. It is preferable that the processing unit reconfigures the image processing according to the processing content based on the decoding result by the decoding unit.
[0023]
BEST MODE FOR CARRYING OUT THE INVENTION
Hereinafter, preferred embodiments of the present invention will be described with reference to the drawings. In the following embodiments, a digital still camera (hereinafter abbreviated as DSC) capable of outputting and recording still image data based on the JPEG (Joint Photographic Experts Group) standard will be described as an example of a digital camera device. However, the present invention is not limited to this, and may have a function of outputting and recording moving image data compliant with, for example, the MPEG (Moving Picture Experts Group) standard.
[0024]
(Embodiment 1)
FIG. 1 is a functional block diagram showing a configuration example of a DSC as a digital camera device according to Embodiment 1 of the present invention.
[0025]
In FIG. 1, an electric signal (pixel signal) obtained by converting an optical signal from an object to be photographed by a CCD (Charge Coupled Device) or a CMOS (Complementary Metal-Oxide Semiconductor) image sensor 100 which is an image sensor is first converted into an image signal. In the CDS / AGC circuit 101, the influence of dark current and reset noise is removed by correlated double sampling (CDS) processing, and the signal is amplified to a predetermined amplitude level by automatic gain control (AGC) processing. At 102, the digital signal is converted into a digital signal of, for example, 10 to 14 bits.
[0026]
Here, the method of capturing a color image using the image sensor 100 can be roughly classified into a single-plate type in which color information is obtained by one image sensor and a three-plate type in which color information is obtained by using three image sensors. Normally, in the single-panel type, color information is obtained by forming a color filter of one color for each pixel on the surface of the image sensor. Various types of color filter pattern arrangements have been proposed, but some digital still cameras mainly based on still images have a color filter having a Bayer array structure of primary colors of RGB (red, green, and blue). Many.
[0027]
Pixel data output from the AD converter 102 is clamped by a clamp circuit 103 to fix a black level serving as a data reference, and a flaw correction circuit 104 that corrects a defective pixel portion existing in the sensor module. Correction circuit 105, which corrects the white balance, and a white balance circuit 106, which corrects the hue of the white level by correcting the output sensitivity of RGB, according to the setting of the external output mode performed by the user before shooting. The data is sent to the data output means 107 and the color interpolation processing circuit 109. Here, the pre-processing block 118 includes the CDS / AGC circuit 101, the ADC 102, the clamp circuit 103, the flaw correction circuit 104, the γ correction circuit 105, and the white balance circuit.
[0028]
As described above, in a system using a single-plate image sensor, only one color can be obtained per pixel. Therefore, the preprocessing block 118 handles pixel data in a state where only one color per pixel has color information (hereinafter, referred to as a RAW format).
[0029]
The RAW format pixel data that has been processed in the pre-processing block 118 can be output to the semiconductor memory interface circuit, which is the data output unit 107. If the user sets the external output mode, the RAW format pixel data is output. It can be output to the outside in a format. On the other hand, when the user sets a mode in which no external output is performed in the RAW format, the pixel data in the RAW format is subsequently processed by the color interpolation processing circuit 109.
[0030]
FIGS. 2A, 2B, and 2C are schematic diagrams each showing an example of a color filter structure for explaining the processing by the color interpolation processing circuit 109 in FIG. 1, and attention is drawn from the green (G) components of four surrounding pixels. FIG. 4 is a schematic diagram illustrating an example of interpolating a G component of a pixel, and a schematic diagram illustrating an example of interpolating an R component of a target pixel from red (R) components of four surrounding pixels.
[0031]
The color interpolation circuit 109 interpolates the missing color information of two colors from the surrounding four pixels so that three pieces of color information per pixel can be obtained from information having only one color per pixel.
[0032]
In FIG. 2A, reference numeral 201 denotes an example of a color filter structure including R (red), G (green), and B (blue). FIG. 2B shows a G interpolation example 202 focusing on a certain B pixel in the color filter structure 201. In the G interpolation example 202, G pixel information at a B pixel position is calculated by four peripheral pixels G1 to G4. This is an example, and is specifically calculated by performing an operation represented by the following equation (1).
[0033]
G = (1/4) G1 + (1/4) G2 + (1/4) G3 + (1/4) G4 (1)
2C shows an R interpolation example 203 focusing on a certain B pixel in the color filter structure 201. The R interpolation example 203 divides R pixel information at a B pixel position by four peripheral pixels R1 to R4. This is an example of calculation, and specifically, is calculated by performing an operation represented by the following equation (2).
[0034]
R = (1/4) R1 + (1/4) R2 + (1/4) R3 + (1/4) R4 ... (2)
As described above, the color interpolation processing circuit 109 interpolates the color information of the target pixel from the peripheral pixels, and converts the pixel data in the RAW data format into data of three RGB pixels (RGB444) per pixel thereafter. After that, the data converted into the RGB444 format is converted into YUV data including a luminance signal Y and a color difference signal UV by the following conversion formula (3).
[0035]

If necessary, the YUV data is converted to a YUV422 format or a YUV420 format in which the color difference signal UV is thinned out in the vertical direction.
[0036]
The color interpolation process has been described using a simple interpolation method for convenience of explanation. However, various methods can be considered depending on the arrangement of the color filters and the hardware scale, and the present invention is limited to the above color interpolation method. It is not done.
[0037]
Returning to FIG. 1 again, the aperture correction circuit 110 performs aperture filter processing on the luminance signal Y in order to enhance the outline of the luminance signal Y and improve the sharpness of the image. The aperture filter processing is performed using a 3 × 3 two-dimensional filter shown in FIG. In FIG. 3, a two-dimensional filter operation represented by the following equation (4) is performed on eight peripheral pixels a1 to a8 including the target pixel a0, and aperture filter processing is performed on the target pixel a0.
[0038]
a0 = (− 1 × a1) + (− 2 × a2) + (− 2 × a3) + (2 × a4) + (4 × a0) + (2 × a5) + (− 1 × a6) + (− 2 × a7) + (− 2 × a8) (4)
However, if the 3 × 3 two-dimensional filter shown in FIG. 3 is applied as it is, the noise component is also emphasized at the same time. Therefore, a coring process is performed in which a dead band is set and the aperture filter process is not applied to that portion. Is applied. Note that the filter operation processing in the aperture correction circuit 110 differs only in the coefficients and the number of filter stages, so that the circuit itself can be shared with the color interpolation processing circuit 109.
[0039]
The zoom circuit 111 converts the color image data obtained from the image sensor 100 into an image size to be recorded and an image size to be displayed and output. At this time, it is known that aliasing distortion occurs in an image by a method of simply thinning out or interpolating pixels. Therefore, a low-pass filter (LPF) process is performed on color image data and then pixels are interpolated. Or thin out. Since the LPF processing is performed by a two-dimensional filter or a one-dimensional filter operation as shown in FIG. 3, the circuit itself can be shared with the color interpolation processing circuit 109 only with a difference in the coefficients and the number of filter stages.
[0040]
The compression / expansion circuit 112 is a circuit that performs compression and expansion based on the discrete cosine transform (DCT) based on the JPEG standard and the MPEG standard, and performs compression and expansion in the JPEG format for still images and the MPEG format for moving images. Do.
[0041]
The color image data resized to the display size in the zoom circuit 111 is superimposed on information inside the DSC or information at the time of shooting in an OSD (On Screen Display) circuit 113, and a display output interface (IF) serving as a display output means. ) 114 to a liquid crystal display 115 as a display output means.
[0042]
On the other hand, the color image data sent to the compression / expansion circuit 112 is subjected to a compression process, and then sent to a semiconductor memory card 108 as a removable semiconductor storage medium via a data output unit 107 for recording. Is done.
[0043]
Here, the color interpolation processing circuit 109, the aperture correction circuit 110, the zoom circuit 111, and the compression / expansion circuit 112 constitute an image processing block 119, and together with the pre-processing block 118, constitute a signal processing means.
[0044]
The above is the configuration and operation of each circuit at the time of shooting.
[0045]
The image processing block 119 includes a color interpolation processing circuit 109, an aperture correction circuit 110, a zoom circuit 111, and a compression / expansion circuit 112, except for the compression / expansion circuit 112, as described above. Since the main processing is a filter operation processing, the same circuit can be applied to each processing circuit.
[0046]
FIG. 4 is a block diagram showing an example of the internal configuration of the unit operation circuit 401 shared by the image processing block 119. 4, an input register (IN REG) 403 and an output register (OUT REG) 405 are connected to a plurality of selectively connectable wiring resources 407, a shifter 402, and an adder / subtractor 404. The multiplication process is performed by the shifter 402 by limiting the value to be multiplied. When selecting the wiring resource 407, connection information from the decoding means 116 described later is sent to the input register 403 and the output register 405. With this unit operation circuit 401, a product-sum operation required for a filter operation process can be realized. In the present embodiment, a shift calculator including a shifter 402 and an adder / subtractor 404 is used instead of a multiplier, but a multiplier may be used as a matter of course.
[0047]
FIG. 5 is a block diagram of a two-dimensional filter 501 formed by combining a plurality of unit operation circuits 401 in FIG. As described above, the image processing block 119 is configured by the unit operation circuit 401 and the plurality of selectively connectable wiring resources 407, thereby realizing a reconfigurable signal processing circuit.
[0048]
Returning to FIG. 1, the decoding means 106 is composed of a CPU and an internal memory. Information on the contents of the image processing performed by the user obtained from the outside via the information input means 117 is stored in the internal memory of the decoding means 106 and accessed and processed by the CPU as necessary. The information on the processing content defines or specifies the configuration of the filter, the coefficient, and the signal flow. The CPU of the decoding means 106 allocates the processing to the unit operation circuit 401 based on the information, and To determine. The CPU determines the connection information of the unit operation circuit 401 from the configuration information of the filter, and gives the filter coefficient as the shift amount of the shifter 402 in the unit operation circuit 401.
[0049]
FIG. 6 is a schematic block diagram of a digital camera system including a DSC 601 and a PC 602 which is an external device connected to the DSC 601. In FIG. 6, the digital camera system has two image processing modes.
[0050]
First, the first image processing mode will be described. In the first image processing mode, data captured by the DSC 601 is converted into pixel data in the RAW data format after being processed in the pre-processing block 118 or color image data after being processed in the image processing block 119 as data in the DSC 601. The data is sent to the PC 602 via the output unit 107 (see FIG. 1). Here, the transfer of the pixel data to the PC 602 is performed off-line by removing the semiconductor memory card 108 storing the pixel data from the DSC 601 via the data output unit 107 and inserting it into the memory card adapter of the PC 602, or The data output means 107 is a USB port, which is connected to the USB port of the PC 601 and is performed online by serial digital data transfer.
[0051]
The pixel data or color image data sent to the PC 602 is input to the processing content determination unit 6021, where the filter data set by the user via the filter configuration setting screen 6031 on the monitor 603 connected to the PC 602 is input. Information related to the image processing contents is generated as filter configuration information including the number of stages, filter coefficients, and signal flow, and is sent to the information input unit 117 (see FIG. 1) of the DSC 601 via the information output unit 6023. Here, the information output unit 6022 of the PC 602 and the information input unit 117 of the DSC 601 are configured as USB ports, and the user can use the screen 6032 to display the filter characteristics set on the filter configuration setting screen 6031 on the monitor 603, While viewing a screen 6033 displaying color image data obtained by performing a filtering process on the pixel data, an image having an image quality and a color tone that matches the user's preference is generated offline.
[0052]
Next, the second image processing mode will be described. In the second image processing mode, the user does not generate an image on the PC 602, but only sets the configuration of the filter applied to the pixel data, the filter coefficient, and the signal flow. As a result, an image having image quality and color matching the user's preference is generated while sending the information from the information output unit 6022 to the information input unit 117 of the DSC 601 and watching the liquid crystal display 115 as the display output unit of the DSC 601.
[0053]
FIG. 7A is a diagram illustrating an example of the content of filter configuration information such as the number of filter stages, filter coefficients, and signal flow, as information on the process content given by the PC 602 to the DSC 601. In the example of the filter configuration information shown in FIG. 7A, the filter of the color interpolation processing circuit 109 is selected, the number of filter taps is 5, the filter coefficient # 1 is -2, the filter coefficient # 2 is 4, the filter coefficient #N Is set to 2, the data input source is the output of the white balance circuit 106, and the data output destination is the aperture correction circuit 110.
[0054]
FIG. 7B is a diagram illustrating an example of the content of the connection information of the unit operation unit 401 converted from the filter configuration information of FIG. 7A by the decoding unit 116 of the DSC 601. In the example of the connection information of the unit operation unit 401 shown in FIG. 7B, the operation coefficient is set to 5 for the unit operation unit of the unit operation unit number # 1, and the bus # 23 is set as one input connection bus and the other is set as the input connection bus. The bus # 24 is selected as the input connection bus, and the bus # 22 is selected as the output connection bus. The number of bits of the bus is 8 bits. The unit operation units # 34 and # 453 are connected to the unit operation unit # 1 and are targeted. This represents a case where the arithmetic circuit is the arithmetic circuit of the color interpolation processing circuit 109, and also includes a creation date and version information of a creation source.
[0055]
FIG. 8 is a block diagram illustrating an example of a bus connection of the unit arithmetic unit # 1 configured based on the connection information of the unit arithmetic unit 401 illustrated in FIG. 7B. Note that, in FIG. 8, the same reference numerals are given to portions having the same configuration as in FIG. As shown by the solid line in FIG. 8, for the unit operation unit # 1, the bus # 23 is selected as one input connection bus, the bus # 24 is selected as the other input connection bus, and the bus # 22 is selected as the output selection bus. ing.
[0056]
Note that the case has been described above where the PC 602 provides the DSC 601 with filter configuration information such as the number of filter stages, the filter coefficient, and the signal flow as information on the processing content. The connection information of the circuit 401 may be used. In this case, the decoding means 116 in the DSC 601 does not perform decoding, and directly reconfigures a plurality of unit operation circuits 401 constituting each circuit in the image processing block 119.
[0057]
In the present embodiment, the transfer of the pixel data in the RAW data format from the DSC 601 to the PC 602 is performed off-line using the semiconductor memory card 108 or on-line by connecting a USB port. Although a case has been described in which information regarding the processing content is transferred to the DSC 601 by connecting the USB port, the present invention is not limited to this, and other connection forms can be adopted.
[0058]
(Embodiment 2)
In the first embodiment, each arithmetic circuit in the image processing block 119 is reconfigured with a digital filter by changing the connection relation of a plurality of unit arithmetic units. However, in the second embodiment of the present invention, at least The case where the image processing block is constituted by a programmable digital signal processor (hereinafter abbreviated as DSP) 919 will be described.
[0059]
FIG. 9 is a functional block diagram showing a configuration example of a DSC as a digital camera device according to Embodiment 2 of the present invention. In FIG. 9, portions having the same configurations and functions as those in Embodiment 1 shown in FIG. 1 are denoted by the same reference numerals, and description thereof will be omitted. This embodiment is different from the second embodiment in that the image processing block is configured by a DSP 919 that can be programmed, and that the decoding unit 116 uses the information on the processing content provided from the PC 602 (see FIG. 6). Is converted into arithmetic program information, and the DSP 919 performs arithmetic processing according to the program generated by the decoding means 116 to perform reconstruction of image processing.
[0060]
(Embodiment 3)
The third embodiment of the present invention is applied to the first and second embodiments, and attaches, to the DSC 601, information on the processing content provided from the PC 602, together with information on shooting conditions before an image suitable for the user's preference is obtained. A case where the data is stored in the stored semiconductor memory card 108 will be described.
[0061]
Here, the shooting conditions include, for example, a color temperature, a shutter speed, an aperture, the presence or absence of a flash, and the like. The user can store information about these shooting conditions stored in the semiconductor memory card 108, for example, by the user. When any of "daytime cherry blossoms", "night cherry blossoms", "watching baseball", "athletic meet", and the like, which are named to imply shooting conditions, is selected on the liquid crystal display 115, the decoding means 116 reads the semiconductor memory card. The image processing block 119 (refer to FIG. 1) or the DSP 919 (refer to FIG. 9) decodes the information related to the processing content read out from the image processing unit 108 based on the decoding result by the decoding unit 116 and performs image processing corresponding to the processing content. Reconfigure the process.
[0062]
This allows the user to immediately reconfigure the image processing once performed simply by selecting information on the shooting conditions, enabling more accurate image processing than the simple shooting mode setting normally provided in cameras. It becomes.
[0063]
【The invention's effect】
As described above, according to the present invention, the image processing inside the digital camera device is defined by the user from the external device, and the signal processing circuit is reconfigured, so that a high-quality shooting mode suitable for the user's preference is achieved. And a digital camera system using such a digital camera device can be realized.
[Brief description of the drawings]
FIG. 1 is a functional block diagram showing one configuration example of a DSC as a digital camera device according to a first embodiment of the present invention;
FIG. 2A is a schematic diagram showing an example of a color filter structure for describing processing by a color interpolation processing circuit 109 in FIG. 1;
FIG. 2B is a schematic diagram illustrating an example of interpolating a G component of a target pixel from green (G) components of four surrounding pixels for explaining processing by a color interpolation processing circuit 109 in FIG. 1;
FIG. 2C is a schematic diagram showing an example of interpolating the R component of the target pixel from the red (R) components of four surrounding pixels for explaining the processing by the color interpolation processing circuit 109 of FIG. 1;
FIG. 3 is a schematic diagram showing a pixel calculation process using a 3 × 3 two-dimensional filter used in the aperture correction circuit 110 of FIG. 1;
FIG. 4 is a block diagram showing an example of the internal configuration of a unit operation circuit 401 shared by the image processing block 119 in FIG. 1;
FIG. 5 is a block diagram of a two-dimensional filter 501 configured by combining a plurality of unit operation circuits 401 in FIG. 4;
FIG. 6 is a schematic block diagram of a digital camera system including a DSC 601 and a PC 602 which is an external device connected to the DSC 601.
FIG. 7A is a diagram showing an example of the content of filter configuration information as information on the content of processing that the PC 602 gives to the DSC 601;
FIG. 7B is a diagram showing an example of the content of connection information of the unit operation unit 401 converted from the filter configuration information of FIG. 7A by the decoding unit 116 of the DSC 601;
8 is a block diagram showing an example of a bus connection of a unit computing unit # 1 configured based on the connection information of the unit computing unit 401 shown in FIG. 7B;
FIG. 9 is a functional block diagram showing one configuration example of a DSC as a digital camera device according to a second embodiment of the present invention;
[Explanation of symbols]
101 CDS / AGC circuit
102 AD converter (ADC)
103 Clamp circuit
104 Scratch correction circuit
105 γ correction circuit
106 White balance circuit
107 Data output means
108 semiconductor memory card (removable semiconductor storage medium)
109 color interpolation processing circuit
110 aperture correction circuit
111 zoom circuit
112 compression / expansion circuit
113 OSD
114 Display output IF
115 LCD display
116 decoding means
117 Information input means
118 Preprocessing block
119 Image processing block
401 Unit calculator
402 shifter
403 Input register (IN REG)
404 addition / subtraction circuit
405 Output register (OUT REG)
406 Connection information from decoding means 116
407 connection bus
501 two-dimensional filter
601 DSC (Digital Camera Device)
602 PC (external device)
6021 Processing content determination means
6022 Information output means
603 Monitor connected to PC 602
6031 Filter configuration setting screen
6032 Filter characteristics display screen
6033 Display screen of filtered color image data
919 DSP

Claims

An image sensor that converts an optical signal from an object to be photographed into an electric signal and outputs it as a pixel signal;
A pre-process is performed on the pixel signal from the image sensor to generate raw pixel data, and an image processing process including a color generation process and a color adjustment process is performed on the pixel data to generate color image data. Signal processing means,
Information input means for inputting information about processing content given from the outside,
Decoding means for converting the information obtained from the information input means to connection information of the arithmetic circuit configuration or arithmetic program information,
The digital camera device according to claim 1, wherein the signal processing unit reconfigures the image processing according to the processing content based on a decoding result by the decoding unit.

The signal processing unit reconfigures the image processing by changing a connection relationship of an arithmetic circuit composed of a plurality of unit arithmetic circuits according to a decoding result by the decoding unit. Item 2. The digital camera device according to item 1.

2. The image processing device according to claim 1, wherein the signal processing unit includes a programmable arithmetic circuit, and performs the arithmetic processing according to a program generated by the decoding unit to reconfigure the image processing. Digital camera device.

The information on the processing content is stored in a removable semiconductor storage medium mounted on the digital camera device together with information on a photographing condition before corresponding color image data is obtained. Digital camera device.

When the information on the imaging condition stored in the removable semiconductor storage medium is selected by a user, the decoding unit decodes the information on the processing content read from the removable semiconductor storage medium. 5. The digital camera device according to claim 4, wherein the signal processing unit reconfigures the image processing according to the processing content based on a result of the decoding by the decoding unit.

A digital camera device, a digital camera system including an external device connected to the digital camera device,
The digital camera device,
An image sensor that converts an optical signal from an object to be photographed into an electric signal and outputs it as a pixel signal;
A pre-process is performed on the pixel signal from the image sensor to generate raw pixel data, and an image processing process including a color generation process and a color adjustment process is performed on the pixel data to generate color image data. Signal processing means,
A display output unit that outputs the color image data from the signal processing unit as a display image,
Information input means for inputting information about processing content given from the outside,
Decoding means for converting the information obtained from the information input means to connection information of the arithmetic circuit configuration or arithmetic program information,
The signal processing unit reconfigures the image processing according to the processing content based on a decoding result by the decoding unit,
The external device includes:
Processing content determining means for determining the processing content based on a display image output by the display output means of the digital camera device;
A digital camera system, comprising: information output means for transmitting information on the processing content determined by the processing content determination means to the input means of the digital camera device.

A digital camera device, a digital camera system including an external device connected to the digital camera device,
The digital camera device,
An image sensor that converts an optical signal from an object to be photographed into an electric signal and outputs it as a pixel signal;
A pre-process is performed on the pixel signal from the image sensor to generate raw pixel data, and an image processing process including a color generation process and a color adjustment process is performed on the pixel data to generate color image data. Signal processing means,
Data output means for outputting the raw pixel data or the color image data from the signal processing means,
Information input means for inputting information about processing content given from the outside,
Decoding means for converting the information obtained from the information input means to connection information of the arithmetic circuit configuration or arithmetic program information,
The signal processing unit reconfigures the image processing according to the processing content based on a decoding result by the decoding unit,
The external device includes:
Processing content determining means for determining the processing content based on the raw pixel data or the color image data provided from the data output means of the digital camera device;
A digital camera system, comprising: information output means for transmitting information on the processing content determined by the processing content determination means to the input means of the digital camera device.

The processing content determination means of the external device generates information regarding processing content for color image data obtained by performing a color generation process and a color adjustment process on the raw pixel data or the color image data by a user. The digital camera system according to claim 7, wherein

The signal processing unit reconfigures the image processing by changing a connection relation of an arithmetic circuit including a plurality of unit arithmetic circuits based on a decoding result by the decoding unit. Item 8. The digital camera system according to item 6 or 7.

7. The image processing device according to claim 6, wherein the signal processing unit is configured by an arithmetic circuit that can be programmed, and executes the arithmetic processing according to a program generated by the decoding unit to reconfigure the image processing. 8. The digital camera system according to 7.

7. The information relating to the processing content is stored in a removable semiconductor storage medium attached to the digital camera device together with information relating to a photographing condition before corresponding color image data is obtained. 8. The digital camera system according to 7.

When the information on the imaging condition stored in the removable semiconductor storage medium is selected by a user, the decoding unit decodes the information on the processing content read from the removable semiconductor storage medium. 12. The digital camera system according to claim 11, wherein the signal processing unit reconfigures the image processing according to the processing content based on a result of the decoding by the decoding unit.