JP2004356974A

JP2004356974A - Image pickup signal processor

Info

Publication number: JP2004356974A
Application number: JP2003152486A
Authority: JP
Inventors: Kazuo Okamoto; 和雄岡本; Tatsuro Shigesato; 達郎重里
Original assignee: Matsushita Electric Industrial Co Ltd
Current assignee: Panasonic Holdings Corp
Priority date: 2003-05-29
Filing date: 2003-05-29
Publication date: 2004-12-16

Abstract

<P>PROBLEM TO BE SOLVED: To solve the problem that the high resolution of a still picture image pickup signal and a moving picture image pickup signal in image pickup signal processing increases accesses to an external memory in which an access speed is relatively slow and power consumption is large to consequently increase power consumption as well as external memory capacity. <P>SOLUTION: A horizontal resizing filter, a horizontal and vertical resizing filter and a work memory with small capacity and little power consumption apply signal processing to still picture and moving picture image pickup and video signals before temporarily storing the still picture and moving picture image pickup and video signals in the external memory, and no use of the external memory and a reduction in an access frequency to the external memory can reduce increasing power consumption of the external memory. <P>COPYRIGHT: (C)2005,JPO&NCIPI

Description

【０００１】
【発明の属する技術分野】
本発明は、映像を撮像する機能、映像信号を記録する機能、及び映像をモニタする機能を有する技術に関するものである。例えばビデオカメラ、ディジタルビデオカメラ、ディジタルスチルカメラ、パソコンカメラ、ＭＰＥＧ２カメラ、ＭＰＥＧ４カメラ、テレビ電話会議用カメラ、アイカメラ、などモバイル撮像ができ、動画又は静止画、又は動画及び静止画を撮像し記録する信号処理に関するものである。
【０００２】
【従来の技術】
従来、ＳＤＲＡＭを使用した静止画撮像信号処理としては、特許文献１に記載の「ディジタルカメラ」、及び特許文献２に記載された「ディジタルカメラ」等が知られている。
【０００３】
図１３に従来の特許文献１に記載の「ディジタルカメラ」の構成を記載している。以下、図１３を用いて構成を説明する。ＣＣＤ１と、ＣＣＤ１からデータを取り出すタイミングを作るタイミングジェネレータＴＧ２１と、タイミングジェネレータＴＧ２１へクロックを供給するシグナルジェネレータＳＧ２２と、ＣＣＤ１のノイズを除去する相関二重サンプリングＣＤＳ（ＣｏｒｒｅｌａｔｅｄＤｏｕｂｌｅＳａｍｐｌｉｎｇ）及びゲインを制御し主に輝度レベルを調整するＣＤＳ／ＡＧＣ１２と、映像信号をディジタル化するＡ／Ｄコンバータ１３と、ディジタル化されたＲＧＢ映像信号を映像信号処理に適したＹＵＶ信号に変換する信号処理１４と、ＳＤＲＡＭメモリ制御を行うメモリ制御１５と、ＳＤＲＡＭメモリ１６と、映像信号を記録するメモリカードＩ／Ｆ２４と、メモリカード２５と、静止画のためのデータ圧縮伸張をするＪＰＥＧコーディック１９と、ＹＵＶデータをコンポジット信号に変換するビデオエンコーダ１８と、キャラクタジェネレータ１７と、表示用モニタ２０と、全体のシステムを制御するＣＰＵ２３と、により構成される。
【０００４】
次に動作原理を同じく図１３を用いて説明する。
【０００５】
タイミングジェネレータＴＧ２１は、ＣＰＵ２３により指示された所定のモード処理制御により、シグナルジェネレータＳＧ２２から出力される水平同期信号と垂直同期信号に基づくタイミング信号を発生し、ＣＣＤ１はこれに基づいて撮像したアナログ映像信号１ｓを生成する。このアナログ映像信号１ｓはＣＤＳ／ＡＧＣ１２によりノイズ除去と最適なレベルまで増幅される。Ａ／Ｄ１３はこのアナログ映像信号１ｓをディジタルに変換する。信号処理１４はこのディジタルＲＧＢ信号をディジタルの輝度色差信号であるＹＵＶ信号へ変換する。ＹＵＶ信号はメモリ制御１５により、一時的にＳＤＲＡＭ１６に高速バーストモードにて一時記憶される。一時記憶されたＹＵＶ信号はそのままでは膨大な量であるので、もしそのままメモリカード２５に保存すると記録可能な静止画の枚数は少なくなってしまう。そこで、静止画の場合においては一旦ＳＤＲＡＭ１６に一時記憶されたＹＵＶ信号データをＪＰＥＧコーディック１９によりＪＰＥＧ圧縮処理し、メモリカードＩ／Ｆ２４を経由してメモリカード２５に記録することにより、メモリカード２５に多くの枚数の静止画を半永久的に保存するようにしている。モニタ表示については、信号処理されたＹＵＶ信号をコンポジットビデオエンコーダ１８によりコンポジット信号に変換してモニタ２０に表示される。
【０００６】
テキストや簡易グラフィカル情報を表示する場合はコンポジットビデオエンコーダ１８でなく、キャラクタジェネレータ１７で生成されたデータをスイッチしてモニタ２０に表示する。このようにＳＤＲＡＭ１６に一時記憶された１枚の静止画モードで撮像した映像信号は、圧縮率の低いＪＰＥＧなどの第１の圧縮方法を用いて圧縮し、高解像度の静止画をメモリカード２５に保存することができる。またＳＤＲＡＭ１６に一時記憶された複数枚の動画モードで撮像した映像信号は、圧縮率の高いモーションＪＰＥＧなどの第２の圧縮方法を用いて、低解像度の複数枚の動画相当である静止画をメモリカード２５に保存することができる。このように２種類の圧縮方法を用いることにより、高解像度静止画と低解像度静止画の両方に対応したディジタルスチルカメラを実現した。
【０００７】
【特許文献１】
特許第３２６３６７４号公報
【特許文献２】
特開２０００−２３１００２号公報
【０００８】
【発明が解決しようとする課題】
この従来例においては、ＳＤＲＡＭに一時的に記憶された静止画を読み出してきて、適した圧縮方法により圧縮してメモリカードに半永久記録する。このときＳＤＲＡＭへのアクセス回数は、撮像後１回ライトアクセスし、その後、ＳＤＲＡＭから１回リードアクセスする合計２回である。ＳＤＲＡＭがバッファとして使用されているためメモリ容量が多く必要となるとともに、ＳＤＲＡＭアクセスが最低でも２回必要となり、消費電力が多くなるという課題があった。また近年技術の発展によりメガピクセル対応の高解像度ＣＣＤを使用するため、ますます一時記憶用ＳＤＲＡＭの容量が増加し、さらに静止画の連写撮影を行おうとするとますますＳＤＲＡＭ容量が増加するという課題があった。本発明の目的とするところは、ＳＤＲＡＭを使用しないように工夫することによりＳＤＲＡＭアクセスに必要な消費電力を削減することと、さらにどうしてもＳＤＲＡＭを使用しないと信号処理ができない場合はそのＳＤＲＡＭのアクセス回数を低減する信号処理を実現することにより、消費電力を削減すること、である。
【０００９】
【課題を解決するための手段】
この課題を解決するために、本発明の請求項１記載の静止画撮像信号処理装置は、Ｍ列Ｎ行の解像度を持つ静止画撮像信号を信号処理する静止画撮像入力処理部と、前記静止画撮像入力処理部からの出力信号の水平方向のデータＭ列を任意のｍ（ｍ≦Ｍ）列に縮小する水平リサイズフィルタ部と、前記水平リサイズフィルタ部の出力信号の色情報を信号処理する色処理部と、前記色処理部の出力信号を任意のＰ列Ｒ行（Ｐ≦ｍ≦Ｍ，Ｒ≦Ｎ）にリサイズ変換する水平垂直リサイズフィルタ部と、前記水平垂直リサイズフィルタワークメモリ部と、を有することを特徴とする。
【００１０】
静止画撮像信号処理において消費電力の多い外部メモリを使用せずに、ワークメモリとフィルタのみで信号処理を行うので、消費電力を削減できる作用を有する。またアクセス速度の遅い外部メモリを使用せず、必要最小限の容量を持ったアクセス速度の速いワークメモリとフィルタのみで信号処理を行うので高速処理を実現する作用を有する。
【００１１】
本発明の請求項２に記載の動画撮像信号処理装置は、Ｍ列Ｎ行の解像度を持つ動画撮像信号を信号処理する動画撮像入力処理部と、前記動画撮像入力処理部からの出力信号の水平方向のデータＭ列を任意のｍ（ｍ≦Ｍ）列に縮小する水平リサイズフィルタ部と、前記水平リサイズフィルタ部の出力信号の色情報を信号処理する色処理部と、前記色処理部の出力信号を任意のＰ列Ｒ行（Ｐ≦ｍ≦Ｍ，Ｒ≦Ｎ）にリサイズ変換する水平垂直リサイズフィルタ部と、前記水平垂直リサイズフィルタワークメモリ部と、を有することを特徴とする。
【００１２】
動画撮像信号処理において消費電力の多い外部メモリを使用せずに、ワークメモリとフィルタのみで信号処理を行うので、消費電力を削減できる作用を有する。またアクセス速度の遅い外部メモリを使用せず、必要最小限の容量を持ったアクセス速度の速いワークメモリとフィルタのみで信号処理を行うので高速処理を実現する作用を有する。
【００１３】
請求項３に記載の静止画映像信号処理装置は、Ｍ列Ｎ行の解像度を持つ静止画映像信号を入力する静止画映像入力手段と、前記静止画映像入力手段からの出力信号の水平方向のデータＭ列を、任意のｍ（ｍ≦Ｍ）列に縮小する水平リサイズフィルタ部と、前記水平リサイズフィルタ部の出力信号を任意のＰ列Ｒ行（Ｐ≦ｍ≦Ｍ，Ｒ≦Ｎ）にリサイズ変換する水平垂直リサイズフィルタ部と、前記水平垂直リサイズフィルタワークメモリ部と、を有することを特徴とする。
【００１４】
静止画映像信号処理において消費電力の多い外部メモリを使用せずに、ワークメモリとフィルタのみで信号処理を行うので、消費電力を削減できる作用を有する。またアクセス速度の遅い外部メモリを使用せず、必要最小限の容量を持ったアクセス速度の速いワークメモリとフィルタのみで信号処理を行うので高速処理を実現する作用を有する。
【００１５】
請求項４に記載の動画映像信号処理装置は、Ｍ列Ｎ行の解像度を持つ動画映像信号を入力する動画映像入力手段と、前記動画映像入力手段からの出力信号の水平方向のデータＭ列を、任意のｍ（ｍ≦Ｍ）列に縮小する水平リサイズフィルタ部と、前記水平リサイズフィルタ部の出力信号を任意のＰ列Ｒ行（Ｐ≦ｍ≦Ｍ，Ｒ≦Ｎ）にリサイズ変換する水平垂直リサイズフィルタ部と、前記水平垂直リサイズフィルタワークメモリ部と、を有することを特徴とする。
【００１６】
動画映像信号処理において消費電力の多い外部メモリを使用せずに、ワークメモリとフィルタのみで信号処理を行うので、消費電力を削減できる作用を有する。またアクセス速度の遅い外部メモリを使用せず、必要最小限の容量を持ったアクセス速度の速いワークメモリとフィルタのみで信号処理を行うので高速処理を実現する作用を有する。
【００１７】
請求項５に記載の静止画撮像信号処理装置は、Ｍ列Ｎ行の解像度を持つ静止画撮像信号を信号処理する静止画撮像入力処理部と、前記静止画撮像入力処理部からの出力信号の水平方向のデータＭ列を任意のｍ（ｍ≦Ｍ）列に縮小する水平リサイズフィルタ部と、前記水平リサイズフィルタの出力信号を一時記憶するＳＤＲＡＭ−Ａと、前記ＳＤＲＡＭ−Ａに一時記憶されたデータ出力の色情報を信号処理する色処理部と、前記色処理部の出力信号を任意のＰ列Ｒ行（Ｐ≦ｍ≦Ｍ，Ｒ≦Ｎ）にリサイズ変換する水平垂直リサイズフィルタ部と、前記水平垂直リサイズフィルタワークメモリ部と、前記水平垂直リサイズフィルタ部の出力を一時記憶するＳＤＲＡＭ−Ｂと、を有することを特徴とする。
【００１８】
静止画撮像信号処理において消費電力の多い外部メモリへ一時記憶するデータ量をワークメモリとフィルタの信号処理で低減するので、合計の消費電力を削減できる作用を有する。
【００１９】
請求項６に記載の動画撮像信号処理装置は、Ｍ列Ｎ行の解像度を持つ動画撮像信号を信号処理する動画撮像入力処理部と、前記動画撮像入力処理部からの出力信号の水平方向のデータＭ列を任意のｍ（ｍ≦Ｍ）列に縮小する水平リサイズフィルタ部と、前記水平リサイズフィルタの出力信号を一時記憶するＳＤＲＡＭ−Ａと、前記ＳＤＲＡＭ−Ａに一時記憶されたデータ出力の色情報を信号処理する色処理部と、前記色処理部の出力信号を任意のＰ列Ｒ行（Ｐ≦ｍ≦Ｍ，Ｒ≦Ｎ）にリサイズ変換する水平垂直リサイズフィルタ部と、前記水平垂直リサイズフィルタワークメモリ部と、前記水平垂直リサイズフィルタ部の出力を一時記憶するＳＤＲＡＭ−Ｂと、を有することを特徴とする。
【００２０】
動画撮像信号処理において消費電力の多い外部メモリへ一時記憶するデータ量をワークメモリとフィルタの信号処理で低減するので、合計の消費電力を削減できる作用を有する。
【００２１】
請求項７に記載の静止画映像信号処理装置は、Ｍ列Ｎ行の解像度を持つ静止画映像信号を入力する静止画映像入力手段と、前記静止画映像入力信号からの出力信号の水平方向のデータＭ列を任意のｍ（ｍ≦Ｍ）列に縮小する水平リサイズフィルタ部と、前記水平リサイズフィルタの出力信号を一時記憶するＳＤＲＡＭ−Ａと、前記ＳＤＲＡＭ−Ａに一時記憶されたデータ出力信号を任意のＰ列Ｒ行（Ｐ≦ｍ≦Ｍ，Ｒ≦Ｎ）にリサイズ変換する水平垂直リサイズフィルタ部と、前記水平垂直リサイズフィルタワークメモリ部と、前記水平垂直リサイズフィルタ部の出力を一時記憶するＳＤＲＡＭ−Ｂと、を有することを特徴とする。
【００２２】
静止画映像信号処理において消費電力の多い外部メモリへ一時記憶するデータ量をワークメモリとフィルタの信号処理で低減するので、合計の消費電力を削減できる作用を有する。
【００２３】
請求項８に記載の動画映像信号処理装置は、Ｍ列Ｎ行の解像度を持つ動画映像信号を入力する動画映像入力手段と、前記動画映像入力手段からの出力信号の水平方向のデータＭ列を任意のｍ（ｍ≦Ｍ）列に縮小する水平リサイズフィルタ部と、前記水平リサイズフィルタの出力信号を一時記憶するＳＤＲＡＭ−Ａと、前記ＳＤＲＡＭ−Ａに一時記憶されたデータ出力信号を任意のＰ列Ｒ行（Ｐ≦ｍ≦Ｍ，Ｒ≦Ｎ）にリサイズ変換する水平垂直リサイズフィルタ部と、前記水平垂直リサイズフィルタワークメモリ部と、前記水平垂直リサイズフィルタ部の出力を一時記憶するＳＤＲＡＭ−Ｂと、を有することを特徴とする。
【００２４】
動画映像信号処理において消費電力の多い外部メモリへ一時記憶するデータ量をワークメモリとフィルタの信号処理で低減するので、合計の消費電力を削減できる作用を有する。
【００２５】
請求項９に記載の静止画撮像信号処理装置は、Ｍ列Ｎ行の解像度を持つ静止画撮像信号を信号処理する静止画撮像入力処理部と、前記静止画撮像入力処理部からの出力信号の水平方向のデータＭ列を任意のｍ（ｍ≦Ｍ）列に縮小する水平リサイズフィルタ部と、前記水平リサイズフィルタの出力信号をｎ個のエリアに短冊状に分割して部分的にブロックを空けて一時記憶するＳＤＲＡＭと、前記ＳＤＲＡＭに一時記憶されたデータを読み出して信号処理する色処理部と、前記色処理部の出力信号を任意のＰ列Ｒ行（Ｐ≦ｍ≦Ｍ，Ｒ≦Ｎ）にリサイズ変換する水平垂直リサイズフィルタ部と、前記水平垂直リサイズフィルタワークメモリ部と、前記水平垂直リサイズフィルタ部の出力を前記ＳＤＲＡＭにおいて空けたブロックへ優先して一時記憶するＳＤＲＡＭと、を有することを特徴とする。
【００２６】
静止画撮像信号処理において消費電力の多い外部メモリへ一時記憶するデータ量をワークメモリとフィルタの信号処理で低減するので、合計の消費電力を削減できる作用を有する。さらにＳＤＲＡＭに一時記憶するときに空けたブロックに信号処理後のデータを優先的に一時記憶することができるので、ＳＤＲＡＭを１つの素子で構成できる作用を有する。さらにＳＤＲＡＭの読むアドレスと書くアドレスを部分的にずらしてオーバーラップが可能であり、しかも書く容量を読む容量より小さくできるのでＳＤＲＡＭの合計の容量を削減できる作用を有する。
【００２７】
請求項１０に記載の動画撮像信号処理装置は、Ｍ列Ｎ行の解像度を持つ動画撮像信号を信号処理する動画撮像入力処理部と、前記動画撮像入力処理部からの出力信号の水平方向のデータＭ列を任意のｍ（ｍ≦Ｍ）列に縮小する水平リサイズフィルタ部と、前記水平リサイズフィルタの出力信号をｎ個のエリアに短冊状に分割して部分的にブロックを空けて一時記憶するＳＤＲＡＭと、前記ＳＤＲＡＭに一時記憶された色情報データを読み出して信号処理する色処理部と、前記色処理部の出力信号を任意のＰ列Ｒ行（Ｐ≦ｍ≦Ｍ，Ｒ≦Ｎ）にリサイズ変換する水平垂直リサイズフィルタ部と、前記水平垂直リサイズフィルタワークメモリ部と、前記水平垂直リサイズフィルタ部の出力を前記ＳＤＲＡＭにおいて空けたブロックへ優先して一時記憶するＳＤＲＡＭと、を有することを特徴とする。
【００２８】
動画撮像信号処理において消費電力の多いＳＤＲＡＭへ一時記憶するデータ量をワークメモリとフィルタの信号処理で低減するので、合計の消費電力を削減できる作用を有する。さらにＳＤＲＡＭに一時記憶するときに空けたブロックに信号処理後のデータを優先的に一時記憶することができるので、ＳＤＲＡＭを１つの素子で構成できる作用を有する。さらにＳＤＲＡＭの読むアドレスと書くアドレスを部分的にずらしてオーバーラップが可能であり、しかも書く容量を読む容量より小さくできるのでＳＤＲＡＭの合計の容量を削減できる作用を有する。
【００２９】
請求項１１に記載の静止画映像信号処理装置は、Ｍ列Ｎ行の解像度を持つ静止画映像信号を入力する静止画映像入力手段と、前記静止画映像入力手段からの出力信号を水平方向のデータＭ列を任意のｍ（ｍ≦Ｍ）列に縮小する水平リサイズフィルタ部と、前記水平リサイズフィルタの出力信号をｎ個のエリアに短冊状に分割して部分的にブロックを空けて一時記憶するＳＤＲＡＭと、前記ＳＤＲＡＭに一時記憶されたデータを読み出して、任意のＰ列Ｒ行（Ｐ≦ｍ≦Ｍ，Ｒ≦Ｎ）にリサイズ変換する水平垂直リサイズフィルタ部と、前記水平垂直リサイズフィルタワークメモリ部と、前記水平垂直リサイズフィルタ部の出力を前記ＳＤＲＡＭにおいて空けたブロックへ優先して一時記憶するＳＤＲＡＭと、を有することを特徴とする。
【００３０】
静止画映像信号処理において消費電力の多いＳＤＲＡＭへ一時記憶するデータ量をワークメモリとフィルタの信号処理で低減するので、合計の消費電力を削減できる作用を有する。さらにＳＤＲＡＭに一時記憶するときに空けたブロックに信号処理後のデータを優先的に一時記憶することができるので、ＳＤＲＡＭを１つの素子で構成できる作用を有する。さらにＳＤＲＡＭの読むアドレスと書くアドレスを部分的にずらしてオーバーラップが可能であり、しかも書く容量を読む容量より小さくできるのでＳＤＲＡＭの合計の容量を削減できる作用を有する。
【００３１】
請求項１２に記載の動画映像信号処理装置は、Ｍ列Ｎ行の解像度を持つ動画映像信号を入力する動画映像入力手段と、前記動画映像入力手段からの出力信号の水平方向のデータＭ列を任意のｍ（ｍ≦Ｍ）列に縮小する水平リサイズフィルタ部と、前記水平リサイズフィルタの出力信号をｎ個のエリアに短冊状に分割して部分的にブロックを空けて一時記憶するＳＤＲＡＭと、前記ＳＤＲＡＭに一時記憶されたデータを読み出して、任意のＰ列Ｒ行（Ｐ≦ｍ≦Ｍ，Ｒ≦Ｎ）にリサイズ変換する水平垂直リサイズフィルタ部と、前記水平垂直リサイズフィルタワークメモリ部と、前記水平垂直リサイズフィルタ部の出力を前記ＳＤＲＡＭにおいて空けたブロックへ優先して一時記憶するＳＤＲＡＭと、を有することを特徴とする。
【００３２】
動画映像信号処理において消費電力の多いＳＤＲＡＭへ一時記憶するデータ量をワークメモリとフィルタの信号処理で低減するので、合計の消費電力を削減できる作用を有する。さらにＳＤＲＡＭに一時記憶するときに空けたブロックに信号処理後のデータを優先的に一時記憶することができるので、ＳＤＲＡＭを１つの素子で構成できる作用を有する。さらにＳＤＲＡＭの読むアドレスと書くアドレスを部分的にずらしてオーバーラップが可能であり、しかも書く容量を読む容量より小さくできるのでＳＤＲＡＭの合計の容量を削減できる作用を有する。
【００３３】
請求項１３記載の静止画映像信号処理装置は、さらに、前記静止画映像入力手段からの出力信号をそのまま映像出力する静止画出力手段とを備えたことを特徴とする。
【００３４】
請求項１４記載の動画映像信号処理装置は、さらに、前記動画映像入力手段からの出力信号をそのまま映像出力する動画出力手段とを備えたことを特徴とする。
【００３５】
【発明の実施の形態】
以下、本発明の実施の形態について、図１から図１２を用いて説明する。
【００３６】
なお、本明細書において国際標準規格ＩＴＵ−ＲＢＴ．６５６準拠ディジタル画像信号は以下ＩＴＵ６５６と略す。
【００３７】
（実施の形態１）
本発明の静止画撮像モードにおける撮像信号処理の一実施の形態を示す。図１は本発明の静止画撮像モードにおける信号処理ブロック構成図である。図２は静止画撮像モードにおける信号処理を示す。以下に構成を説明する。
【００３８】
ＣＣＤ１などの撮像素子（解像度Ｍ列Ｎ行１秒あたりＱフレームの源信号）と、ＣＤＳ／ＡＧＣ１２とＡ／Ｄコンバータ１３とＲＧＢからＹＵＶ変換２９を１ブロックとした撮像入力処理２と、ＳＧ２２と、ＴＧ２１と、水平方向のリサイズを行う水平リサイズフィルタ３と、γ補正などを行う色処理部４と、水平垂直方向にリサイズ変換するリサイズ変換フィルタ５と、そのリサイズ処理において、ワークエリアとして使用されるワークメモリ６と、ビデオエンコーダ１８と、メモリカードＩ／Ｆ２４と、メモリカード２５と、ビデオデコーダ２８と、ＹＵＶからＲＧＢへ変換３０と、モニタ２０と、ＣＰＵ２３と、設定スイッチ２６と、撮像シャッタースイッチ２７と、から構成される。なおＹＵＶとはＹ：輝度信号、Ｕ：色差信号Ｃｂ、Ｖ：色差信号Ｃｒのことですべてディジタル信号である。
【００３９】
次に動作を説明する。まず設定スイッチ２６によるプリセット条件が低解像度の静止画及び中解像度の静止画に設定されている場合を説明する。ＣＣＤ１からの入力源信号はＭ列Ｎ行で１秒あたりＱフレームの動画ＲＧＢ信号である。このとき図２に示すように撮像動画信号１ｓにおける１フレームのデータ量はＭ×Ｎ×３ＲＧＢとなる。この撮像動画信号１ｓは撮像入力処理２によりノイズ除去＆ゲイン制御１２とＡ／Ｄ変換１３とＲＧＢからＹＵＶへの変換２９が行われ、水平リサイズフィルタ３へ入る。ＲＧＢからＹＵＶへの変換２９においてはＲＧＢ信号をＹＵＶ信号４：２：２にＩＴＵ−ＲＢＴ．６０１の規格にしたがって変換する。なおＹＵＶ変換４：２：０等を行っても構わない。なおＣＣＤが補色ＣＣＤの場合はＲＧＢへ変換後ＹＵＶ変換を行う。この水平フィルタ３は水平方向に対してｍ列（Ｍ／２≦ｍ≦Ｍ）にリサイズする。この水平リサイズフィルタはＭ／２以上に限定しているので、遮断周波数が全帯域の１／２倍以上になる。したがってこのフィルタをかけても、折り返しノイズが発生することはない。このリサイズされた信号３ｓは、色信号処理４において人間の色感度にあわせるためにγ補正が行われる。その後水平垂直リサイズ変換フィルタ５に入る。ビデオエンコーダ１８により例えばＪＰＥＧへのエンコーダが行われる。こうしてエンコードされたＪＰＥＧデータは設定スイッチ２６によるプリセット条件に従い、撮像シャッタースイッチ２７が押されると、ＣＰＵ２３が制御信号をメモリカードＩ／Ｆ２４に送りＩ／Ｆをアクティブにすることによりメモリカード２５に１フレームの静止画を記録する。
【００４０】
またビデオエンコーダ１８から出力されたデータはビデオデコーダ２８によりモニタ２０の解像度にデコードされることにより、モニタに静止画を表示する。
【００４１】
設定スイッチ２６によるプリセット条件が０．５秒ごとの連写に設定されている場合は、撮像シャッタースイッチ２７が押されている間、０．５秒ごとに１フレームずつメモリカードＩ／Ｆ２４からメモリカード２５に記録する。と同時にビデオデコーダ２８によりデコードされ、モニタ２０に０．５秒ごとに更新表示する。
【００４２】
次に設定スイッチ２６によるプリセット条件が、高解像度静止画モードのときは、ＣＰＵ２３の指示により、水平リサイズフィルタ３はリサイズ処理をしない。つまりｍ列（ｍ＝Ｍ）のまま信号をスルーさせる。その信号は色処理４の後、水平垂直リサイズフィルタ５を素通りする。つまりここでもリサイズ処理をしない。これによりＣＣＤの元画素に相当する高解像度の画素をそのままＪＰＥＧビデオエンコーダ１８によりメモリカードＩ／Ｆ２４経由でメモリカード２５へ１フレーム記録する。なおモニタ表示する際において、その解像度を表示できない場合はＣＰＵ２３の指示によりビデオデコーダ２８で表示に適した解像度にデコードされて表示される。
【００４３】
次に設定スイッチ２６によるプリセット条件が、２倍ズームである場合、ＣＰＵ２３の指示により、水平リサイズフィルタ３はリサイズ処理をしない。つまりｍ列（ｍ＝Ｍ）のまま信号をスルーさせる。その信号は色処理４の後、水平垂直リサイズフィルタ５により２倍拡大リサイズ処理をする。これによりＣＣＤの元画素に相当する高解像度の画素の縦及び横それぞれ２倍にリサイズされる。このデータはＪＰＥＧビデオエンコーダ１８によりメモリカードＩ／Ｆ２４経由でメモリカード２５へ１フレーム静止画として記録する。なおモニタ表示する際において、その解像度をそのまま表示できない場合はＣＰＵ２３の指示に従い、ビデオデコーダ２８において所望の表示エリアのみ表示に適した解像度にデコードして表示される。
【００４４】
このようにＳＤＲＡＭなどの外部メモリを使用せずに、水平信号を処理する入力用ピクセルバッファと出力用ピクセルバッファ及び垂直信号を処理する入力用ラインバッファと出力用ラインバッファのみで信号処理を行う。このバッファは外部メモリより高速で、容量が小さく、消費電力が少ないメモリで例えばＳＲＡＭにより構成され、撮像入力処理２、水平リサイズフィルタ３、色処理部４、水平垂直リサイズフィルタ５、ＣＰＵ２３、ビデオエンコーダ１８、メモリカードＩ／Ｆ２４、ビデオデコーダ２８、ＹＵＶからＲＧＢ変換３０、ＴＧ２１、ＳＧ２２と同じＬＳＩ内部に構成することができる。またＣＣＤ１の代わりにＣＭＯＳ撮像素子を使用すると、ＣＭＯＳ撮像素子１も含めてすべて１つのＬＳＩに、つまりシステムＬＳＩとして構成することができる。
【００４５】
このようにワークメモリをシステムＬＳＩに構成し、信号処理の過程で外部メモリへのアクセスをなくすことにより、外部メモリで消費していた消費電力を大幅に削減することができる。また外部メモリを使用する場合はバーストメモリアクセスを用いてもメモリアクセス時間がかかるが、内部メモリを使用することにより高速にアクセスが可能で、静止画撮像時のプレビュー処理と、連写処理と、高解像度の信号処理と、ズーム処理と、の信号処理が高速に行える。
【００４６】
（実施の形態２）
本発明の動画撮像モードにおける撮像信号処理の一実施の形態を示す。図１は本発明の動画撮像モードにおける信号処理ブロック構成図である。図２は動画撮像モードにおける信号処理を示す。
【００４７】
まず構成を説明する。構成はビデオエンコーダ１８とビデオデコーダ２８が動画処理用の例えばＭＰＥＧ２又はＭＰＥＧ４であることと、扱う信号とデータが動画である点を除けば実施の形態１と同じであるので説明は省略する。
【００４８】
次に動作を説明する。まず設定スイッチ２６によるプリセット条件が低解像度の動画及び中解像度の動画に設定されている場合を説明する。ＣＣＤ１からの入力源信号はＭ列Ｎ行で１秒あたりＱフレームの動画ＲＧＢ信号である。このとき図２に示すように撮像動画信号１ｓにおける１フレームのデータ量はＭ×Ｎ×３ＲＧＢとなる。この撮像動画信号１ｓは撮像入力処理２によりノイズ除去＆ゲイン制御１２とＡ／Ｄ変換１３とＲＧＢからＹＵＶへの変換２９が行われ、その撮像入力処理された撮像入力処理出力信号２ｓは、水平リサイズフィルタ３へ入る。ＲＧＢからＹＵＶへの変換２９においてはＲＧＢ信号をＹＵＶ信号４：２：２にＩＴＵ−ＲＢＴ．６０１の規格にしたがって変換する。なおＹＵＶ変換４：２：０等を行っても構わない。なおＣＣＤが補色ＣＣＤの場合はＲＧＢへ変換後ＹＵＶ変換を行う。この水平フィルタ３は水平方向に対してｍ列（Ｍ／２≦ｍ≦Ｍ）にリサイズする。この水平リサイズフィルタはＭ／２以上に限定しているので、遮断周波数が全帯域の１／２倍以上になる。したがってこのフィルタをかけても、折り返しノイズが発生することはない。このリサイズされた信号３ｓは、色信号処理４において人間の色感度にあわせるためにγ補正が行われる。色処理された色処理出力信号４ｓはその後水平垂直リサイズ変換フィルタ５に入る。水平垂直リサイズ変換フィルタ５からの出力される水平垂直リサイズ変換フィルタ出力信号５ｓはビデオエンコーダ１８により例えばＭＰＥＧ４へのエンコーダが行われる。こうしてエンコードされたＭＰＥＧ４データは設定スイッチ２６によるプリセット条件に従い、撮像シャッタースイッチ２７が押され、押され続けている間、ＣＰＵ２３が制御信号をメモリカードＩ／Ｆ２４に送りＩ／Ｆをアクティブにすることによりメモリカード２５に連続したフレームの動画を記録する。
【００４９】
またビデオエンコーダ１８から出力されたデータはビデオデコーダ２８によりモニタ２０の解像度にデコードされることにより、モニタに動画を表示する。
【００５０】
次に設定スイッチ２６によるプリセット条件が、高解像度動画モードのときは、ＣＰＵ２３の指示により、水平リサイズフィルタ３はリサイズ処理をしない。つまりｍ列（ｍ＝Ｍ）のまま信号をスルーさせる。その信号は色処理４の後、水平垂直リサイズフィルタ５を素通りする。つまりここでもリサイズ処理をしない。これによりＣＣＤの元画素に相当する高解像度の画素をそのまま今度はＭＰＥＧ２エンコーダ１８によりメモリカードＩ／Ｆ２４経由でメモリカード２５へ連続フレームを記録する。なおモニタ表示する際において、その解像度を表示できない場合はＣＰＵ２３の指示によりＭＰＥＧ２デコーダ２８でデコードされて表示される。
【００５１】
次に設定スイッチ２６によるプリセット条件が、２倍ズームである場合、ＣＰＵ２３の指示により、水平リサイズフィルタ３はリサイズ処理をしない。つまりｍ列（ｍ＝Ｍ）のまま信号をスルーさせる。その信号は色処理４の後、水平垂直リサイズフィルタ５により２倍拡大リサイズ処理をする。これによりＣＣＤの元画素に相当する高解像度の画素の縦及び横それぞれ２倍にリサイズされる。このデータはＭＰＥＧ２エンコーダ１８によりメモリカードＩ／Ｆ２４経由でメモリカード２５へ連続動画として記録する。なおモニタ表示する際において、その解像度をそのまま表示できない場合はＣＰＵ２３の指示に従い、ビデオデコーダ２８において所望の解像度にデコードして表示される。
【００５２】
このようにＳＤＲＡＭなどの外部メモリを使用せずに、水平信号を処理する入力用ピクセルバッファと出力用ピクセルバッファ及び垂直信号を処理する入力用ラインバッファと出力用ラインバッファのみで信号処理を行う。このバッファは外部メモリより高速で、容量が小さく、消費電力が少ないメモリで例えばＳＲＡＭにより構成され、撮像入力処理２、水平リサイズフィルタ３、色処理部４、水平垂直リサイズフィルタ５、ＣＰＵ２３、ビデオエンコーダ１８、メモリカードＩ／Ｆ２４、ビデオデコーダ２８、ＹＵＶからＲＧＢ変換３０、ＴＧ２１、ＳＧ２２と同じＬＳＩ内部に構成することができる。またＣＣＤ１の代わりにＣＭＯＳ撮像素子を使用すると、ＣＭＯＳ撮像素子１も含めてすべて１つのＬＳＩに、つまりシステムＬＳＩとして構成することができる。
【００５３】
このようにワークメモリをシステムＬＳＩに構成し、信号処理の過程で外部メモリへのアクセスをなくすことにより、外部メモリで消費していた消費電力を大幅に削減することができる。また外部メモリを使用する場合はバーストメモリアクセスを用いてもメモリアクセス時間がかかるが、内部メモリを使用することにより高速にアクセスが可能で、動画処理のプレビュー処理と、高解像度の信号処理と、ズーム処理等の信号処理が高速に行える。
【００５４】
（実施の形態３）
本発明の静止画映像モードにおける映像信号処理の一実施の形態を示す。図３は本発明の静止画映像モードにおける信号処理ブロック構成図である。図４は静止画映像モードにおける信号処理を示す。まず構成を説明する。
【００５５】
テレビ信号やビデオ信号などの映像信号（解像度Ｍ列Ｎ行１秒あたりＱフレームの源ＹＵＶ信号）を入力する映像入力装置７と、そのＹＵＶ信号をモニタする映像出力装置８と、水平方向のリサイズを行う水平リサイズフィルタ３と、水平垂直方向にリサイズ変換する水平垂直リサイズフィルタ５と、そのリサイズ処理にワークエリアとして使用されるワークメモリ６と、ビデオエンコーダ１８と、ビデオデコーダ２８と、ＹＵＶからＲＧＢへの変換３０と、ＣＰＵ２３と、メモリカードＩ／Ｆ２４と、メモリカード２５と、設定スイッチ２６と、撮像シャッタースイッチ２７と、モニタ２０とから構成される。
【００５６】
次に動作を説明する。まず設定スイッチ２６によるプリセット条件が低解像度の静止画及び中解像度の静止画に設定されている場合を説明する。映像入力装置７からの入力源信号７ｓはＭ列Ｎ行で１秒あたりＱフレームの動画ＹＵＶ信号である。このとき図４に示すように撮像動画信号７ｓにおける１フレームのデータ量はＭ×Ｎとなる。この映像信号７ｓは映像出力装置８と水平リサイズフィルタ３へ入る。映像出力装置８においては視覚映像に変換してモニタすることができる。また動画信号７ｓは、水平リサイズフィルタ３へ入る。この水平フィルタ３は水平方向に対してｍ列（Ｍ／２≦ｍ≦Ｍ）にリサイズする。この水平リサイズフィルタはＭ／２以上に限定しているので、遮断周波数が全帯域の１／２倍以上になる。したがってこのフィルタをかけても、折り返しノイズが発生することはない。その後水平垂直リサイズフィルタ５に入る。この水平垂直リサイズフィルタ５においては、画素数の拡大リサイズ又は縮小リサイズが行われる。なおＹＵＶとはＹ：輝度信号、Ｕ：色差信号Ｃｂ、Ｖ：色差信号Ｃｒのことですべてディジタル信号である。ビデオエンコーダ１８により例えばＪＰＥＧへのエンコーダが行われる。エンコードされたＪＰＥＧデータは設定スイッチ２６によるプリセット条件に従い、撮像シャッタースイッチ２７が押されたのをトリガとして、ＣＰＵ２３が制御信号をメモリカードＩ／Ｆ２４に送り、メモリカード２５に１フレームの静止画を記録する。
【００５７】
またビデオエンコーダ１８から出力されたデータはビデオデコーダ２８によりモニタ２０の解像度に変換されることにより、見ることができる。
【００５８】
設定スイッチ２６によるプリセット条件が、例えば０．５秒ごとの連写に設定されている場合は、撮像シャッタースイッチ２７が押されている間、０．５秒ごとに１フレームずつメモリカードＩ／Ｆ２４経由でメモリカード２５に記録する。と同時にビデオデコーダ２８によりモニタ２０に０．５秒ごとに表示する。
【００５９】
次に設定スイッチ２６によるプリセット条件が、高解像度静止画モードのときは、ＣＰＵ２３の指示により、水平リサイズフィルタ３はリサイズ処理をしない。つまりｍ列（ｍ＝Ｍ）のまま信号をスルーさせる。また水平垂直リサイズフィルタ５もリサイズ処理をしない。これにより映像入力装置より入力した映像信号７ｓに相当する高解像度の画素をそのままＪＰＥＧビデオエンコーダ１８によりメモリカードＩ／Ｆ２４経由でメモリカード２５へ１フレーム記録する。なおモニタ表示する際において、その解像度を表示できない場合はＣＰＵ２３によりビデオデコーダ２８においてデコードし表示をする。
【００６０】
次に設定スイッチ２６によるプリセット条件が、例えば２倍ズームである場合、ＣＰＵ２３の指示により、水平リサイズフィルタ３はリサイズ処理をしない。つまりｍ列（ｍ＝Ｍ）のまま信号をスルーさせる。その信号は色処理４の後、水平垂直リサイズフィルタ５により２倍拡大リサイズ処理をする。これにより入力した映像信号７ｓに相当する高解像度の画素の縦及び横の２倍にリサイズをして、ＪＰＥＧビデオエンコーダ１８によりメモリカードＩ／Ｆ２４経由でメモリカード２５へ１フレーム記録する。なおモニタ表示する際において、その解像度をそのまま表示できない場合はＣＰＵ２３によりビデオデコーダ２８においてデコードする。なおズームは縮小と拡大とも連続して行うことができる。
【００６１】
このようにＳＤＲＡＭなどの外部メモリを使用せずに、水平信号を処理する入力用ピクセルバッファと出力用ピクセルバッファ及び垂直信号を処理する入力用ラインバッファと出力用ラインバッファのみで信号処理を行う。このバッファは外部メモリより高速で、容量が小さく、消費電力が少ないメモリで例えばＳＲＡＭにより構成され、水平リサイズフィルタ３、水平垂直リサイズフィルタ５、ＣＰＵ２３、ビデオエンコーダ１８、メモリカードＩ／Ｆ２４、ビデオデコーダ２８、ＹＵＶからＲＧＢ変換３０と同じＬＳＩ内部に構成することができる。
【００６２】
このようにワークメモリをシステムＬＳＩに構成し、信号処理の過程で外部メモリへのアクセスをなくすことにより、外部メモリで消費していた消費電力を大幅に削減することができる。また外部メモリを使用する場合はバーストメモリアクセスを用いてもメモリアクセス時間がかかるが、内部メモリを使用することにより高速にアクセスが可能で、静止画撮像時のプレビュー処理と、連写処理と、高解像度の信号処理と、ズーム処理と、を高速に行える。
【００６３】
（実施の形態４）
本発明の動画映像モードにおける映像信号処理の一実施の形態を示す。図３は本発明の動画映像モードにおける信号処理ブロック構成図である。図４は動画映像モードにおける信号処理を示す。まず構成を説明する。構成はビデオエンコーダ１８とビデオデコーダ２８が動画処理用の例えばＭＰＥＧ２又はＭＰＥＧ４であることと、扱う信号とデータが動画である点を除けば実施の形態３と同じであるので説明は省略する。
【００６４】
次に動作を説明する。まず設定スイッチ２６によるプリセット条件が低解像度の動画及び中解像度の動画に設定されている場合を説明する。映像入力装置７からの入力源信号７ｓはＭ列Ｎ行で１秒あたりＱフレームの動画ＹＵＶ信号である。このとき図４に示すように撮像動画信号７ｓにおける１フレームのデータ量はＭ×Ｎとなる。この映像信号７ｓは映像出力装置８と水平リサイズフィルタ３へ入る。映像出力装置８においては視覚映像に変換してモニタすることができる。この動画信号７ｓは、水平リサイズフィルタ３へ入る。この水平フィルタ３は水平方向に対してｍ列（Ｍ／２≦ｍ≦Ｍ）にリサイズする。この水平リサイズフィルタはＭ／２以上に限定しているので、遮断周波数が全帯域の１／２倍以上になる。したがってこのフィルタをかけても、折り返しノイズが発生することはない。その後水平垂直リサイズフィルタ５に入る。この水平垂直リサイズフィルタ５においては、画素数の拡大リサイズと縮小リサイズが行われる。
【００６５】
なおＹＵＶとはＹ：輝度信号、Ｕ：色差信号Ｃｂ、Ｖ：色差信号Ｃｒのことである。ビデオエンコーダ１８により例えばＭＰＥＧ４へのエンコーダが行われる。こうしてエンコードされたＭＰＥＧデータは設定スイッチ２６によるプリセット条件及び撮像シャッタースイッチ２７を押すと、ＣＰＵ２３が制御信号をメモリカードＩ／Ｆ２４に送りＩ／Ｆをアクティブにすることによりメモリカード２５に１フレームの動画を記録する。
【００６６】
またビデオエンコーダ１８から出力されたデータはビデオデコーダ２８によりデコードされることによりモニタ２０に動画表示される。
【００６７】
次に設定スイッチ２６によるプリセット条件が、高解像度静止画モードのときは、ＣＰＵ２３の指示により、水平リサイズフィルタ３はリサイズ処理をしない。つまりｍ列（ｍ＝Ｍ）のまま信号をスルーさせる。その信号は色処理４の後、水平垂直リサイズフィルタ５を素通りする。つまりここでもリサイズ処理をしない。これによりＣＣＤの元画素に相当する高解像度の画素をそのまま今度はＭＰＥＧ２エンコーダ１８によりメモリカードＩ／Ｆ２４経由でメモリカード２５へ連続フレームを記録する。なおモニタ表示する際において、その解像度を表示できない場合はＣＰＵ２３の指示によりＭＰＥＧ２デコーダ２８でデコードされて表示される。
【００６８】
次に設定スイッチ２６によるプリセット条件が、２倍ズームである場合、ＣＰＵ２３の指示により、水平リサイズフィルタ３はリサイズ処理をしない。つまりｍ列（ｍ＝Ｍ）のまま信号をスルーさせる。その信号は色処理４の後、水平垂直リサイズフィルタ５により２倍拡大リサイズ処理をする。これによりＣＣＤの元画素に相当する高解像度の画素の縦及び横それぞれ２倍にリサイズされる。このデータはＭＰＥＧ２エンコーダ１８によりメモリカードＩ／Ｆ２４経由でメモリカード２５へ連続動画として記録する。なおモニタ表示する際において、その解像度をそのまま表示できない場合はＣＰＵ２３の指示に従い、ビデオデコーダ２８において所望の解像度にデコードして表示される。
【００６９】
このようにＳＤＲＡＭなどの外部メモリを使用せずに、水平信号を処理する入力用ピクセルバッファと出力用ピクセルバッファ及び垂直信号を処理する入力用ラインバッファと出力用ラインバッファのみで信号処理を行う。このバッファは外部メモリより高速で、容量が小さく、消費電力が少ないメモリで例えばＳＲＡＭにより構成され、水平リサイズフィルタ３、水平垂直リサイズフィルタ５、ＣＰＵ２３、ビデオエンコーダ１８、メモリカードＩ／Ｆ２４、ビデオデコーダ２８、ＹＵＶからＲＧＢ変換３０、と同じＬＳＩ内部に構成することができる。またＣＣＤ１の代わりにＣＭＯＳ撮像素子を使用すると、ＣＭＯＳ撮像素子１も含めてすべて１つのＬＳＩにてシステムＬＳＩとして構成することができる。
【００７０】
このようにワークメモリをシステムＬＳＩに構成し、信号処理の過程で外部メモリへのアクセスをなくすことにより、外部メモリで消費していた消費電力を大幅に削減することができる。また外部メモリを使用する場合はバーストメモリアクセスを用いてもメモリアクセス時間がかかるが、内部メモリを使用することにより高速にアクセスが可能で、動画処理のプレビュー処理と、高解像度の信号処理と、ズーム処理等の信号処理が高速に行える。
【００７１】
（実施の形態５）
本発明の静止画撮像モードにおける撮像信号処理の一実施の形態を示す。図５は本発明の静止画撮像モードにおける信号処理ブロック構成図である。図６は静止画撮像モードにおける信号処理を示す。まず構成を説明する。
【００７２】
ＣＣＤ１などの撮像素子（解像度Ｍ列Ｎ行１秒あたりＱフレームの源信号）と、ＣＤＳ／ＡＧＣ１２とＡ／Ｄコンバータ１３とＲＧＢからＹＵＶ変換２９を１ブロックとした撮像入力処理２と、ＳＧ２２と、ＴＧ２１と、水平方向のリサイズを行う水平リサイズフィルタ３と、γ補正などを行う色処理部４と、データをリアルタイムに一時記憶するＳＤＲＡＭ−Ａ９と、そのメモリ制御３３Ａと、水平垂直方向にリサイズ変換するリサイズ変換フィルタ５と、そのリサイズ処理において、ワークエリアとして使用されるワークメモリ６と、ビデオエンコーダ１８と、ビデオエンコーダ１８の信号を一時記憶するＳＤＲＡＭ−Ｂ１０と、そのメモリ制御３３Ｂと、メモリカードＩ／Ｆ２４と、メモリカード２５と、ビデオデコーダ２８と、ＹＵＶからＲＧＢへ変換３０と、モニタ２０と、Ｉ／Ｏインターフェース（Ｉ／ＯＩ／Ｆと略す）３１と、通信Ｉ／Ｆ３２と、ＣＰＵ２３と、設定スイッチ２６と、撮像シャッタースイッチ２７と、から構成される。なおＹＵＶとはＹ：輝度信号、Ｕ：色差信号Ｃｂ、Ｖ：色差信号Ｃｒのことですべてディジタル信号である。
【００７３】
次に動作を説明する。まず設定スイッチ２６によるプリセット条件が低解像度の静止画及び中解像度の静止画に設定されている場合を説明する。ＣＣＤ１からの入力源信号はＭ列Ｎ行で１秒あたりＱフレームの動画ＲＧＢ信号である。このとき図６に示すように撮像動画信号１ｓにおける１フレームのデータ量はＭ×Ｎ×３ＲＧＢとなる。この撮像動画信号１ｓは撮像入力処理２によりノイズ除去＆ゲイン制御１２とＡ／Ｄ変換１３とＲＧＢからＹＵＶへの変換２９が行われ、水平リサイズフィルタ３へ入る。ＲＧＢからＹＵＶへの変換２９においてはＲＧＢ信号をＹＵＶ信号４：２：２にＩＴＵ−ＲＢＴ．６０１の規格にしたがって変換する。なおＣＣＤが補色ＣＣＤの場合はＲＧＢ補色に対してＹＵＶ変換を行う。この水平フィルタ３は水平方向に対してｍ列（Ｍ／２≦ｍ≦Ｍ）にリサイズする。この水平リサイズフィルタはＭ／２以上に限定しているので、遮断周波数が全帯域の１／２倍以上になる。したがってこのフィルタをかけても、折り返しノイズが発生することはない。そのデータはリアルタイムにＳＤＲＡＭ−Ａ９に一時記憶される。これによりＣＣＤ１からの入力をＳＤＲＡＭ−Ａ９にリアルタイムにすべて一時記憶し、その後、ＳＤＲＡＭ−Ａ９からノンリアルタイムにデータを読み出すことができる。これにより解像度が低いときはＳＤＲＡＭのアクセス速度が遅いものが使用可能である。
【００７４】
こうしてＳＤＲＡＭ−Ａ９から読み出された信号９ｓは、色信号処理４において人間の色感度にあわせるためにγ補正が行われ、水平垂直リサイズ変換フィルタ５に入る。このときワーク内蔵メモリ６を利用することによりリサイズを行う。ビデオエンコーダ１８により例えばＪＰＥＧへのエンコードが行われる。エンコードされたＪＰＥＧデータは設定スイッチ２６によるプリセット条件と撮像シャッタースイッチ２７を押されたトリガ信号により、ＣＰＵ２３が制御信号をメモリカードＩ／Ｆ２４に送りＩ／Ｆをアクティブにすることによりメモリカード２５に１フレームの静止画を記録する。
【００７５】
またビデオエンコーダ１８から出力されたデータはビデオデコーダ２８によりモニタ２０の解像度にデコード及び変換されることにより、モニタ２０に表示される。
【００７６】
さらにＪＰＥＧビデオエンコーダ１８から出力された信号１８ｓはＳＤＲＡＭ−Ｂ１０にも一時記憶される。ここに記憶されたデータは、設定スイッチ２６の条件設定によりＣＰＵ２３の制御により、Ｉ／ＯＩ／Ｆ３１に与えられ、通信Ｉ／Ｆ３２を経由して他の機器へ通信される。このときの通信とは有線通信及び無線通信を問わない。ＳＤＲＡＭ−Ｂ１０は同じデータをメモリＩ／ＦとＩ／ＯＩ／Ｆ３１という複数のＩ／Ｆへ渡す場合に有効となる。
【００７７】
設定スイッチ２６によるプリセット条件が０．５秒ごとの連写に設定されている場合は、撮像シャッタースイッチ２７が押されている間、０．５秒ごとに１フレームずつメモリカードＩ／Ｆ２４からメモリカード２５に記録する。と同時にビデオデコーダ２８によりモニタ２０に０．５秒ごとに表示する。また０．５秒ごとに通信により他の機器に送信される。
【００７８】
次に設定スイッチ２６によるプリセット条件が、高解像度静止画モードのときは、ＣＰＵ２３の指示により、水平リサイズフィルタ３はリサイズ処理をしない。つまりｍ列（ｍ＝Ｍ）のまま信号をスルーさせる。その信号は色処理４の後、水平垂直リサイズフィルタ５もリサイズ処理をしない。これによりＣＣＤの元画素に相当する高解像度の画素をそのままＪＰＥＧビデオエンコーダ１８によりメモリカードＩ／Ｆ２４経由でメモリカード２５へ１フレーム記録する。なおモニタ表示する際において、その解像度を表示できない場合はＣＰＵ２３の指示によりビデオデコーダ２８においてデコードして表示する。また他の機器に通信される。
【００７９】
次に設定スイッチ２６によるプリセット条件が、２倍ズームである場合、ＣＰＵ２３の指示により、水平リサイズフィルタ３はリサイズ処理をしない。つまりｍ列（ｍ＝Ｍ）のまま信号をスルーさせる。その信号は色処理４の後、水平垂直リサイズフィルタ５により２倍拡大リサイズ処理をする。これによりＣＣＤの元画素に相当する高解像度の画素の縦及び横の２倍にリサイズをして、ＪＰＥＧビデオエンコーダ１８によりメモリカードＩ／Ｆ２４経由でメモリカード２５へ１フレーム記録する。なおモニタ表示する際において、その解像度をそのまま表示できない場合はＣＰＵ２３によりビデオデコーダ２８において解像度変換しながらデコードする。また他の機器へ１フレーム通信される。
【００８０】
このようにＳＤＲＡＭ−Ａはライト１回、リード１回及びＳＤＲＡＭ−Ｂもライト１回、リード１回となるので低速の外部メモリを使用することができる。なお水平垂直リサイズ処理５においてはワーク内蔵メモリを使用する。このメモリは高速で、容量が小さく、消費電力が少ないメモリで例えばＳＲＡＭにより構成され、撮像入力処理２、水平リサイズフィルタ３、色処理部４、水平垂直リサイズフィルタ５、ＣＰＵ２３、ビデオエンコーダ１８、メモリカードＩ／Ｆ２４、ＴＧ２１、ＳＧ２２と同じＬＳＩ内部に構成することができる。またＣＣＤ１の代わりにＣＭＯＳによる撮像素子を使用すると、撮像素子１も含めてすべて１つのＬＳＩ、つまりシステムＬＳＩとして構成することができる。
【００８１】
またＳＤＲＡＭ−Ｂ１０によりエンコードされたデータを一時記憶し、通信に適した時間調整をしたのち、ＳＤＲＡＭ−Ｂ１０から通信に与えることもできる。
【００８２】
（実施の形態６）
本発明の動画撮像モードにおける撮像信号処理の一実施の形態を示す。図５は本発明の動画撮像モードにおける信号処理ブロック構成図である。図６は動画撮像モードにおける信号処理を示す。まず構成を説明する。
【００８３】
構成はビデオエンコーダ１８とビデオデコーダ２８が動画処理用の例えばＭＰＥＧ２又はＭＰＥＧ４であることを除けば実施の形態５と同じであるので説明は省略する。
【００８４】
次に動作を説明する。動作原理は実施の形態５において、ビデオエンコーダ１８が動画エンコーダの例えばＭＰＥＧ２又はＭＰＥＧ４エンコーダであることと、動画デコーダがＭＰＥＧ２又はＭＰＥＧ４デコーダであること、及び扱われる信号が静止画でなく、すべて動画になる点が異なるが、他は同様であるので省略する。
【００８５】
（実施の形態７）
本発明の静止画映像モードにおける映像信号処理の一実施の形態を示す。図７は本発明の静止画映像モードにおける信号処理ブロック構成図である。図８は静止画映像モードにおける信号処理を示す。まず構成を説明する。
【００８６】
構成は実施の形態５においてＣＣＤ１と撮像入力処理２と色処理４が削除され、代わりに、映像入力装置７と映像出力装置８が追加された構成である。
【００８７】
次に動作を説明する。
【００８８】
動作も実施の形態５におけるＣＣＤ１入力の代わりに、実施の形態３における映像入力装置７による入力を処理する点と、その映像を即出力する映像出力装置８による信号処理が変更されただけであり、他は実施の形態５及び３と同様であるので説明は省略する。
【００８９】
（実施の形態８）
本発明の動画映像モードにおける映像信号処理の一実施の形態を示す。図７は本発明の動画映像モードにおける信号処理ブロック構成図である。図８は動画映像モードにおける信号処理を示す。まず構成を説明する。
【００９０】
構成はビデオエンコーダ１８とビデオデコーダ２８が動画処理用の例えばＭＰＥＧ２又はＭＰＥＧ４であることを除けば実施の形態７と同じであるので説明は省略する。
【００９１】
次に動作を説明する。動作原理は実施の形態７において、ビデオエンコーダ１８が動画エンコーダの例えばＭＰＥＧ２又はＭＰＥＧ４エンコーダであることと、動画デコーダがＭＰＥＧ２又はＭＰＥＧ４デコーダであること、及び扱われる信号が静止画でなく、すべて動画になる点が異なるが、他は同様であるので省略する。
【００９２】
（実施の形態９）
本発明の静止画撮像モードにおける撮像信号処理の一実施の形態を示す。図９は本発明の静止画撮像モードにおける信号処理ブロック構成図である。図１０は静止画撮像モードにおける信号処理を示す。まず構成を説明する。
【００９３】
実施の形態５において、ＳＤＲＡＭ−Ａ９とＳＤＲＡＭ−Ｂ１０と２つのＳＤＲＡＭを使用していたが、これを１つのＳＤＲＡＭ１６とそのメモリ制御３４のみで構成している。それ以外は実施の形態５と同様であるので説明は省略する。
【００９４】
次に動作を説明する。
【００９５】
まず設定スイッチ２６によるプリセット条件が低解像度の静止画及び中解像度の静止画に設定されている場合を説明する。ＣＣＤ１からの入力源信号はＭ列Ｎ行で１秒あたりＱフレームの動画ＲＧＢ信号である。このとき図１０に示すように撮像動画信号１ｓにおける１フレームのデータ量はＭ×Ｎ×３ＲＧＢとなる。この撮像動画信号１ｓは撮像入力処理２によりノイズ除去＆ゲイン制御１２とＡ／Ｄ変換１３とＲＧＢからＹＵＶへの変換２９が行われ、水平リサイズフィルタ３へ入る。ＲＧＢからＹＵＶへの変換２９においてはＲＧＢ信号をＹＵＶ信号４：２：２にＩＴＵ−ＲＢＴ．６０１の規格にしたがって変換する。なおＣＣＤが補色ＣＣＤの場合はＲＧＢ補色に対してＹＵＶ変換を行う。この水平フィルタ３は水平方向に対してｍ列（Ｍ／２≦ｍ≦Ｍ）にリサイズする。この水平リサイズフィルタはＭ／２以上に限定しているので、遮断周波数が全帯域の１／２倍以上になる。したがってこのフィルタをかけても、折り返しノイズが発生することはない。そのデータはリアルタイムにＳＤＲＡＭ１６に一時記憶される。これによりＣＣＤ１からの入力をＳＤＲＡＭ１６にリアルタイムですべて一時記憶し、その後、ＳＤＲＡＭ１６からノンリアルタイムにデータを読み出すことができる。信号３ｓはＳＤＲＡＭ１６に一時記憶される。このとき生の信号１ｓはｎ個の短冊状のエリアに分割し、そのエリアごとに水平リサイズしてＳＤＲＡＭに記憶する。例えば１６００列１２００行の生信号１ｓの場合は、ｎ＝３とし、エリア１を５４４列１２００行、エリア２を５４４列１２００行、エリア３を５４４列１２００行とする。生の信号１ｓにおいて、エリア１とエリア２の境目１６列、及びエリア２とエリア３の境目１６列は重複するようにして信号３ｓにおいてそれぞれのエリアにデータを重複記憶する。これにより、リサイズ後のエリアの境目をシームレスに接続することができる。さらにＳＤＲＡＭ１６へ記憶する際には、バーストアドレスの後方に詰めて記憶し、バーストアドレスの前方は空にしておく。
【００９６】
次にＳＤＲＡＭ１６から必要なアドレスのデータを読み出し、色信号処理４において人間の色感度にあわせるためにγ補正が行われ、水平垂直リサイズ変換フィルタ５に入る。この水平垂直リサイズフィルタ５は、外部メモリを使用せずに、水平信号を処理する入力用ピクセルバッファと出力用ピクセルバッファ、及び垂直信号を処理する入力用ラインバッファと出力用ラインバッファというワークメモリ６のみで行う。次にビデオエンコーダ１８により例えばＪＰＥＧへのエンコーダが行われる。こうしてエンコードされたＪＰＥＧデータは設定スイッチ２６によるプリセット条件と撮像シャッタースイッチ２７を押されたトリガ信号により、ＣＰＵ２３が制御信号をメモリカードＩ／Ｆ２４に送りＩ／Ｆをアクティブにすることによりメモリカード２５に１フレームの静止画を記録する。また同時にＳＤＲＡＭ１６にもう一度一時記憶される。このとき、ＳＤＲＡＭに上述のように空けておいたバーストアドレスの前方から一時記憶させる。このようにして、ＳＤＲＡＭ１６の読み出される空間と書きこまれる空間を空き空間だけずらせてバーストアクセスすることにより、ＳＤＲＡＭ１６を一つのデバイスで構成できるとともに効率的にメモリを使用することができ、ＳＤＲＡＭ１６の容量を削減することができる。
【００９７】
またビデオエンコーダ１８から出力されたデータはビデオデコーダ２８によりモニタ２０の解像度にデコードされてモニタ２０に表示することができる。
【００９８】
ＳＤＲＡＭ１６に一時記憶されていたＪＰＥＧデータは、設定スイッチ２６の条件設定によりＣＰＵ２３の制御により、Ｉ／ＯＩ／Ｆ３１に与えられ、通信Ｉ／Ｆ３２を経由して他の機器へ通信される。このときの通信とは有線通信及び無線通信を問わない。ＳＤＲＡＭ１６は同じデータをメモリＩ／ＦとＩ／ＯＩ／Ｆ３１という複数のＩ／Ｆへ渡す場合に有効となる。
【００９９】
設定スイッチ２６によるプリセット条件が０．５秒ごとの連写に設定されている場合は、撮像シャッタースイッチ２７が押されている間、０．５秒ごとに１フレームずつメモリカードＩ／Ｆ２４からメモリカード２５に記録する。と同時にビデオデコーダ２８によりモニタ２０に０．５秒ごとに表示する。また０．５秒ごとに通信により他の機器に送信される。
【０１００】
次に設定スイッチ２６によるプリセット条件が、高解像度静止画モードのときは、ＣＰＵ２３の指示により、水平リサイズフィルタ３はリサイズ処理をしない。つまりｍ列（ｍ＝Ｍ）のまま信号をスルーさせる。その信号は色処理４の後、水平垂直リサイズフィルタ５もリサイズ処理をしない。これによりＣＣＤの元画素に相当する高解像度の画素をそのままＪＰＥＧビデオエンコーダ１８によりメモリカードＩ／Ｆ２４経由でメモリカード２５へ１フレーム記録する。なおモニタ表示する際において、その解像度を表示できない場合はＣＰＵ２３によりビデオデコーダ２８において解像度変換しながらデコードする。また他の機器に通信される。
【０１０１】
次に設定スイッチ２６によるプリセット条件が、２倍ズームである場合、ＣＰＵ２３の指示により、水平リサイズフィルタ３はリサイズ処理をしない。つまりｍ列（ｍ＝Ｍ）のまま信号をスルーさせる。その信号は色処理４の後、水平垂直リサイズフィルタ５により２倍拡大リサイズ処理をする。これによりＣＣＤの元画素に相当する高解像度の画素の縦及び横の２倍にリサイズをして、ＪＰＥＧビデオエンコーダ１８によりメモリカードＩ／Ｆ２４経由でメモリカード２５へ１フレーム記録する。なおモニタ表示する際において、その解像度をそのまま表示できない場合はＣＰＵ２３によりビデオデコーダ２８においてデコードして、モニタ２０に表示する。また他の機器へ１フレーム通信される。
【０１０２】
このようにＳＤＲＡＭ１６はライト２回、リード２回操作される。
【０１０３】
なお水平垂直リサイズ処理５においてはワークメモリを使用する。このメモリは高速で、容量が小さく、消費電力が少ないメモリで例えばＳＲＡＭにより構成され、撮像入力処理２、水平リサイズフィルタ３、色処理部４、水平垂直リサイズフィルタ５、ＣＰＵ２３、ビデオエンコーダ１８、メモリカードＩ／Ｆ２４、ＴＧ２１、ＳＧ２２と同じＬＳＩ内部に構成することができる。またＣＣＤ１の代わりにＣＭＯＳによる撮像素子を使用すると、撮像素子１も含めてすべて１つのＬＳＩ、つまりシステムＬＳＩとして構成することができる。
【０１０４】
（実施の形態１０）
本発明の動画撮像モードにおける撮像信号処理の一実施の形態を示す。図９は本発明の動画撮像モードにおける信号処理ブロック構成図である。図１０は動画撮像モードにおける信号処理を示す。まず構成を説明する。
【０１０５】
構成はビデオエンコーダ１８とビデオデコーダ２８が動画処理用の例えばＭＰＥＧ２又はＭＰＥＧ４であることを除けば実施の形態９と同じであるので説明は省略する。
【０１０６】
次に動作を説明する。動作原理は実施の形態９において、ビデオエンコーダ１８が動画エンコーダの例えばＭＰＥＧ２又はＭＰＥＧ４エンコーダであることと、動画デコーダがＭＰＥＧ２又はＭＰＥＧ４デコーダであること、及び扱われる信号が静止画でなく、すべて動画になる点が異なるが、他は同様であるので省略する。
【０１０７】
（実施の形態１１）
本発明の静止画映像モードにおける撮像信号処理の一実施の形態を示す。図１１は本発明の静止画映像モードにおける信号処理ブロック構成図である。図１２は静止画映像モードにおける信号処理を示す。まず構成を説明する。
【０１０８】
実施の形態８において、ＳＤＲＡＭ−Ａ９とＳＤＲＡＭ−Ｂ１０と２つのＳＤＲＡＭを使用していたが、これを１つのＳＤＲＡＭ１６のみで構成している。それ以外は実施の形態８と同様であるので説明は省略する。
【０１０９】
次に動作を説明する。
【０１１０】
動作も実施の形態８におけるＣＣＤ１入力の変わりに、実施の形態３における映像入力装置７とその映像を即出力する映像出力装置８による信号処理が追加されただけであり、他は実施の形態８及び３と同様であるので説明は省略する。
【０１１１】
（実施の形態１２）
本発明の動画映像モードにおける映像信号処理の一実施の形態を示す。図１１は本発明の動画映像モードにおける信号処理ブロック構成図である。図１２は動画映像モードにおける信号処理を示す。まず構成を説明する。
【０１１２】
構成はビデオエンコーダ１８とビデオデコーダ２８が動画処理用の例えばＭＰＥＧ２又はＭＰＥＧ４であることを除けば実施の形態１１と同じであるので説明は省略する。
【０１１３】
次に動作を説明する。動作原理は実施の形態１１において、ビデオエンコーダ１８が動画エンコーダの例えばＭＰＥＧ２又はＭＰＥＧ４エンコーダであることと、動画デコーダがＭＰＥＧ２又はＭＰＥＧ４デコーダであること、及び扱われる信号が静止画でなく、すべて動画になる点が異なるが、他は同様であるので省略する。
【０１１４】
【発明の効果】
以上のように本発明によれば、静止画及び動画の映像信号に対し、ＳＤＲＡＭへの一時記憶をせずに撮像信号処理及び映像信号処理を行うことでＳＤＲＡＭアクセスに必要な消費電力を削減することと高速に信号処理できること、さらにどうしてもＳＤＲＡＭを使用する場合はそのアクセス回数を低減して、外部ＳＤＲＡＭの容量を削減及び消費電流を削減できるという効果がある。
【図面の簡単な説明】
【図１】本発明の実施の形態１，２における静止画撮像モードにおける信号処理ブロック図
【図２】本発明の実施の形態１，２における静止画撮像モードにおける信号変換処理を示す図
【図３】本発明の実施の形態３，４における静止画映像モードにおける信号処理ブロック図
【図４】本発明の実施の形態３，４における静止画映像モードにおける信号変換処理を示す図
【図５】本発明の実施の形態５，６における静止画撮像モードにおける信号処理ブロック図
【図６】本発明の実施の形態５，６における静止画撮像モードにおける信号変換処理を示す図
【図７】本発明の実施の形態７，８における静止画映像モードにおける信号処理ブロック図
【図８】本発明の実施の形態７，８における静止画映像モードにおける信号変換処理を示す図
【図９】本発明の実施の形態９，１０における静止画撮像モードにおける信号処理ブロック図
【図１０】本発明の実施の形態９，１０における静止画撮像モードにおける信号変換処理を示す図
【図１１】本発明の実施の形態１１，１２における静止画映像モードにおける信号処理ブロック図
【図１２】本発明の実施の形態１１，１２における静止画映像モードにおける信号変換処理を示す図
【図１３】従来例における撮像信号処理のブロック図
【符号の説明】
１ＣＣＤ撮像素子
１ｓＣＣＤ撮像出力信号
２撮像入力処理
２ｓ撮像入力処理出力信号
３水平リサイズフィルタ
３ｓ水平リサイズフィルタ出力信号
４色処理
４ｓ色処理出力信号
５水平垂直リサイズフィルタ
５ｓ水平垂直リサイズフィルタ出力信号
６水平垂直リサイズフィルタワークメモリ
７映像入力装置
７ｓ映像入力装置出力信号
８映像出力装置
９ＳＤＲＡＭ−Ａ
９ｓＳＤＲＡＭ−Ａ信号出力
１０ＳＤＲＡＭ−Ｂ
１２ＣＤＳ／ＡＧＣ（相関二重サンプリング／自動ゲイン制御）
１３Ａ／Ｄ（Ａ／Ｄコンバータ）
１４信号処理
１５メモリ制御
１６ＳＤＲＡＭ
１７キャラクタジェネレータ
１８ビデオエンコーダ（静止画用、動画用）
１９ＪＰＥＧコーディック
２０モニタ
２１ＴＧ（タイミングジェネレータ）
２２ＳＧ（シグナルジェネレータ）
２３ＣＰＵ
２４メモリカードＩ／Ｆ
２５メモリカード
２６設定スイッチ（又は設定メニュー）
２７撮像シャッタースイッチ
２８ビデオデコーダ（静止画用、動画用）
２９ＲＧＢからＹＵＶ変換
３０ＹＵＶからＲＧＢ変換
３１Ｉ／Ｏインターフェース（Ｉ／ＯＩ／Ｆと略す）
３２通信Ｉ／Ｆ
３３Ａメモリ制御
３３Ｂメモリ制御
３４メモリ制御[0001]
TECHNICAL FIELD OF THE INVENTION
The present invention relates to a technology having a function of capturing a video, a function of recording a video signal, and a function of monitoring a video. For example, a mobile camera such as a video camera, a digital video camera, a digital still camera, a personal computer camera, an MPEG2 camera, an MPEG4 camera, a video conference camera, an eye camera, etc. can be taken, and a moving image or a still image, or a moving image and a still image can be taken and recorded. Related signal processing.
[0002]
[Prior art]
Conventionally, as a still image pickup signal process using an SDRAM, a “digital camera” described in Patent Document 1 and a “digital camera” described in Patent Document 2 are known.
[0003]
FIG. 13 shows a configuration of a “digital camera” described in Patent Document 1 of the related art. Hereinafter, the configuration will be described with reference to FIG. CCD1, a timing generator TG21 for generating a timing for extracting data from the CCD1, a signal generator SG22 for supplying a clock to the timing generator TG21, and a correlated double sampling CDS (Correlated Double Sampling) for removing noise of the CCD1 and controlling a gain. A CDS / AGC 12 for mainly adjusting a luminance level, an A / D converter 13 for digitizing a video signal, a signal processing 14 for converting a digitized RGB video signal into a YUV signal suitable for video signal processing, and an SDRAM A memory control 15 for performing memory control, an SDRAM memory 16, a memory card I / F 24 for recording video signals, a memory card 25, and a JPEG codec for compressing and expanding data for a still image. 19, and a video encoder 18 for converting the YUV data into a composite signal, a character generator 17, a display monitor 20, the CPU23 for controlling the entire system, by.
[0004]
Next, the operation principle will be described with reference to FIG.
[0005]
The timing generator TG21 generates a timing signal based on the horizontal synchronizing signal and the vertical synchronizing signal output from the signal generator SG22 under a predetermined mode processing control instructed by the CPU 23, and the CCD 1 generates an analog video signal based on the timing signal. Generate 1s. This analog video signal 1s is amplified by the CDS / AGC 12 to remove noise and to an optimum level. The A / D 13 converts the analog video signal 1s into a digital signal. The signal processor 14 converts this digital RGB signal into a YUV signal which is a digital luminance / color difference signal. The YUV signal is temporarily stored in the SDRAM 16 in the high-speed burst mode by the memory control 15. Since the temporarily stored YUV signal is an enormous amount as it is, if the YUV signal is stored in the memory card 25 as it is, the number of recordable still images decreases. Therefore, in the case of a still image, the YUV signal data temporarily stored in the SDRAM 16 is JPEG-compressed by the JPEG codec 19, and is recorded on the memory card 25 via the memory card I / F 24. A large number of still images are stored semi-permanently. As for the monitor display, the YUV signal subjected to the signal processing is converted into a composite signal by the composite video encoder 18 and displayed on the monitor 20.
[0006]
When displaying text or simple graphical information, data generated by the character generator 17 is switched instead of the composite video encoder 18 and displayed on the monitor 20. The video signal captured in one still image mode temporarily stored in the SDRAM 16 in this manner is compressed using a first compression method such as JPEG having a low compression ratio, and a high-resolution still image is stored in the memory card 25. Can be saved. The video signals temporarily captured in the SDRAM 16 and captured in the moving image mode are stored in a memory using a second compression method such as motion JPEG having a high compression rate, and a plurality of low-resolution still images equivalent to a plurality of moving images are stored in the memory. It can be stored on the card 25. By using two types of compression methods in this way, a digital still camera compatible with both high-resolution still images and low-resolution still images has been realized.
[0007]
[Patent Document 1]
Japanese Patent No. 3263674
[Patent Document 2]
JP-A-2000-231002
[0008]
[Problems to be solved by the invention]
In this conventional example, a still image temporarily stored in an SDRAM is read, compressed by a suitable compression method, and semi-permanently recorded on a memory card. At this time, the number of accesses to the SDRAM is two times, that is, one write access after imaging and one read access from the SDRAM thereafter. Since the SDRAM is used as a buffer, a large memory capacity is required, and at least two SDRAM accesses are required, resulting in an increase in power consumption. In addition, with the recent development of technology, the use of megapixel-compatible high-resolution CCDs has led to an increase in the capacity of SDRAMs for temporary storage, and an increase in the capacity of SDRAMs for continuous shooting of still images. was there. It is an object of the present invention to reduce the power consumption required for SDRAM access by devising not to use the SDRAM, and to further reduce the number of accesses to the SDRAM if signal processing cannot be performed without using the SDRAM. By reducing the power consumption, the power consumption can be reduced.
[0009]
[Means for Solving the Problems]
In order to solve this problem, a still image pickup signal processing device according to claim 1 of the present invention comprises: a still image pickup input processing unit for signal processing a still image pickup signal having a resolution of M columns and N rows; A horizontal resizing filter section for reducing the horizontal M rows of data of the output signal from the image pickup input processing section to an arbitrary m (m ≦ M) rows; and signal processing of color information of the output signal of the horizontal resizing filter section A color processing unit, a horizontal / vertical resize filter unit for resizing the output signal of the color processing unit to an arbitrary P column and R row (P ≦ m ≦ M, R ≦ N), the horizontal / vertical resize filter work memory unit, , Is characterized by having.
[0010]
Since the signal processing is performed only by the work memory and the filter without using the external memory that consumes a large amount of power in the still image pickup signal processing, the power consumption can be reduced. In addition, since signal processing is performed only by a work memory and a filter having a necessary minimum capacity and a high access speed without using an external memory having a low access speed, there is an effect that high speed processing is realized.
[0011]
A moving image pickup signal processing device according to claim 2 of the present invention is a moving image pickup input processing unit that performs signal processing on a moving image pickup signal having a resolution of M columns and N rows, and a horizontal output signal from the moving image pickup input processing unit. A horizontal resize filter unit for reducing the M columns of data in the direction to an arbitrary m (m ≦ M) column, a color processing unit for performing signal processing on color information of an output signal of the horizontal resize filter unit, and an output of the color processing unit It has a horizontal / vertical resize filter section for resizing a signal into an arbitrary P column and R row (P ≦ m ≦ M, R ≦ N), and the horizontal / vertical resize filter work memory section.
[0012]
Since the signal processing is performed only by the work memory and the filter without using the external memory that consumes a large amount of power in the moving image pickup signal processing, the power consumption can be reduced. In addition, since signal processing is performed only by a work memory and a filter having a necessary minimum capacity and a high access speed without using an external memory having a low access speed, there is an effect that high speed processing is realized.
[0013]
A still image signal processing device according to claim 3, wherein the still image signal input means inputs a still image signal having a resolution of M columns and N rows, and a horizontal direction of an output signal from the still image image input means. A horizontal resize filter unit for reducing the data M column to an arbitrary m (m ≦ M) column, and an output signal of the horizontal resize filter unit to an arbitrary P column R row (P ≦ m ≦ M, R ≦ N) It is characterized by having a horizontal / vertical resize filter unit for performing resize conversion and the horizontal / vertical resize filter work memory unit.
[0014]
Since the signal processing is performed only by the work memory and the filter without using the external memory that consumes a large amount of power in the still image video signal processing, the power consumption can be reduced. In addition, since signal processing is performed only by a work memory and a filter having a necessary minimum capacity and a high access speed without using an external memory having a low access speed, there is an effect that high speed processing is realized.
[0015]
The moving picture video signal processing device according to claim 4, wherein a moving picture video input means for inputting a moving picture video signal having a resolution of M columns and N rows, and a horizontal direction data M column of an output signal from the moving picture video input means. , A horizontal resize filter unit for reducing to an arbitrary m (m ≦ M) column, and a horizontal unit for resizing the output signal of the horizontal resize filter unit to an arbitrary P column and R row (P ≦ m ≦ M, R ≦ N). A vertical resize filter section and the horizontal / vertical resize filter work memory section are provided.
[0016]
Since the signal processing is performed only by the work memory and the filter without using the external memory that consumes a large amount of power in the moving image video signal processing, the power consumption can be reduced. In addition, since signal processing is performed only by a work memory and a filter having a necessary minimum capacity and a high access speed without using an external memory having a low access speed, there is an effect that high speed processing is realized.
[0017]
A still image pickup signal processing device according to claim 5, wherein a still image pickup input processing unit that performs signal processing on a still image pickup signal having a resolution of M columns and N rows, and a signal output from the still image pickup input processing unit. A horizontal resize filter unit for reducing the M rows of data in the horizontal direction to an arbitrary m (m ≦ M) row, an SDRAM-A for temporarily storing an output signal of the horizontal resize filter, and a temporarily stored signal in the SDRAM-A A color processing unit that performs signal processing on data output color information, a horizontal / vertical resize filter unit that resize-converts an output signal of the color processing unit into an arbitrary P column and R row (P ≦ m ≦ M, R ≦ N); A horizontal / vertical resize filter work memory unit; and an SDRAM-B for temporarily storing an output of the horizontal / vertical resize filter unit.
[0018]
In the still image pickup signal processing, the amount of data temporarily stored in the external memory that consumes a large amount of power is reduced by the signal processing of the work memory and the filter, so that the total power consumption can be reduced.
[0019]
7. The moving image pickup signal processing device according to claim 6, wherein the moving image pickup input processing section performs signal processing on a moving image pickup signal having a resolution of M columns and N rows, and horizontal data of an output signal from the moving image pickup input processing section. A horizontal resize filter section for reducing M columns to an arbitrary m (m ≦ M) column; an SDRAM-A for temporarily storing an output signal of the horizontal resize filter; and a color of data output temporarily stored in the SDRAM-A A color processing unit that processes information, a horizontal / vertical resize filter unit that resize-converts an output signal of the color processing unit into an arbitrary P column and R row (P ≦ m ≦ M, R ≦ N), and the horizontal / vertical resize It has a filter work memory section and an SDRAM-B for temporarily storing the output of the horizontal / vertical resize filter section.
[0020]
Since the amount of data temporarily stored in the external memory that consumes a large amount of power in the moving image pickup signal processing is reduced by the signal processing of the work memory and the filter, the total power consumption can be reduced.
[0021]
8. The still image signal processing device according to claim 7, wherein the still image signal input means inputs a still image signal having a resolution of M columns and N rows, and a horizontal direction of an output signal from the still image signal. A horizontal resize filter unit for reducing the data M column to an arbitrary m (m ≦ M) column; an SDRAM-A for temporarily storing an output signal of the horizontal resize filter; and a data output signal temporarily stored in the SDRAM-A , A horizontal and vertical resize filter unit for resizing to an arbitrary P column and R row (P ≦ m ≦ M, R ≦ N), the horizontal and vertical resize filter work memory unit, and the output of the horizontal and vertical resize filter unit. And SDRAM-B.
[0022]
Since the amount of data temporarily stored in the external memory that consumes a large amount of power in the still image video signal processing is reduced by the signal processing of the work memory and the filter, the total power consumption can be reduced.
[0023]
A moving picture video signal processing device according to claim 8, wherein the moving picture video input means for inputting a moving picture video signal having a resolution of M columns and N rows, and a horizontal direction data M column of an output signal from said moving picture video input means. A horizontal resize filter section for reducing to an arbitrary m (m ≦ M) column; an SDRAM-A for temporarily storing an output signal of the horizontal resize filter; and a data output signal temporarily stored in the SDRAM-A for an arbitrary P A horizontal / vertical resize filter unit for resize conversion to column R rows (P ≦ m ≦ M, R ≦ N); the horizontal / vertical resize filter work memory unit; and an SDRAM-B for temporarily storing the output of the horizontal / vertical resize filter unit And having the following.
[0024]
Since the amount of data temporarily stored in the external memory that consumes a large amount of power in the moving image video signal processing is reduced by the signal processing of the work memory and the filter, it has the effect of reducing the total power consumption.
[0025]
The still image pickup signal processing device according to claim 9, further comprising: a still image pickup input processing unit that performs signal processing on a still image pickup signal having a resolution of M columns and N rows; A horizontal resizing filter section for reducing the M rows of data in the horizontal direction to an arbitrary m (m ≦ M) rows, and dividing the output signal of the horizontal resizing filter into n areas into strips to partially empty blocks An SDRAM for temporarily storing data in the SDRAM, a color processing unit for reading out data temporarily stored in the SDRAM and performing signal processing, and an output signal of the color processing unit in an arbitrary P column and R row (P ≦ m ≦ M, R ≦ N ), A horizontal / vertical resize filter unit for performing resize conversion, the horizontal / vertical resize filter work memory unit, and the output of the horizontal / vertical resize filter unit are temporarily recorded with priority given to an empty block in the SDRAM. It characterized by having a a SDRAM that.
[0026]
In the still image pickup signal processing, the amount of data temporarily stored in the external memory that consumes a large amount of power is reduced by the signal processing of the work memory and the filter, so that the total power consumption can be reduced. Further, since the data after signal processing can be temporarily temporarily stored in an empty block when temporarily storing the data in the SDRAM, the SDRAM can be constituted by one element. Further, the read address and the write address of the SDRAM can be partially shifted to overlap each other, and the write capacity can be made smaller than the read capacity, so that the total capacity of the SDRAM can be reduced.
[0027]
11. The moving image pickup signal processing device according to claim 10, wherein the moving image pickup input processing section performs signal processing on a moving image pickup signal having a resolution of M columns and N rows, and horizontal data of an output signal from the moving image pickup input processing section. A horizontal resize filter unit for reducing the M columns to an arbitrary m (m ≦ M) column, and dividing the output signal of the horizontal resize filter into n areas in a strip shape and temporarily storing the blocks with partial blocks An SDRAM, a color processing unit that reads out color information data temporarily stored in the SDRAM and performs signal processing, and outputs an output signal of the color processing unit to an arbitrary P column and R row (P ≦ m ≦ M, R ≦ N) A horizontal / vertical resize filter unit for performing resize conversion, the horizontal / vertical resize filter work memory unit, and temporarily output the output of the horizontal / vertical resize filter unit to an empty block in the SDRAM in a temporary manner. It characterized by having a a SDRAM that.
[0028]
Since the amount of data temporarily stored in the SDRAM that consumes a large amount of power in the moving image pickup signal processing is reduced by the signal processing of the work memory and the filter, it has the effect of reducing the total power consumption. Further, since the data after signal processing can be temporarily temporarily stored in an empty block when temporarily storing the data in the SDRAM, the SDRAM can be constituted by one element. Further, the read address and the write address of the SDRAM can be partially shifted to overlap each other, and the write capacity can be made smaller than the read capacity, so that the total capacity of the SDRAM can be reduced.
[0029]
12. A still image signal processing apparatus according to claim 11, wherein the still image signal input means inputs a still image signal having a resolution of M columns and N rows, and an output signal from the still image signal input means in a horizontal direction. A horizontal resizing filter section for reducing the data M column to an arbitrary m (m ≦ M) column, and dividing the output signal of the horizontal resizing filter into n areas in a strip shape and partially storing blocks to temporarily store SDRAM, a horizontal / vertical resize filter unit for reading data temporarily stored in the SDRAM, and resizing the data to an arbitrary P column and R row (P ≦ m ≦ M, R ≦ N); A memory section; and an SDRAM for temporarily storing an output of the horizontal / vertical resize filter section in a priority manner to an empty block in the SDRAM.
[0030]
Since the amount of data temporarily stored in the SDRAM that consumes a large amount of power in the still image video signal processing is reduced by the signal processing of the work memory and the filter, the total power consumption can be reduced. Further, since the data after signal processing can be temporarily temporarily stored in an empty block when temporarily storing the data in the SDRAM, the SDRAM can be constituted by one element. Further, the read address and the write address of the SDRAM can be partially shifted to overlap each other, and the write capacity can be made smaller than the read capacity, so that the total capacity of the SDRAM can be reduced.
[0031]
13. The moving picture video signal processing device according to claim 12, wherein the moving picture video input means for inputting a moving picture video signal having a resolution of M columns and N rows, and a horizontal direction data M column of an output signal from the moving picture video input means. A horizontal resize filter unit for reducing the number of columns to an arbitrary m (m ≦ M) column, an SDRAM which divides an output signal of the horizontal resize filter into n areas in a strip shape and partially stores blocks to temporarily store; A horizontal / vertical resize filter unit for reading data temporarily stored in the SDRAM and performing resize conversion to an arbitrary P column and R row (P ≦ m ≦ M, R ≦ N); the horizontal / vertical resize filter work memory unit; And an SDRAM for temporarily storing the output of the horizontal / vertical resize filter unit in a priority manner in an empty block in the SDRAM.
[0032]
Since the amount of data temporarily stored in the SDRAM that consumes a large amount of power in the moving image video signal processing is reduced by the signal processing of the work memory and the filter, it has the effect of reducing the total power consumption. Further, since the data after signal processing can be temporarily temporarily stored in an empty block when temporarily storing the data in the SDRAM, the SDRAM can be constituted by one element. Further, the read address and the write address of the SDRAM can be partially shifted to overlap each other, and the write capacity can be made smaller than the read capacity, so that the total capacity of the SDRAM can be reduced.
[0033]
A still image signal processing device according to a thirteenth aspect is characterized by further comprising still image output means for outputting an output signal from the still image input means as it is to the image.
[0034]
A moving image video signal processing apparatus according to a fourteenth aspect further includes a moving image output unit that outputs an output signal from the moving image input unit as an image.
[0035]
BEST MODE FOR CARRYING OUT THE INVENTION
Hereinafter, an embodiment of the present invention will be described with reference to FIGS.
[0036]
In this specification, the international standard ITU-R BT. The 656-compliant digital image signal is hereinafter abbreviated as ITU656.
[0037]
(Embodiment 1)
1 shows an embodiment of image pickup signal processing in a still image pickup mode of the present invention. FIG. 1 is a block diagram showing a signal processing block in a still image capturing mode according to the present invention. FIG. 2 shows signal processing in the still image capturing mode. The configuration will be described below.
[0038]
An image pickup device such as a CCD 1 (a source signal of Q frames per second in N rows with M resolutions), an image pickup input process 2 in which a CDS / AGC 12, an A / D converter 13 and an RGB to YUV converter 29 constitute one block; , TG21, a horizontal resize filter 3 for performing resizing in the horizontal direction, a color processing unit 4 for performing gamma correction, etc., a resizing conversion filter 5 for performing resizing in the horizontal and vertical directions, and is used as a work area in the resizing process. Work memory 6, video encoder 18, memory card I / F 24, memory card 25, video decoder 28, conversion 30 from YUV to RGB, monitor 20, CPU 23, setting switch 26, imaging shutter And a switch 27. YUV is Y: luminance signal, U: color difference signal Cb, V: color difference signal Cr, all of which are digital signals.
[0039]
Next, the operation will be described. First, a case where the preset condition by the setting switch 26 is set to a low-resolution still image and a medium-resolution still image will be described. The input source signal from the CCD 1 is a moving image RGB signal of Q columns per second in M columns and N rows. At this time, as shown in FIG. 2, the data amount of one frame in the captured moving image signal 1s is M × N × 3 RGB. The imaging moving image signal 1 s is subjected to noise removal and gain control 12, A / D conversion 13, and conversion 29 from RGB to YUV by the imaging input processing 2, and enters the horizontal resize filter 3. In the conversion 29 from RGB to YUV, the RGB signal is converted to the YUV signal 4: 2: 2 by ITU-R BT. 601 standard. Note that YUV conversion 4: 2: 0 or the like may be performed. If the CCD is a complementary color CCD, YUV conversion is performed after conversion to RGB. This horizontal filter 3 is resized in m rows (M / 2 ≦ m ≦ M) in the horizontal direction. Since this horizontal resize filter is limited to M / 2 or more, the cutoff frequency is 1/2 or more of the whole band. Therefore, even if this filter is applied, aliasing noise does not occur. The resized signal 3s is subjected to γ correction in color signal processing 4 in order to match human color sensitivity. Thereafter, it enters the horizontal / vertical resize conversion filter 5. The video encoder 18 performs, for example, encoding to JPEG. When the imaging shutter switch 27 is pressed according to the preset condition of the setting switch 26, the CPU 23 sends a control signal to the memory card I / F 24 to activate the I / F, and the JPEG data thus encoded is stored in the memory card 25. Record the still image of the frame.
[0040]
The data output from the video encoder 18 is decoded by the video decoder 28 to the resolution of the monitor 20 to display a still image on the monitor.
[0041]
When the preset condition by the setting switch 26 is set to continuous shooting every 0.5 seconds, the memory card I / F 24 stores one frame every 0.5 seconds while the imaging shutter switch 27 is pressed. Record on card 25. At the same time, it is decoded by the video decoder 28 and updated and displayed on the monitor 20 every 0.5 seconds.
[0042]
Next, when the preset condition by the setting switch 26 is the high resolution still image mode, the horizontal resizing filter 3 does not perform the resizing process according to the instruction of the CPU 23. That is, the signal is passed through with m columns (m = M). The signal passes through a horizontal / vertical resize filter 5 after color processing 4. That is, the resizing process is not performed here. As a result, a high-resolution pixel corresponding to the original pixel of the CCD is directly recorded on the memory card 25 by the JPEG video encoder 18 via the memory card I / F 24. If the resolution cannot be displayed during monitor display, the video is decoded to a resolution suitable for display by the video decoder 28 in accordance with an instruction from the CPU 23 and displayed.
[0043]
Next, when the preset condition by the setting switch 26 is 2 × zoom, the horizontal resizing filter 3 does not perform the resizing process according to the instruction of the CPU 23. That is, the signal is passed through with m columns (m = M). After the color processing 4, the signal is subjected to a 2 × resizing process by a horizontal / vertical resizing filter 5. As a result, the image is resized twice vertically and horizontally twice as high as the original pixel of the CCD. This data is recorded by the JPEG video encoder 18 on the memory card 25 via the memory card I / F 24 as a one-frame still image. When the monitor cannot display the resolution as it is, the video decoder 28 decodes and displays only a desired display area to a resolution suitable for display in accordance with an instruction from the CPU 23.
[0044]
As described above, signal processing is performed using only an input pixel buffer and an output pixel buffer for processing a horizontal signal and an input line buffer and an output line buffer for processing a vertical signal without using an external memory such as an SDRAM. This buffer is faster than the external memory, has a smaller capacity, and consumes less power, and is composed of, for example, an SRAM. The image capturing input processing 2, the horizontal resize filter 3, the color processing unit 4, the horizontal / vertical resize filter 5, the CPU 23, the video encoder 18, the memory card I / F 24, the video decoder 28, and the YUV to RGB converter 30, TG21, and SG22 can be configured in the same LSI. When a CMOS image sensor is used in place of the CCD 1, all the devices including the CMOS image sensor 1 can be configured as one LSI, that is, a system LSI.
[0045]
By configuring the work memory in the system LSI and eliminating access to the external memory in the process of signal processing, the power consumption of the external memory can be significantly reduced. Also, when using an external memory, it takes a long memory access time to use a burst memory access, but by using the internal memory, it is possible to access at a high speed, a preview process at the time of capturing a still image, a continuous shooting process, High-resolution signal processing and zoom processing can be performed at high speed.
[0046]
(Embodiment 2)
1 shows an embodiment of an imaging signal process in a moving image imaging mode of the present invention. FIG. 1 is a block diagram showing a signal processing block in a moving image capturing mode according to the present invention. FIG. 2 shows signal processing in the moving image capturing mode.
[0047]
First, the configuration will be described. The configuration is the same as that of the first embodiment except that the video encoder 18 and the video decoder 28 are, for example, MPEG2 or MPEG4 for moving image processing, and the signals and data to be handled are moving images.
[0048]
Next, the operation will be described. First, a case where the preset condition by the setting switch 26 is set for a low-resolution moving image and a medium-resolution moving image will be described. The input source signal from the CCD 1 is a moving image RGB signal of Q columns per second in M columns and N rows. At this time, as shown in FIG. 2, the data amount of one frame in the captured moving image signal 1s is M × N × 3 RGB. This imaging moving image signal 1s is subjected to noise removal & gain control 12, A / D conversion 13, and conversion 29 from RGB to YUV by the imaging input processing 2, and the imaging input processing output signal 2s that has been subjected to the imaging input processing is horizontal. Enter the resize filter 3. In the conversion 29 from RGB to YUV, the RGB signal is converted to the YUV signal 4: 2: 2 by ITU-R BT. 601 standard. Note that YUV conversion 4: 2: 0 or the like may be performed. If the CCD is a complementary color CCD, YUV conversion is performed after conversion to RGB. This horizontal filter 3 is resized in m rows (M / 2 ≦ m ≦ M) in the horizontal direction. Since this horizontal resize filter is limited to M / 2 or more, the cutoff frequency is 1/2 or more of the whole band. Therefore, even if this filter is applied, aliasing noise does not occur. The resized signal 3s is subjected to γ correction in color signal processing 4 in order to match human color sensitivity. The color-processed output signal 4s subjected to the color processing then enters the horizontal / vertical resize conversion filter 5. The horizontal / vertical resize conversion filter output signal 5s output from the horizontal / vertical resize conversion filter 5 is subjected to, for example, MPEG-4 encoding by the video encoder 18. In accordance with the preset condition of the setting switch 26, the CPU 4 sends the control signal to the memory card I / F 24 to activate the I / F while the imaging shutter switch 27 is kept pressed. To record moving images of continuous frames on the memory card 25.
[0049]
The data output from the video encoder 18 is decoded by the video decoder 28 to the resolution of the monitor 20 to display a moving image on the monitor.
[0050]
Next, when the preset condition by the setting switch 26 is the high-resolution moving image mode, the horizontal resizing filter 3 does not perform the resizing process according to the instruction from the CPU 23. That is, the signal is passed through with m columns (m = M). The signal passes through a horizontal / vertical resize filter 5 after color processing 4. That is, the resizing process is not performed here. As a result, high-resolution pixels corresponding to the original pixels of the CCD are recorded as they are by the MPEG2 encoder 18 on the memory card 25 via the memory card I / F 24. When the resolution cannot be displayed during monitor display, the image is decoded and displayed by the MPEG2 decoder 28 according to an instruction from the CPU 23.
[0051]
Next, when the preset condition by the setting switch 26 is 2 × zoom, the horizontal resizing filter 3 does not perform the resizing process according to the instruction of the CPU 23. That is, the signal is passed through with m columns (m = M). After the color processing 4, the signal is subjected to a 2 × resizing process by a horizontal / vertical resizing filter 5. As a result, the image is resized twice vertically and horizontally twice as high as the original pixel of the CCD. This data is recorded as a continuous moving image on the memory card 25 via the memory card I / F 24 by the MPEG2 encoder 18. If the resolution cannot be displayed as it is during monitor display, the video is decoded to a desired resolution by the video decoder 28 and displayed according to the instruction of the CPU 23.
[0052]
As described above, signal processing is performed using only an input pixel buffer and an output pixel buffer for processing a horizontal signal and an input line buffer and an output line buffer for processing a vertical signal without using an external memory such as an SDRAM. This buffer is faster than the external memory, has a smaller capacity, and consumes less power, and is composed of, for example, an SRAM. The image capturing input processing 2, the horizontal resize filter 3, the color processing unit 4, the horizontal / vertical resize filter 5, the CPU 23, the video encoder 18, the memory card I / F 24, the video decoder 28, and the YUV to RGB converter 30, TG21, and SG22 can be configured in the same LSI. When a CMOS image sensor is used in place of the CCD 1, all the devices including the CMOS image sensor 1 can be configured as one LSI, that is, a system LSI.
[0053]
By configuring the work memory in the system LSI and eliminating access to the external memory in the process of signal processing, the power consumption of the external memory can be significantly reduced. Also, when using an external memory, it takes a long memory access time to use a burst memory access, but by using the internal memory, it is possible to access at high speed, preview processing of moving image processing, signal processing of high resolution, Signal processing such as zoom processing can be performed at high speed.
[0054]
(Embodiment 3)
1 shows an embodiment of video signal processing in a still image video mode according to the present invention. FIG. 3 is a block diagram showing a signal processing block in the still image mode according to the present invention. FIG. 4 shows signal processing in the still image mode. First, the configuration will be described.
[0055]
A video input device 7 for inputting a video signal such as a television signal or a video signal (a source YUV signal of M frames, N rows, and Q frames per second), a video output device 8 for monitoring the YUV signal, and a horizontal resize , A horizontal and vertical resize filter 5 for performing resize conversion in the horizontal and vertical directions, a work memory 6 used as a work area for the resize processing, a video encoder 18, a video decoder 28, and RGB from YUV. , A CPU 23, a memory card I / F 24, a memory card 25, a setting switch 26, an imaging shutter switch 27, and a monitor 20.
[0056]
Next, the operation will be described. First, a case where the preset condition by the setting switch 26 is set to a low-resolution still image and a medium-resolution still image will be described. The input source signal 7s from the video input device 7 is a moving image YUV signal of M columns and N rows and Q frames per second. At this time, as shown in FIG. 4, the data amount of one frame in the captured moving image signal 7s is M × N. This video signal 7 s enters the video output device 8 and the horizontal resize filter 3. In the video output device 8, it can be converted into a visual video and monitored. The moving image signal 7s enters the horizontal resize filter 3. This horizontal filter 3 is resized in m rows (M / 2 ≦ m ≦ M) in the horizontal direction. Since this horizontal resize filter is limited to M / 2 or more, the cutoff frequency is 1/2 or more of the whole band. Therefore, even if this filter is applied, aliasing noise does not occur. Thereafter, it enters the horizontal / vertical resize filter 5. In the horizontal / vertical resize filter 5, enlargement resizing or reduction resizing of the number of pixels is performed. YUV is Y: luminance signal, U: color difference signal Cb, V: color difference signal Cr, all of which are digital signals. The video encoder 18 performs, for example, encoding to JPEG. The CPU 23 sends a control signal to the memory card I / F 24 according to the preset condition of the setting switch 26, triggered by the pressing of the imaging shutter switch 27. Record.
[0057]
The data output from the video encoder 18 can be viewed by being converted to the resolution of the monitor 20 by the video decoder 28.
[0058]
When the preset condition by the setting switch 26 is set to, for example, continuous shooting every 0.5 seconds, while the imaging shutter switch 27 is pressed, the memory card I / F 24 one frame every 0.5 seconds. The data is recorded on the memory card 25 via the memory card. At the same time, it is displayed on the monitor 20 by the video decoder 28 every 0.5 seconds.
[0059]
Next, when the preset condition by the setting switch 26 is the high resolution still image mode, the horizontal resizing filter 3 does not perform the resizing process according to the instruction of the CPU 23. That is, the signal is passed through with m columns (m = M). Also, the horizontal / vertical resize filter 5 does not perform the resize processing. As a result, a high-resolution pixel corresponding to the video signal 7s input from the video input device is directly recorded in the memory card 25 by the JPEG video encoder 18 via the memory card I / F 24. If the resolution cannot be displayed during monitor display, the video is decoded and displayed by the video decoder 28 by the CPU 23.
[0060]
Next, when the preset condition by the setting switch 26 is, for example, 2 × zoom, the horizontal resize filter 3 does not perform the resize processing in accordance with the instruction from the CPU 23. That is, the signal is passed through with m columns (m = M). After the color processing 4, the signal is subjected to a 2 × resizing process by a horizontal / vertical resizing filter 5. As a result, the high-resolution pixels corresponding to the input video signal 7s are resized twice vertically and horizontally, and one frame is recorded on the memory card 25 by the JPEG video encoder 18 via the memory card I / F 24. If the resolution cannot be displayed as it is during monitor display, the video is decoded by the video decoder 28 by the CPU 23. Note that zooming can be performed continuously for both reduction and enlargement.
[0061]
As described above, signal processing is performed using only an input pixel buffer and an output pixel buffer for processing a horizontal signal and an input line buffer and an output line buffer for processing a vertical signal without using an external memory such as an SDRAM. This buffer is faster than the external memory, has a smaller capacity and consumes less power, and is constituted by, for example, an SRAM. The horizontal resize filter 3, the horizontal / vertical resize filter 5, the CPU 23, the video encoder 18, the memory card I / F 24, the video decoder 28, it can be configured in the same LSI as the YUV to RGB converter 30.
[0062]
By configuring the work memory in the system LSI and eliminating access to the external memory in the process of signal processing, the power consumption of the external memory can be significantly reduced. Also, when using an external memory, it takes a long memory access time to use a burst memory access, but by using the internal memory, it is possible to access at a high speed, a preview process at the time of capturing a still image, a continuous shooting process, High-resolution signal processing and zoom processing can be performed at high speed.
[0063]
(Embodiment 4)
1 shows an embodiment of video signal processing in a moving image video mode of the present invention. FIG. 3 is a block diagram showing a signal processing block in the moving image mode according to the present invention. FIG. 4 shows signal processing in the moving image video mode. First, the configuration will be described. The configuration is the same as that of the third embodiment except that the video encoder 18 and the video decoder 28 are, for example, MPEG2 or MPEG4 for moving image processing, and the signals and data to be handled are moving images.
[0064]
Next, the operation will be described. First, a case where the preset condition by the setting switch 26 is set for a low-resolution moving image and a medium-resolution moving image will be described. The input source signal 7s from the video input device 7 is a moving image YUV signal of M columns and N rows and Q frames per second. At this time, as shown in FIG. 4, the data amount of one frame in the captured moving image signal 7s is M × N. This video signal 7 s enters the video output device 8 and the horizontal resize filter 3. In the video output device 8, it can be converted into a visual video and monitored. This moving image signal 7s enters the horizontal resize filter 3. This horizontal filter 3 is resized in m rows (M / 2 ≦ m ≦ M) in the horizontal direction. Since this horizontal resize filter is limited to M / 2 or more, the cutoff frequency is 1/2 or more of the whole band. Therefore, even if this filter is applied, aliasing noise does not occur. Thereafter, it enters the horizontal / vertical resize filter 5. In the horizontal / vertical resize filter 5, enlargement resizing and reduction resizing of the number of pixels are performed.
[0065]
Here, YUV means Y: luminance signal, U: color difference signal Cb, V: color difference signal Cr. The video encoder 18 performs, for example, encoding to MPEG4. When the MPEG data thus encoded is pressed by the preset condition by the setting switch 26 and the imaging shutter switch 27, the CPU 23 sends a control signal to the memory card I / F 24 and activates the I / F, thereby storing one frame of data in the memory card 25. Record a movie.
[0066]
The data output from the video encoder 18 is decoded by the video decoder 28 and displayed on the monitor 20 as a moving image.
[0067]
Next, when the preset condition by the setting switch 26 is the high resolution still image mode, the horizontal resizing filter 3 does not perform the resizing process according to the instruction of the CPU 23. That is, the signal is passed through with m columns (m = M). The signal passes through a horizontal / vertical resize filter 5 after color processing 4. That is, the resizing process is not performed here. As a result, high-resolution pixels corresponding to the original pixels of the CCD are recorded as they are by the MPEG2 encoder 18 on the memory card 25 via the memory card I / F 24. When the resolution cannot be displayed during monitor display, the image is decoded and displayed by the MPEG2 decoder 28 according to an instruction from the CPU 23.
[0068]
Next, when the preset condition by the setting switch 26 is 2 × zoom, the horizontal resizing filter 3 does not perform the resizing process according to the instruction of the CPU 23. That is, the signal is passed through with m columns (m = M). After the color processing 4, the signal is subjected to a 2 × resizing process by a horizontal / vertical resizing filter 5. As a result, the image is resized twice vertically and horizontally twice as high as the original pixel of the CCD. This data is recorded as a continuous moving image on the memory card 25 via the memory card I / F 24 by the MPEG2 encoder 18. If the resolution cannot be displayed as it is during monitor display, the video is decoded to a desired resolution by the video decoder 28 and displayed according to the instruction of the CPU 23.
[0069]
As described above, signal processing is performed using only an input pixel buffer and an output pixel buffer for processing a horizontal signal and an input line buffer and an output line buffer for processing a vertical signal without using an external memory such as an SDRAM. This buffer is faster than the external memory, has a smaller capacity and consumes less power, and is constituted by, for example, an SRAM. The horizontal resize filter 3, the horizontal / vertical resize filter 5, the CPU 23, the video encoder 18, the memory card I / F 24, the video decoder 28, and can be configured in the same LSI as the YUV to RGB converter 30. When a CMOS image sensor is used in place of the CCD 1, all the LSIs including the CMOS image sensor 1 can be configured as a system LSI.
[0070]
By configuring the work memory in the system LSI and eliminating access to the external memory in the process of signal processing, the power consumption of the external memory can be significantly reduced. Also, when using an external memory, it takes a long memory access time to use a burst memory access, but by using the internal memory, it is possible to access at high speed, preview processing of moving image processing, signal processing of high resolution, Signal processing such as zoom processing can be performed at high speed.
[0071]
(Embodiment 5)
1 shows an embodiment of image pickup signal processing in a still image pickup mode of the present invention. FIG. 5 is a block diagram of the signal processing in the still image capturing mode of the present invention. FIG. 6 shows signal processing in the still image capturing mode. First, the configuration will be described.
[0072]
An image pickup device such as a CCD 1 (a source signal of Q frames per second in N rows with M resolutions), an image pickup input process 2 in which a CDS / AGC 12, an A / D converter 13 and an RGB to YUV converter 29 constitute one block; , TG21, a horizontal resize filter 3 for performing horizontal resizing, a color processing unit 4 for performing gamma correction, etc., an SDRAM-A9 for temporarily storing data in real time, a memory control 33A thereof, and a horizontal and vertical resizing. A resize conversion filter 5 for conversion, a work memory 6 used as a work area in the resize processing, a video encoder 18, an SDRAM-B10 for temporarily storing a signal of the video encoder 18, a memory control 33B thereof, Card I / F 24, memory card 25, video decoder 28, YU To RGB, a monitor 20, an I / O interface (abbreviated as I / O I / F) 31, a communication I / F 32, a CPU 23, a setting switch 26, and an imaging shutter switch 27. You. YUV is Y: luminance signal, U: color difference signal Cb, V: color difference signal Cr, all of which are digital signals.
[0073]
Next, the operation will be described. First, a case where the preset condition by the setting switch 26 is set to a low-resolution still image and a medium-resolution still image will be described. The input source signal from the CCD 1 is a moving image RGB signal of Q columns per second in M columns and N rows. At this time, as shown in FIG. 6, the data amount of one frame in the captured moving image signal 1s is M × N × 3 RGB. The imaging moving image signal 1 s is subjected to noise removal and gain control 12, A / D conversion 13, and conversion 29 from RGB to YUV by the imaging input processing 2, and enters the horizontal resize filter 3. In the conversion 29 from RGB to YUV, the RGB signal is converted to the YUV signal 4: 2: 2 by ITU-R BT. 601 standard. When the CCD is a complementary color CCD, YUV conversion is performed on RGB complementary colors. This horizontal filter 3 is resized in m rows (M / 2 ≦ m ≦ M) in the horizontal direction. Since this horizontal resize filter is limited to M / 2 or more, the cutoff frequency is 1/2 or more of the whole band. Therefore, even if this filter is applied, aliasing noise does not occur. The data is temporarily stored in the SDRAM-A9 in real time. As a result, all the inputs from the CCD 1 can be temporarily stored in the SDRAM-A9 in real time, and then the data can be read out from the SDRAM-A9 in a non-real time manner. Thus, when the resolution is low, an SDRAM having a low access speed can be used.
[0074]
The signal 9 s read from the SDRAM-A 9 in this way is subjected to γ correction in color signal processing 4 in order to match human color sensitivity, and enters the horizontal / vertical resize conversion filter 5. At this time, resizing is performed by using the work built-in memory 6. The video encoder 18 performs encoding into, for example, JPEG. The encoded JPEG data is transmitted to the memory card 25 by the CPU 23 sending a control signal to the memory card I / F 24 and activating the I / F in accordance with preset conditions by the setting switch 26 and a trigger signal when the imaging shutter switch 27 is pressed. Record a still image of one frame.
[0075]
The data output from the video encoder 18 is decoded and converted to the resolution of the monitor 20 by the video decoder 28 and displayed on the monitor 20.
[0076]
Further, the signal 18s output from the JPEG video encoder 18 is also temporarily stored in the SDRAM-B10. The data stored here is provided to the I / O I / F 31 under the control of the CPU 23 according to the condition setting of the setting switch 26, and is communicated to other devices via the communication I / F 32. The communication at this time is not limited to wired communication and wireless communication. The SDRAM-B10 is effective when the same data is passed to a plurality of I / Fs such as a memory I / F and an I / OI / F31.
[0077]
When the preset condition by the setting switch 26 is set to continuous shooting every 0.5 seconds, the memory card I / F 24 stores one frame every 0.5 seconds while the imaging shutter switch 27 is pressed. Record on card 25. At the same time, it is displayed on the monitor 20 by the video decoder 28 every 0.5 seconds. It is transmitted to other devices by communication every 0.5 seconds.
[0078]
Next, when the preset condition by the setting switch 26 is the high resolution still image mode, the horizontal resizing filter 3 does not perform the resizing process according to the instruction of the CPU 23. That is, the signal is passed through with m columns (m = M). After the color processing 4, the horizontal / vertical resize filter 5 does not resize the signal. As a result, a high-resolution pixel corresponding to the original pixel of the CCD is directly recorded on the memory card 25 by the JPEG video encoder 18 via the memory card I / F 24. When the resolution cannot be displayed on the monitor display, the video decoder 28 decodes and displays the resolution according to an instruction from the CPU 23. It is also communicated to other devices.
[0079]
Next, when the preset condition by the setting switch 26 is 2 × zoom, the horizontal resizing filter 3 does not perform the resizing process according to the instruction of the CPU 23. That is, the signal is passed through with m columns (m = M). After the color processing 4, the signal is subjected to a 2 × resizing process by a horizontal / vertical resizing filter 5. As a result, the image is resized twice vertically and horizontally twice as high as the high resolution pixel corresponding to the original pixel of the CCD, and one frame is recorded on the memory card 25 by the JPEG video encoder 18 via the memory card I / F 24. If the resolution cannot be displayed as it is during monitor display, the video is decoded by the CPU 23 while the video decoder 28 converts the resolution. One frame communication is performed with another device.
[0080]
As described above, the SDRAM-A has one write, one read, and the SDRAM-B also has one write and one read, so that a low-speed external memory can be used. In the horizontal and vertical resizing process 5, a work built-in memory is used. This memory is a high-speed, small-capacity, low-power-consumption memory composed of, for example, an SRAM, and includes an imaging input process 2, a horizontal resize filter 3, a color processing unit 4, a horizontal / vertical resize filter 5, a CPU 23, a video encoder 18, a memory It can be configured inside the same LSI as the card I / F 24, TG21 and SG22. If an image sensor made of CMOS is used in place of the CCD 1, all of them including the image sensor 1 can be configured as one LSI, that is, a system LSI.
[0081]
Further, the data encoded by the SDRAM-B10 can be temporarily stored, and after time adjustment suitable for communication can be given to the communication from the SDRAM-B10.
[0082]
(Embodiment 6)
1 shows an embodiment of an imaging signal process in a moving image imaging mode of the present invention. FIG. 5 is a block diagram of the signal processing in the moving image capturing mode of the present invention. FIG. 6 shows signal processing in the moving image capturing mode. First, the configuration will be described.
[0083]
The configuration is the same as that of the fifth embodiment except that the video encoder 18 and the video decoder 28 are, for example, MPEG2 or MPEG4 for moving image processing, and therefore the description is omitted.
[0084]
Next, the operation will be described. The operating principle is that, in the fifth embodiment, the video encoder 18 is a moving image encoder such as an MPEG2 or MPEG4 encoder, the moving image decoder is an MPEG2 or MPEG4 decoder, However, the other points are the same and will not be described.
[0085]
(Embodiment 7)
1 shows an embodiment of video signal processing in a still image video mode according to the present invention. FIG. 7 is a block diagram showing a signal processing block in the still picture mode according to the present invention. FIG. 8 shows signal processing in the still image mode. First, the configuration will be described.
[0086]
The configuration is such that the CCD 1, the imaging input processing 2 and the color processing 4 are deleted in the fifth embodiment, and a video input device 7 and a video output device 8 are added instead.
[0087]
Next, the operation will be described.
[0088]
The operation is different from the CCD 1 input in the fifth embodiment in that the input by the video input device 7 in the third embodiment is processed and the signal processing by the video output device 8 for immediately outputting the video is changed. The other parts are the same as those of the fifth and third embodiments, and the description is omitted.
[0089]
(Embodiment 8)
1 shows an embodiment of video signal processing in a moving image video mode of the present invention. FIG. 7 is a block diagram of the signal processing in the moving image mode according to the present invention. FIG. 8 shows signal processing in the moving image video mode. First, the configuration will be described.
[0090]
The configuration is the same as that of the seventh embodiment except that the video encoder 18 and the video decoder 28 are, for example, MPEG2 or MPEG4 for moving image processing, and therefore the description is omitted.
[0091]
Next, the operation will be described. The operating principle is that, in the seventh embodiment, the video encoder 18 is a moving picture encoder, for example, an MPEG2 or MPEG4 encoder, the moving picture decoder is an MPEG2 or MPEG4 decoder, However, the other points are the same and will not be described.
[0092]
(Embodiment 9)
1 shows an embodiment of image pickup signal processing in a still image pickup mode of the present invention. FIG. 9 is a block diagram of the signal processing in the still image capturing mode of the present invention. FIG. 10 shows signal processing in the still image capturing mode. First, the configuration will be described.
[0093]
In the fifth embodiment, the SDRAM-A9, the SDRAM-B10, and the two SDRAMs are used. However, the SDRAM-A9, the SDRAM-B10, and the SDRAM-B9 are configured with only one SDRAM 16 and its memory control 34. Otherwise, the configuration is the same as in the fifth embodiment, and a description thereof will be omitted.
[0094]
Next, the operation will be described.
[0095]
First, a case where the preset condition by the setting switch 26 is set to a low-resolution still image and a medium-resolution still image will be described. The input source signal from the CCD 1 is a moving image RGB signal of Q columns per second in M columns and N rows. At this time, as shown in FIG. 10, the data amount of one frame in the captured moving image signal 1s is M × N × 3 RGB. The imaging moving image signal 1 s is subjected to noise removal and gain control 12, A / D conversion 13, and conversion 29 from RGB to YUV by the imaging input processing 2, and enters the horizontal resize filter 3. In the conversion 29 from RGB to YUV, the RGB signal is converted to the YUV signal 4: 2: 2 by ITU-R BT. 601 standard. When the CCD is a complementary color CCD, YUV conversion is performed on RGB complementary colors. This horizontal filter 3 is resized in m rows (M / 2 ≦ m ≦ M) in the horizontal direction. Since this horizontal resize filter is limited to M / 2 or more, the cutoff frequency is 1/2 or more of the whole band. Therefore, even if this filter is applied, aliasing noise does not occur. The data is temporarily stored in the SDRAM 16 in real time. As a result, all the inputs from the CCD 1 can be temporarily stored in the SDRAM 16 in real time, and then the data can be read out from the SDRAM 16 in a non-real time manner. The signal 3s is temporarily stored in the SDRAM 16. At this time, the raw signal 1s is divided into n strip-shaped areas, and each area is horizontally resized and stored in the SDRAM. For example, in the case of a raw signal 1s of 1600 columns and 1200 rows, n = 3, area 1 is 544 columns and 1200 rows, area 2 is 544 columns and 1200 rows, and area 3 is 544 columns and 1200 rows. In the raw signal 1s, 16 rows of boundaries between area 1 and area 2 and 16 rows of boundaries between area 2 and area 3 are overlapped and data is stored in each area in signal 3s. Thereby, the boundary of the area after the resizing can be seamlessly connected. Further, when the data is stored in the SDRAM 16, the data is packed after the burst address, and the space before the burst address is left empty.
[0096]
Next, data of a necessary address is read from the SDRAM 16, γ correction is performed in the color signal processing 4 in order to match human color sensitivity, and the data enters the horizontal / vertical resize conversion filter 5. The horizontal / vertical resize filter 5 is a work memory 6 including an input pixel buffer and an output pixel buffer for processing a horizontal signal and an input line buffer and an output line buffer for processing a vertical signal without using an external memory. Only do it. Next, the video encoder 18 performs, for example, encoding to JPEG. The JPEG data thus encoded is transmitted to the memory card I / F 24 by the CPU 23 according to the preset condition of the setting switch 26 and the trigger signal when the imaging shutter switch 27 is pressed. A still image of one frame. At the same time, it is temporarily stored once again in the SDRAM 16. At this time, the data is temporarily stored in the SDRAM from the front of the vacant burst address as described above. In this way, by performing the burst access by shifting the read space and the write space of the SDRAM 16 only by the empty space, the SDRAM 16 can be composed of one device and the memory can be used efficiently, and the capacity of the SDRAM 16 can be increased. Can be reduced.
[0097]
The data output from the video encoder 18 can be decoded by the video decoder 28 to the resolution of the monitor 20 and displayed on the monitor 20.
[0098]
The JPEG data temporarily stored in the SDRAM 16 is given to the I / O I / F 31 under the control of the CPU 23 according to the condition setting of the setting switch 26, and is communicated to other devices via the communication I / F 32. The communication at this time is not limited to wired communication and wireless communication. The SDRAM 16 is effective when the same data is transferred to a plurality of I / Fs such as a memory I / F and an I / O I / F 31.
[0099]
When the preset condition by the setting switch 26 is set to continuous shooting every 0.5 seconds, the memory card I / F 24 stores one frame every 0.5 seconds while the imaging shutter switch 27 is pressed. Record on card 25. At the same time, it is displayed on the monitor 20 by the video decoder 28 every 0.5 seconds. It is transmitted to other devices by communication every 0.5 seconds.
[0100]
Next, when the preset condition by the setting switch 26 is the high resolution still image mode, the horizontal resizing filter 3 does not perform the resizing process according to the instruction of the CPU 23. That is, the signal is passed through with m columns (m = M). After the color processing 4, the horizontal / vertical resize filter 5 does not resize the signal. As a result, a high-resolution pixel corresponding to the original pixel of the CCD is directly recorded on the memory card 25 by the JPEG video encoder 18 via the memory card I / F 24. When the resolution cannot be displayed during monitor display, the video is decoded by the CPU 23 while the video decoder 28 converts the resolution. It is also communicated to other devices.
[0101]
Next, when the preset condition by the setting switch 26 is 2 × zoom, the horizontal resizing filter 3 does not perform the resizing process according to the instruction of the CPU 23. That is, the signal is passed through with m columns (m = M). After the color processing 4, the signal is subjected to a 2 × resizing process by a horizontal / vertical resizing filter 5. As a result, the image is resized twice vertically and horizontally twice as high as the high resolution pixel corresponding to the original pixel of the CCD, and one frame is recorded on the memory card 25 by the JPEG video encoder 18 via the memory card I / F 24. If the resolution cannot be displayed as it is when displayed on a monitor, it is decoded by the video decoder 28 by the CPU 23 and displayed on the monitor 20. One frame communication is performed with another device.
[0102]
Thus, the SDRAM 16 is operated twice for writing and twice for reading.
[0103]
In the horizontal and vertical resizing process 5, a work memory is used. This memory is a high-speed, small-capacity, low-power-consumption memory composed of, for example, an SRAM, and includes an image pickup input process 2, a horizontal resize filter 3, a color processing unit 4, a horizontal / vertical resize filter 5, a CPU 23, a video encoder 18, a memory, and the like. It can be configured inside the same LSI as the card I / F 24, TG21 and SG22. In addition, when an image sensor made of CMOS is used instead of the CCD 1, all the LSIs including the image sensor 1 can be configured as one LSI, that is, a system LSI.
[0104]
(Embodiment 10)
1 shows an embodiment of an imaging signal process in a moving image imaging mode of the present invention. FIG. 9 is a block diagram of the signal processing in the moving image capturing mode of the present invention. FIG. 10 shows signal processing in the moving image imaging mode. First, the configuration will be described.
[0105]
The configuration is the same as that of the ninth embodiment except that the video encoder 18 and the video decoder 28 are, for example, MPEG2 or MPEG4 for moving image processing, and therefore the description is omitted.
[0106]
Next, the operation will be described. The operating principle is that in Embodiment 9, the video encoder 18 is a moving image encoder, for example, an MPEG2 or MPEG4 encoder, the moving image decoder is an MPEG2 or MPEG4 decoder, and the signals to be handled are not still images, However, the other points are the same and will not be described.
[0107]
(Embodiment 11)
1 shows an embodiment of an image pickup signal process in a still image mode according to the present invention. FIG. 11 is a block diagram showing a signal processing block in the still image mode according to the present invention. FIG. 12 shows signal processing in the still image mode. First, the configuration will be described.
[0108]
In the eighth embodiment, the SDRAM-A9, the SDRAM-B10, and the two SDRAMs are used, but this is configured with only one SDRAM 16. Otherwise, the configuration is the same as in the eighth embodiment, and a description thereof will not be repeated.
[0109]
Next, the operation will be described.
[0110]
The operation is the same as that of the eighth embodiment except that the image input device 7 in the third embodiment and the signal processing by the video output device 8 for immediately outputting the image are added instead of the CCD 1 input in the eighth embodiment. 3 and 3, and a description thereof will be omitted.
[0111]
(Embodiment 12)
1 shows an embodiment of video signal processing in a moving image video mode of the present invention. FIG. 11 is a block diagram showing a signal processing block in the moving image mode according to the present invention. FIG. 12 shows signal processing in the moving image video mode. First, the configuration will be described.
[0112]
The configuration is the same as that of the eleventh embodiment except that the video encoder 18 and the video decoder 28 are, for example, MPEG2 or MPEG4 for moving image processing, and therefore the description is omitted.
[0113]
Next, the operation will be described. The operating principle is that, in Embodiment 11, the video encoder 18 is a moving image encoder, for example, an MPEG2 or MPEG4 encoder, the moving image decoder is an MPEG2 or MPEG4 decoder, and the signals to be handled are not still images but all are moving images. However, the other points are the same and will not be described.
[0114]
【The invention's effect】
As described above, according to the present invention, the power consumption required for SDRAM access is reduced by performing image signal processing and video signal processing on still image and moving image video signals without temporarily storing them in the SDRAM. That is, the signal processing can be performed at a high speed, and when the SDRAM is inevitably used, the number of accesses can be reduced, so that the capacity and the current consumption of the external SDRAM can be reduced.
[Brief description of the drawings]
FIG. 1 is a signal processing block diagram in a still image capturing mode according to Embodiments 1 and 2 of the present invention.
FIG. 2 is a diagram illustrating a signal conversion process in a still image capturing mode according to the first and second embodiments of the present invention.
FIG. 3 is a signal processing block diagram in a still image mode according to Embodiments 3 and 4 of the present invention.
FIG. 4 is a diagram illustrating a signal conversion process in a still image mode according to Embodiments 3 and 4 of the present invention.
FIG. 5 is a signal processing block diagram in a still image capturing mode according to the fifth and sixth embodiments of the present invention.
FIG. 6 is a diagram illustrating a signal conversion process in a still image capturing mode according to the fifth and sixth embodiments of the present invention.
FIG. 7 is a signal processing block diagram in a still image video mode according to the seventh and eighth embodiments of the present invention.
FIG. 8 is a diagram illustrating a signal conversion process in a still image video mode according to the seventh and eighth embodiments of the present invention.
FIG. 9 is a signal processing block diagram in a still image capturing mode according to the ninth and tenth embodiments of the present invention.
FIG. 10 is a diagram showing a signal conversion process in a still image capturing mode according to the ninth and tenth embodiments of the present invention.
FIG. 11 is a signal processing block diagram in still image video mode according to Embodiments 11 and 12 of the present invention.
FIG. 12 is a diagram illustrating a signal conversion process in a still image video mode according to Embodiments 11 and 12 of the present invention.
FIG. 13 is a block diagram of image pickup signal processing in a conventional example.
[Explanation of symbols]
1 CCD image sensor
1s CCD imaging output signal
2 Imaging input processing
2s Imaging input processing output signal
3 Horizontal resize filter
3s Horizontal resize filter output signal
4 color processing
4s color processing output signal
5 Horizontal and vertical resize filters
5s horizontal / vertical resize filter output signal
6 Horizontal and vertical resize filter work memory
7 Video input device
7s video input device output signal
8 Video output device
9 SDRAM-A
9s SDRAM-A signal output
10 SDRAM-B
12 CDS / AGC (correlated double sampling / automatic gain control)
13 A / D (A / D converter)
14 signal processing
15 Memory control
16 SDRAM
17 Character Generator
18 Video encoder (for still images and video)
19 JPEG Codec
20 monitors
21 TG (Timing generator)
22 SG (Signal Generator)
23 CPU
24 Memory card I / F
25 Memory Card
26 Setting switch (or setting menu)
27 Imaging shutter switch
28 Video decoder (for still image and video)
29 RGB to YUV conversion
30 YUV to RGB conversion
31 I / O interface (abbreviated as I / OI / F)
32 Communication I / F
33A memory control
33B memory control
34 Memory Control

Claims

A still image pickup input processing unit that performs signal processing on a still image pickup signal having a resolution of M columns and N rows; and a horizontal data M column of an output signal from the still image pickup input processing unit is set to an arbitrary m (m ≦ M ) A horizontal resize filter section for reducing the number of columns, a color processing section for performing signal processing on color information of an output signal of the horizontal resize filter section, and an arbitrary P column and R row (P ≦ m ≦ (M, R ≦ N) A still image pickup signal processing device, comprising: a horizontal / vertical resize filter unit for resize conversion to (M, R ≦ N); and the horizontal / vertical resize filter work memory unit.

A moving image pickup input processing unit for performing signal processing on a moving image pickup signal having a resolution of M columns and N rows; A horizontal resize filter section for reducing; a color processing section for performing signal processing on color information of an output signal of the horizontal resize filter section; and an arbitrary P column R row (P ≦ m ≦ M, R ≦ N) A moving image pickup signal processing device, comprising: a horizontal / vertical resize filter unit for performing resize conversion to ≦ N); and the horizontal / vertical resize filter work memory unit.

Still image input means for inputting a still image signal having a resolution of M columns and N rows, and horizontal data M columns of an output signal from the still image input means are converted into arbitrary m (m ≦ M) columns A horizontal resize filter for reducing the output signal of the horizontal resize filter to an arbitrary P column and R row (P ≦ m ≦ M, R ≦ N); and the horizontal / vertical resize. And a filter work memory unit.

Moving image input means for inputting a moving image signal having a resolution of M columns and N rows, and horizontal data M columns of an output signal from the moving image input means are reduced to arbitrary m (m ≦ M) columns. A horizontal resize filter unit, a horizontal / vertical resize filter unit for resizing the output signal of the horizontal resize filter unit into an arbitrary P column R row (P ≦ m ≦ M, R ≦ N), and the horizontal / vertical resize filter work memory And a moving image video signal processing device.

A still image pickup input processing unit that performs signal processing on a still image pickup signal having a resolution of M columns and N rows; and a horizontal data M column of an output signal from the still image pickup input processing unit is set to an arbitrary m (m ≦ M A) a horizontal resize filter unit for reducing the size of columns, an SDRAM-A for temporarily storing an output signal of the horizontal resize filter, and a color processing unit for performing signal processing on color information of data output temporarily stored in the SDRAM-A; A horizontal / vertical resize filter unit for resizing and converting an output signal of the color processing unit to an arbitrary P column and R row (P ≦ m ≦ M, R ≦ N); the horizontal / vertical resize filter work memory unit; And a SDRAM-B for temporarily storing an output of the filter unit.

A moving image pickup input processing unit for performing signal processing on a moving image pickup signal having a resolution of M columns and N rows; A horizontal resize filter section for reducing, an SDRAM-A for temporarily storing an output signal of the horizontal resize filter, a color processing section for performing signal processing on color information of data output temporarily stored in the SDRAM-A, and the color processing section A horizontal / vertical resize filter section for resizing the output signal of the section into an arbitrary P column R row (P ≦ m ≦ M, R ≦ N), the horizontal / vertical resize filter work memory section, and the horizontal / vertical resize filter section And a SDRAM-B for temporarily storing an output.

A still image input means for inputting a still image signal having a resolution of M columns and N rows; and a horizontal data M column of an output signal from the still image input signal being converted into an arbitrary m (m ≦ M) column A horizontal resize filter section for reducing, an SDRAM-A for temporarily storing an output signal of the horizontal resize filter, and a data output signal temporarily stored in the SDRAM-A for any P columns and R rows (P ≦ m ≦ M, (R ≦ N), a horizontal / vertical resize filter unit for resizing conversion, a horizontal / vertical resize filter work memory unit, and an SDRAM-B for temporarily storing an output of the horizontal / vertical resize filter unit. Image and video signal processing device.

A moving image input means for inputting a moving image signal having a resolution of M columns and N rows, and a horizontal line for reducing the horizontal M columns of output signals from the moving image input unit to arbitrary m (m ≦ M) columns A resize filter unit, an SDRAM-A for temporarily storing an output signal of the horizontal resize filter, and a data output signal temporarily stored in the SDRAM-A for any P columns and R rows (P ≦ m ≦ M, R ≦ N Moving image video signal processing, comprising: a horizontal / vertical resize filter section for resize conversion; a horizontal / vertical resize filter work memory section; and an SDRAM-B for temporarily storing an output of the horizontal / vertical resize filter section. apparatus.

A still image pickup input processing unit that performs signal processing on a still image pickup signal having a resolution of M columns and N rows; and a horizontal data M column of an output signal from the still image pickup input processing unit is set to an arbitrary m (m ≦ M A) a horizontal resize filter section for reducing the number of columns, an SDRAM which divides the output signal of the horizontal resize filter into n areas in a strip shape and temporarily stores the blocks partially, and temporarily stores the blocks in the SDRAM. A color processing unit that reads out data and performs signal processing; a horizontal / vertical resize filter unit that resize-converts an output signal of the color processing unit into an arbitrary P column and R row (P ≦ m ≦ M, R ≦ N); A vertical resize filter work memory unit; and an SDRAM for temporarily storing an output of the horizontal / vertical resize filter unit in a block prior to an empty block in the SDRAM. Still image pickup signal processing apparatus.

A moving image pickup input processing unit for performing signal processing on a moving image pickup signal having a resolution of M columns and N rows; A horizontal resizing filter section for reducing, an SDRAM for dividing an output signal of the horizontal resizing filter into n areas in a strip shape and temporarily storing blocks partially, and color information data temporarily stored in the SDRAMs A color processing unit for reading out and processing the signals, a horizontal / vertical resize filter unit for resizing and converting an output signal of the color processing unit into an arbitrary P column and R row (P ≦ m ≦ M, R ≦ N); A resizing filter work memory unit; and an SDRAM for temporarily storing an output of the horizontal / vertical resizing filter unit preferentially to an empty block in the SDRAM. Video image signal processing apparatus.

A still image input means for inputting a still image signal having a resolution of M columns and N rows, and an output signal from the still image input means for converting the horizontal data M columns into arbitrary m (m ≦ M) columns A horizontal resize filter section for reducing, an SDRAM for dividing the output signal of the horizontal resize filter into n areas in a strip shape and temporarily storing the blocks partially, and reading data temporarily stored in the SDRAM The output of the horizontal / vertical resize filter, the horizontal / vertical resize filter work memory unit, and the output of the horizontal / vertical resize filter unit for performing resize conversion to an arbitrary P column and R row (P ≦ m ≦ M, R ≦ N). A still image video signal processing apparatus, comprising: an SDRAM for temporarily storing data in an SDRAM with priority given to an empty block.

Moving image input means for inputting a moving image signal having a resolution of M columns and N rows; and a horizontal line for reducing horizontal data M columns of an output signal from the moving image input unit to arbitrary m (m ≦ M) columns A resize filter unit, an SDRAM which divides an output signal of the horizontal resize filter into n areas in a strip shape and temporarily stores the blocks partially, and reads out the data temporarily stored in the SDRAM, , A horizontal / vertical resize filter unit for resize conversion to P columns and R rows (P ≦ m ≦ M, R ≦ N), the horizontal / vertical resize filter work memory unit, and the output of the horizontal / vertical resize filter unit in the SDRAM. A moving image video signal processing device, comprising:

12. The still image / video signal processing apparatus according to claim 3, further comprising: a still image output unit that outputs an output signal from the still image / video input unit as it is.

13. The moving picture video signal processing device according to claim 4, further comprising: a moving picture output means for outputting a video signal from the moving picture video input means as it is.