JP2006287715A - Image processing controller and electronic device - Google Patents
Image processing controller and electronic device Download PDFInfo
- Publication number
- JP2006287715A JP2006287715A JP2005106304A JP2005106304A JP2006287715A JP 2006287715 A JP2006287715 A JP 2006287715A JP 2005106304 A JP2005106304 A JP 2005106304A JP 2005106304 A JP2005106304 A JP 2005106304A JP 2006287715 A JP2006287715 A JP 2006287715A
- Authority
- JP
- Japan
- Prior art keywords
- camera
- camera data
- image processing
- host device
- interface
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Withdrawn
Links
Images
Landscapes
- Image Processing (AREA)
- Editing Of Facsimile Originals (AREA)
- Studio Devices (AREA)
Abstract
Description
本発明は、画像処理コントローラ及び電子機器に関する。 The present invention relates to an image processing controller and an electronic apparatus.
近年の携帯電話機は、ＣＣＤやＣＭＯＳなどのカメラ（イメージセンサ、カメラモジュール）を内蔵している。このようにカメラを内蔵すれば、カメラにより撮影した画像を、ＬＣＤなどの表示パネルに表示したり、ファイルとして保存することが可能になる。そしてカメラにより撮影した画像を表示パネルに表示したり、ファイルとして保存するためには、画像サイズを表示パネルサイズに適合させるためのリサイズ処理や、ファイルサイズを小さくするための圧縮処理などの画像処理を、カメラデータに対して施すことが望ましい。 Recent cellular phones have built-in cameras (image sensors, camera modules) such as CCD and CMOS. If the camera is incorporated in this way, an image taken by the camera can be displayed on a display panel such as an LCD or saved as a file. In order to display the image captured by the camera on the display panel or save it as a file, image processing such as resizing processing to adapt the image size to the display panel size or compression processing to reduce the file size Is preferably applied to the camera data.
このようなカメラデータへの画像処理を実現する手法として、カメラとホストデバイス（ＭＰＵ、ベースバンドエンジン）の間に画像処理コントローラを介在させ、この画像処理コントローラによりカメラデータに画像処理を施し、ホストバス（ホストインターフェース）を介してホストデバイスに転送する手法が考えられる。 As a technique for realizing such image processing on camera data, an image processing controller is interposed between the camera and a host device (MPU, baseband engine), and image processing is performed on the camera data by the image processing controller. A method of transferring data to a host device via a bus (host interface) is conceivable.
しかしながらこの手法では、ホストデバイスがホストバスを介してカメラデータをリードする処理が必要になり、このリード処理によりホストバスが占有されてしまう。このため、ホストバスを使用する他の処理が阻害されてしまい、ホストデバイスによるプログラム実行などの処理速度が低下する。またカメラからのカメラデータの入力速度が、ホストデバイスによるカメラデータのリード速度よりも速い場合には、画像処理コントローラ内に設けられるＦＩＦＯにオーバーフローが生じ、データが紛失してしまうおそれもある。
本発明は、以上のような技術的課題に鑑みてなされたものであり、その目的とするところは、カメラからのカメラデータを効率良くホストデバイスに転送できる画像処理コントローラ及びこれを含む電子機器を提供することにある。 The present invention has been made in view of the above technical problems, and an object of the present invention is to provide an image processing controller capable of efficiently transferring camera data from a camera to a host device and an electronic apparatus including the image processing controller. It is to provide.
本発明は、カメラデータが入力されるカメラ入力インターフェースと、カメラデータに対して画像処理を行う画像処理部と、画像処理が行われたカメラデータを記憶するメモリと、ホストデバイスとの間のホストインターフェース処理を行うホストインターフェースと、前記メモリに記憶されたカメラデータを、前記ホストデバイスのホスト側カメラ入力インターフェースに出力するカメラ出力インターフェースとを含む画像処理コントローラに関係する。 The present invention provides a camera input interface to which camera data is input, an image processing unit that performs image processing on the camera data, a memory that stores camera data that has undergone image processing, and a host between a host device The present invention relates to an image processing controller including a host interface that performs interface processing and a camera output interface that outputs camera data stored in the memory to a host-side camera input interface of the host device.
本発明によれば、カメラ入力インターフェースにカメラデータが入力されると、カメラデータに画像処理が行われてメモリに記憶される。そしてメモリに記憶されたカメラデータは、カメラ出力インターフェースを介してホストデバイスのホスト側カメラ入力インターフェースに出力される。またホストデバイスとの間では、ホストインターフェースを介してホストインターフェース処理が行われる。このようにすれば、カメラ入力インターフェースに入力されたカメラデータに画像処理を施して、ホストデバイスに転送することが可能になり、ホストデバイスの処理負荷を軽減できる。またカメラデータをホストインターフェースのホストバスを利用して転送しなくても済むため、カメラデータの転送のためにホストバスが占有されてしまう事態を防止でき、ホストデバイスの処理の効率化等を図れる。 According to the present invention, when camera data is input to the camera input interface, image processing is performed on the camera data and stored in the memory. The camera data stored in the memory is output to the host-side camera input interface of the host device via the camera output interface. Host interface processing is performed with the host device via the host interface. This makes it possible to perform image processing on the camera data input to the camera input interface and transfer it to the host device, thereby reducing the processing load on the host device. In addition, since it is not necessary to transfer the camera data using the host bus of the host interface, the situation where the host bus is occupied for the transfer of the camera data can be prevented, and the processing efficiency of the host device can be improved. .
また本発明では、前記画像処理部は、カメラデータに対してリサイズ処理を行うリサイザを含み、前記カメラ出力インターフェースは、前記カメラ入力インターフェースを介して入力される垂直同期信号、水平同期信号のエミュレーション処理を行い、前記エミュレーション処理においては、前記リサイズ処理のリサイズ倍率に応じた長さに垂直表示期間、水平表示期間の長さが設定されるエミュレーション垂直同期信号、エミュレーション水平同期信号を生成して、前記ホストデバイスの前記ホスト側カメラ入力インターフェースに出力するようにしてもよい。 In the present invention, the image processing unit includes a resizer that performs a resizing process on camera data, and the camera output interface emulates a vertical synchronization signal and a horizontal synchronization signal input via the camera input interface. In the emulation process, generate a vertical display period, an emulation vertical synchronization signal in which the length of the horizontal display period is set to a length corresponding to the resizing magnification of the resizing process, and an emulation horizontal synchronization signal, You may make it output to the said host side camera input interface of a host device.
このようにすれば、リサイズ倍率に応じた適正なエミュレーション垂直同期信号、エミュレーション水平同期信号をホストデバイスに出力できるようになり、ホストデバイスの処理の簡素化等を図れる。 This makes it possible to output an appropriate emulation vertical synchronization signal and emulation horizontal synchronization signal corresponding to the resizing magnification to the host device, thereby simplifying the processing of the host device and the like.
また本発明では、前記ホストデバイスは、表示パネルを駆動する表示ドライバとの間のインターフェース処理を行う表示ドライバインターフェースを含み、前記画像処理部は、カメラデータを前記表示パネルに表示するためのリサイズ処理を行う表示用リサイザを含み、前記カメラ出力インターフェースは、前記表示用リサイザによりリサイズ処理が行われたカメラデータを、前記ホスト側カメラ入力インターフェースに出力するようにしてもよい。 In the present invention, the host device includes a display driver interface that performs an interface process with a display driver that drives a display panel, and the image processing unit performs a resizing process for displaying camera data on the display panel. The camera output interface may output the camera data that has been resized by the display resizer to the host-side camera input interface.
このようにすれば、表示パネルのパネルサイズに応じたサイズにリサイズされたカメラデータを、カメラ出力インターフェースを介してホストデバイスに出力することが可能になる。 In this way, it becomes possible to output the camera data resized to the size corresponding to the panel size of the display panel to the host device via the camera output interface.
また本発明では、前記画像処理部は、カメラデータをファイルとして保存するためのリサイズ処理を行うキャプチャ用リサイザを含み、前記ホストインターフェースは、前記キャプチャ用リサイザによりリサイズ処理が行われたカメラデータを、前記ホストデバイスに出力するようにしてもよい。 In the present invention, the image processing unit includes a capture resizer that performs a resizing process for storing camera data as a file, and the host interface stores the camera data that has been resized by the capture resizer, You may make it output to the said host device.
このようにすれば、ファイルの保存サイズに応じたサイズにリサイズされたカメラデータを、ホストインターフェースを介してホストデバイスに出力することが可能になる。 In this way, it is possible to output the camera data resized to the size corresponding to the file storage size to the host device via the host interface.
また本発明では、前記カメラ入力インターフェースに入力されたカメラデータを、前記画像処理部及び前記メモリを介さずに前記カメラ出力インターフェースに出力するバイパス回路を含むようにしてもよい。 Further, the present invention may include a bypass circuit that outputs the camera data input to the camera input interface to the camera output interface without passing through the image processing unit and the memory.
このようにすれば、カメラ入力インターフェースに入力されたカメラデータを、画像処理を施さずに、そのままホストデバイスにバイパス転送できるようになり、利便性を向上できる。 In this way, the camera data input to the camera input interface can be bypass-transferred to the host device without performing image processing, and convenience can be improved.
また本発明では、前記画像処理部は、カメラデータに対して圧縮処理を行うコーデックを含み、前記カメラ出力インターフェースは、前記コーデックにより圧縮処理が行われた圧縮カメラデータを、前記ホストデバイスの前記ホスト側カメラ入力インターフェースに出力するようにしてもよい。 In the present invention, the image processing unit includes a codec that performs compression processing on camera data, and the camera output interface transmits compressed camera data that has been compressed by the codec to the host of the host device. You may make it output to a side camera input interface.
このようにすれば、圧縮カメラデータの転送によりホストバスが占有されてホストデバイスの処理が非効率化する事態を防止できる。 In this way, it is possible to prevent a situation in which the host bus is occupied due to the transfer of compressed camera data and the processing of the host device becomes inefficient.
また本発明では、前記画像処理部は、カメラデータに対して静止画圧縮処理を静止画コーデックと、カメラデータに対して動画圧縮処理を行う動画コーデックとを含み、前記カメラ出力インターフェースは、前記静止画コーデックにより静止画圧縮処理が行われた静止画圧縮カメラデータを、前記ホストデバイスの前記ホスト側カメラ入力インターフェースに出力し、前記ホストインターフェースは、前記動画コーデックにより動画圧縮処理が行われた動画圧縮カメラデータを、前記ホストデバイスに出力するようにしてもよい。 In the present invention, the image processing unit includes a still image codec that performs still image compression processing on camera data, and a moving image codec that performs moving image compression processing on camera data, and the camera output interface includes the still image codec Still image compression camera data subjected to still image compression processing by an image codec is output to the host-side camera input interface of the host device, and the host interface performs moving image compression processing performed by the moving image codec. Camera data may be output to the host device.
このようにすれば、カメラデータの利用態様に応じた最適な転送経路でカメラデータをホストデバイスに転送することが可能になり、転送効率を最適化できる。 In this way, it becomes possible to transfer the camera data to the host device through an optimal transfer path according to the usage mode of the camera data, and the transfer efficiency can be optimized.
また本発明では、前記画像処理部は、カメラデータに対して回転処理及びミラー処理の少なくとも一方を行う変換部と、カメラデータに対して静止画圧縮処理を静止画コーデックと、カメラデータに対して動画圧縮処理を行う動画コーデックとを含み、動画カメラデータについては、前記変換部により前記回転処理及び前記ミラー処理の少なくとも一方が行われた後に前記メモリに書き込まれ、前記動画コーデックにより動画圧縮処理が行われて前記ホストデバイスに出力され、静止画カメラデータについては、前記変換部による前記回転処理、前記ミラー処理が行われずに前記メモリに書き込まれ、前記静止画コーデックにより静止画圧縮処理が行われて前記ホストデバイスに出力されるようにしてもよい。 In the present invention, the image processing unit includes: a conversion unit that performs at least one of rotation processing and mirror processing on camera data; still image compression processing on camera data; still image codec; and camera data A moving image codec that performs moving image compression processing, and the moving image camera data is written into the memory after at least one of the rotation processing and the mirror processing is performed by the converting unit, and the moving image compression processing is performed by the moving image codec. The still image camera data is written to the memory without being subjected to the rotation processing and the mirror processing by the conversion unit, and the still image codec is subjected to still image compression processing. May be output to the host device.
このようにすれば、例えばカメラの実装形態等が原因で撮影イメージと表示イメージが一致しない場合等であっても、これらが一致するように、動画カメラデータに対して回転処理やミラー処理を施すことが可能になる。 By doing this, for example, even if the captured image and the display image do not match due to the mounting form of the camera or the like, the moving image camera data is rotated or mirrored so that they match. It becomes possible.
また本発明では、オート転送モードでは、前記カメラ入力インターフェースにカメラデータが入力されたことを条件に、前記画像処理部、前記メモリ、前記カメラ出力インターフェースを介してカメラデータを前記ホストデバイスに自動転送するようにしてもよい。 In the present invention, in the automatic transfer mode, camera data is automatically transferred to the host device via the image processing unit, the memory, and the camera output interface on condition that camera data is input to the camera input interface. You may make it do.
このようにすれば、ホストデバイスへのカメラデータの転送を更に効率化できる。 In this way, the transfer of camera data to the host device can be made more efficient.
また本発明では、前記オート転送モードでは、前記カメラ入力インターフェースに入力される垂直同期信号が非アクティブになったことを条件に、前記画像処理部、前記メモリ、前記カメラ出力インターフェースを介してカメラデータを前記ホストデバイスに自動転送するようにしてもよい。 In the present invention, in the auto transfer mode, camera data is transmitted via the image processing unit, the memory, and the camera output interface on the condition that a vertical synchronization signal input to the camera input interface becomes inactive. May be automatically transferred to the host device.
また本発明では、シングル転送モードでは、前記ホストデバイスから指示があったことを条件に、前記メモリに記憶された１画面分のカメラデータを前記カメラ出力インターフェースを介して前記ホストデバイスに転送するようにしてもよい。 In the present invention, in the single transfer mode, the camera data for one screen stored in the memory is transferred to the host device via the camera output interface on condition that there is an instruction from the host device. It may be.
また本発明は、上記のいずれかの画像処理コントローラと、前記画像処理コントローラにカメラデータを出力するカメラと、前記ホストデバイスとを含む電子機器に関係する。 The present invention also relates to an electronic apparatus including any one of the image processing controllers described above, a camera that outputs camera data to the image processing controller, and the host device.
以下、本発明の実施形態について詳細に説明する。なお、以下に説明する本実施形態は、特許請求の範囲に記載された本発明の内容を不当に限定するものではない。また本実施形態で説明される構成の全てが本発明の解決手段として必須であるとは限らない。 Hereinafter, embodiments of the present invention will be described in detail. In addition, this embodiment demonstrated below does not unduly limit the content of this invention described in the claim. Further, not all of the configurations described in the present embodiment are essential as a solution means of the present invention.
１．電子機器
図１に、本実施形態の画像処理コントローラ３０を含む電子機器の一例を示す。なお電子機器は図１に示されるもの以外の構成要素（例えば操作部又は電源回路等）を含んでもよい。また本実施形態の電子機器は携帯電話機には限定されず、携帯型情報端末、携帯型オーディオ機器などであってもよい。
1. Electronic Device FIG. 1 shows an example of an electronic device including the
図１においてホストデバイス１０は、例えばＭＰＵ（Micro Processor Unit）、ベースバンドエンジン（ベースバンドプロセッサ）などである。このホストデバイス１０（ホストプロセッサ）は表示ドライバインターフェースを有し、表示パネル２４を駆動する表示ドライバ２２（ＬＣＤ）を制御する。またホストデバイス１０はホスト側カメラ入力インターフェースを有し、カメラからのカメラデータを入力することができる。またホストデバイス１０は、アプリケーションエンジンやベースバンドエンジンとしての処理や、グラフィックエンジンとしての処理を行うこともできる。
In FIG. 1, the
なおホストデバイス１０と表示ドライバ２２の間は、高速シリアルインターフェースにより接続することができる。この高速シリアルインターフェースでは、小振幅の差動信号（ＬＶＤＳ）を用いてデータやストローブ（クロック）が転送される。
The
カメラ２０（カメラモジュール）は、ＣＣＤやＣＭＯＳなどのイメージセンサにより構成される。このカメラ２０は、イメージセンサの他に、カメラデータを出力するカメラ出力インターフェースや、イメージセンサを駆動する駆動回路などを含むことができる。
The camera 20 (camera module) is configured by an image sensor such as a CCD or a CMOS. In addition to the image sensor, the
表示パネル２４は、複数のデータ線（信号線）と、複数の走査線と、データ線及び走査線により特定される複数の画素を有する。そして各画素領域における電気光学素子（狭義には、液晶素子）の光学特性を変化させることで、表示動作を実現する。この表示パネル２４としては、例えば薄膜トランジスタ（Thin Film Transistor：ＴＦＴ）や薄膜ダイオード（Thin Film Diode：ＴＦＤ）などのスイッチング素子（２端子型非線形素子）を用いたアクティブマトリクス方式のパネルを採用できる。或いは表示パネル２４として、単純マトリクス方式のパネルを採用したり、液晶パネル以外のパネル（例えば有機ＥＬパネル）を採用してもよい。
The
表示ドライバ２２は表示パネル２４のデータ線（ソース線、セグメント線）や走査線（ゲート線、コモン線）を駆動する。具体的には表示ドライバ２２は、ホストデバイス１０から受けたコマンドやパラメータ（広義にはデータ）に基づいて、表示パネル２４の駆動条件（表示特性制御パラメータ）等を設定する。例えば表示データのフォーマット形式、表示ライン数、表示範囲、表示データの書き込み開始位置又は駆動方法などを設定する。そして表示ドライバ２２は、ホストデバイス１０から受けた表示データに基づいて、設定された駆動条件に従って表示パネル２４のデータ線等を駆動する。
The
なお図１では画像処理コントローラ３０には、表示ドライバインターフェース（ＬＣＤインターフェース）が設けられていないが、これを設けるようにしてもよい。この場合には、例えばホストデバイス１０の表示ドライバインターフェースに接続されたメイン用表示ドライバにより、メイン表示パネルを駆動する。そして画像処理コントローラ３０の表示ドライバインターフェースに接続されたサブ用表示ドライバにより、サブ表示パネルを駆動する。或いは逆に、ホストデバイス１０側でサブ表示パネルを駆動し、画像処理コントローラ３０側でメイン表示パネルを駆動するようにしてもよい。
In FIG. 1, the
画像処理コントローラ３０は、カメラ２０から入力されたカメラデータに対する画像処理を行う。この画像処理としては、カメラデータの画像サイズを表示パネル２４のパネルサイズ（画面サイズ）に適合させるリサイズ処理や、カメラデータのフォーマットを変換する処理などがある。そして画像処理コントローラ３０は画像処理後のカメラデータを、カメラバス（カメラインターフェース）を介してホストデバイス１０に出力する。そして画像処理コントローラ３０からのカメラデータは、例えばＤＭＡ転送などを利用して、メインメモリ２６等を介して表示ドライバ２２に転送される。そしてホストデバイス１０は、表示ドライバ２２を制御して、カメラ２０で撮影された画像を表示パネル２４に表示させる。
The
また画像処理コントローラ３０はホストバス（ホストインターフェース）を介してホストデバイス１０に接続される。このホストバスには、例えば音声処理デバイス、操作インターフェースデバイスなどのその他のデバイス２８が接続される。画像処理コントローラ３０は、カメラデータの圧縮処理などの画像処理を行う。そしてカメラデータを圧縮することで得られたＪＰＥＧカメラデータ（広義には静止画圧縮カメラデータ）やＭＰＥＧカメラデータ（広義には動画圧縮カメラデータ）は、ホストバスを介してホストデバイス１０に出力される。するとホストデバイス１０は、このＪＰＥＧカメラデータやＭＰＥＧカメラデータを、ホストデバイス１０に直結されたメモリバス（メモリインターフェース）を介してメインメモリ２６に出力し、ファイルとして保存する。
The
図２に本実施形態の比較例を示す。この比較例では、カメラ２０から入力されたカメラデータは、画像処理コントローラ３１により画像処理が施されて、ホストバス（ホストインターフェース）に出力される。そしてホストデバイス１１は、このカメラデータをホストバスを介してメインメモリ２６に保存する。またホストデバイス１１は、画像処理コントローラ３１からのカメラデータに応じた表示データを表示ドライバ２２に出力する。そして表示ドライバ２２を制御して、カメラ２０で撮影された画像を表示パネル２４に表示させる。
FIG. 2 shows a comparative example of this embodiment. In this comparative example, camera data input from the
しかしながらこの図２の比較例の手法では、画像処理コントローラ３１からのカメラデータを、ホストバスを介してホストデバイス１１がリードする処理が必要になり、このリード処理によりホストバスが占有されてしまう。このため、その他のデバイス２８がホストバスを介して行う処理などが阻害されてしまい、ホストデバイス１１で実行されるソフトウェア処理の非効率化などの問題を招く。
However, in the method of the comparative example of FIG. 2, the
これに対して図１の本実施形態では、ホストデバイス１０が有するホスト側カメラ入力インターフェースを有効利用してカメラデータを転送している。即ち画像処理後のカメラデータは、高速なカメラバス（カメラインターフェース）を介して画像処理コントローラ３０からホストデバイス１０に転送され、表示パネル２４に表示される。従って、表示用のカメラデータの転送のためにホストバスが占有されないため、その他のデバイス２８が行う処理が阻害されてしまう事態を防止でき、ホストデバイス１０の処理の効率化を図れる。
On the other hand, in the present embodiment shown in FIG. 1, camera data is transferred by effectively using the host-side camera input interface of the
また本実施形態では画像処理コントローラ３０が、同期信号（垂直同期信号、水平同期信号）やカメラデータ信号などのカメラインターフェース信号のエミュレーション処理を行う。即ちカメラ２０から出力されるカメラインターフェース信号に対応したエミュレーション・カメラインターフェース信号を、画像処理コントローラ３０が生成して、ホストデバイス１０に出力する。従って、あたかもホスト側のカメラ入力インターフェースにカメラ２０が直結されているかのように、ホストデバイス１０に認識させることが可能になる。従って、ホスト側のカメラ入力インターフェースにカメラ２０を直結した場合と同様の処理で、カメラデータを表示パネル２４に表示させることが可能になる。この結果、ホストデバイス１０で実行されるソフトウェアの設計の容易化や処理負荷の低減等を図れる。
In this embodiment, the
２．構成例
図３に本実施形態の画像処理コントローラ３０の構成例を示す。この画像処理コントローラ３０はカメラ入力インターフェース４０、画像処理部５０、メモリ６０、カメラ出力インターフェース７０、ホストインターフェース８０、レジスタ部９０を含む。なお画像処理コントローラ３０は図３の構成に限定されず、図３の回路ブロックの一部を省略したり、回路ブロック間の接続形態を変更したり、図３とは異なる回路ブロックを追加してもよい。
2. Configuration Example FIG. 3 shows a configuration example of the
カメラ入力インターフェース４０は、カメラ２０（イメージデバイス、撮像デバイス）からのカメラデータを入力するためのインターフェース（回路）である。具体的にはカメラ２０からカメラインターフェース信号を受け、カメラデータを画像処理部５０等に出力する。このカメラインターフェース信号は、垂直同期信号ＣＭＶＲＥＦ、水平同期信号ＣＭＨＲＥＦ、カメラデータ信号ＣＭＤＡＴ、クロック信号ＣＭＣＬＫＩＮなどを含むことができる。ここで信号ＣＭＶＲＥＦ、ＣＭＨＲＥＦは、各々、垂直表示期間、水平表示期間を設定するための信号である。また信号ＣＭＤＡＴは、例えば８ビット（或いは６〜２４ビット）のカメラデータを伝達するための信号である。また信号ＣＭＣＬＫＩＮは、信号ＣＭＤＡＴの取り込み用（サンプリング用）のクロック信号である。この信号ＣＭＣＬＫＩＮは、例えばカメラ入力インターフェース４０からのマスタークロック信号ＭＣＬＫに基づき生成できる。
The
画像処理部５０はカメラデータに対して種々の画像処理を行うものである。ここで画像処理部５０で行われる画像処理としては、リサイズ処理、圧縮処理又は変換処理などがある。
The
例えばリサイズ処理には、カメラデータを表示パネル２４に表示するための表示用リサイズ処理と、カメラデータをファイルとして保存するためのキャプチャ用リサイズ処理がある。例えばカメラデータのサイズが１６００×１２００（水平方向の画素数が１６００、垂直方向の画素数が１２００）であり、表示パネル２４のサイズが６４０×４８０（ＶＧＡ）や３２０×２４０（ＱＶＧＡ）である場合には、表示用リサイズ処理によりカメラデータをリサイズ（縮小）する。またメモリの節約のためにカメラ画像を縮小して保存する場合には、キャプチャ用リサイズ処理によりカメラデータをリサイズする。
For example, the resizing process includes a display resizing process for displaying camera data on the
また圧縮処理としては、ＪＰＥＧ（広義には静止画圧縮）、ＭＰＥＧ（広義には動画圧縮）などがある。また変換処理としては、ＹＵＶ−ＹＵＶ変換（例えばＹＵＶ４２２からＹＵＶ４２０への変換）、ＹＵＶ−ＲＧＢ変換、ガンマ補正、回転処理、或いはミラー（鏡像）処理などがある。 Examples of compression processing include JPEG (still image compression in a broad sense) and MPEG (moving image compression in a broad sense). The conversion processing includes YUV-YUV conversion (for example, conversion from YUV422 to YUV420), YUV-RGB conversion, gamma correction, rotation processing, or mirror (mirror image) processing.
メモリ６０（バッファ、ＦＩＦＯ）はカメラデータを一時的に記憶するものであり、例えばＳＲＡＭなどにより構成できる。具体的にはメモリ６０は、画像処理が行われたカメラデータを記憶する。例えば画像処理部５０は、カメラ入力インターフェース４０を介して入力されたカメラデータに画像処理を施し、画像処理後のカメラデータをメモリ６０に書き込む。或いは画像処理部５０は、メモリ６０に記憶されたカメラデータを読み出し、画像処理を施して再度メモリ６０に書き込む。
The memory 60 (buffer, FIFO) temporarily stores camera data, and can be configured by, for example, SRAM. Specifically, the
カメラ出力インターフェース７０は、メモリ６０（ＦＩＦＯ）に記憶されたカメラデータを、ホストデバイス１０のホスト側カメラ入力インターフェース１２に出力する。具体的にはカメラ出力インターフェース７０は、カメラ入力インターフェース４０を介して入力される垂直同期信号ＣＭＶＲＥＦ、水平同期信号ＣＭＨＲＥＦなどのエミュレーション処理を行い、エミュレーション・カメラインターフェース信号を生成する。このエミュレーション・カメラインターフェース信号の生成は、レジスタ部９０のタイミング設定レジスタ９２に設定されたタイミング情報（垂直表示期間設定信号、水平表示期間設定信号）に基づいて、エミュレーション信号ジェネレータ７２が行う。
The
例えばこのエミュレーション処理においては、カメラ出力インターフェース７０が、画像処理部５０でのリサイズ処理（表示用リサイズ処理）のリサイズ倍率に応じた長さに垂直表示期間（垂直アクティブ期間）、水平表示期間（水平アクティブ期間）の長さが設定されるエミュレーション垂直同期信号ＥＣＭＶＲＥＦ、エミュレーション水平同期信号ＥＣＭＨＲＥＦを生成する。そして生成された信号ＥＣＭＶＲＥＦ、ＥＣＭＨＲＥＦをカメラバスを介してホスト側カメラ入力インターフェース１２（ホストデバイス１０）に出力する。またカメラ出力インターフェース７０は、カメラデータ信号ＣＭＤＡＴに対応したエミュレーションカメラデータ信号ＥＣＭＤＡＴや、ＥＣＭＤＡＴの取り込み用（サンプリング用）のクロック信号ＥＣＭＣＬＫＯＵＴを、ホスト側カメラ入力インターフェース１２に出力する。するとホストデバイス１０の表示ドライバインターフェース１４は、ＥＣＭＤＡＴに対応する表示データを表示ドライバ２２に出力する。これにより、カメラ２０により撮影された画像が表示パネル２４に表示されるようになる。
For example, in this emulation process, the
またカメラ出力インターフェース７０は、カメラデータを表示パネル２４に表示するための表示用（プレビュー用）リサイズ処理が画像処理部５０により行われた場合には、表示用リサイズ処理が行われたカメラデータを、ホスト側カメラ入力インターフェース１２に出力する。このようにすれば、ホストデバイス１０の表示ドライバインターフェース１４は、表示パネル２４のパネルサイズに適合したカメラデータを、表示データとして表示ドライバ２２に出力できるようになる。
When the
またカメラデータをファイルとして保存するためのキャプチャ用リサイズ処理が行われた場合には、このキャプチャ用リサイズ処理が行われたカメラデータについては、例えばホストインターフェース８０がホストデバイス１０に出力する。
Further, when the capture resizing process for saving the camera data as a file is performed, for example, the
なお、キャプチャ用リサイズ処理が行われたカメラデータを、カメラ出力インターフェース７０が出力するようにしてもよい。また画像処理部５０によりカメラデータの圧縮処理が行われた場合に、カメラ出力インターフェース７０が、圧縮カメラデータをホスト側カメラ入力インターフェース１２に出力することも可能である。
The
ホストインターフェース８０は、ホストデバイス１０との間のホストインターフェース処理を行うものである。具体的にはホストデバイス１０との間でホストインターフェース信号のやり取りを行う。
The
このホストインターフェース信号としては、チップセレクト信号ＣＳ、メモリアクセス／ＦＩＦＯアクセス識別信号Ｍ／Ｒ、アドレス信号Ａ［１９：０］、データ信号Ｄ［１５：０］、リード信号ＲＤ、ライト信号ＷＲ、ウェイト信号ＷＡＩＴなどがある。またシリアル転送用のチップセレクト信号ＳＣＳ、シリアルクロック信号ＳＣＫ、シリアル転送用のアドレス０信号Ａ０、シリアルデータ信号ＳＩなどを含むこともできる。
As the host interface signals, a chip select signal CS, a memory access / FIFO access identification signal M / R, an address signal A [19: 0], a data signal D [15: 0], a read signal RD, a write signal WR, a wait There is a signal WAIT and the like. It may also include a chip select signal SCS for serial transfer, a serial clock signal SCK, an
なお図４にホストインターフェース信号のタイミングチャート例を示す。図４はタイプ８０のホストインターフェース信号の例である。但し本実施形態のホストインターフェースは図４に限定されず、タイプ６８やシリアル転送のホストインターフェースであってもよい。
FIG. 4 shows a timing chart example of the host interface signal. FIG. 4 is an example of a
レジスタ部９０は制御レジスタやステータスレジスタなどを含むものである。具体的にはレジスタ部９０はタイミング設定レジスタ９２、転送制御レジスタ９４、リサイズ倍率設定レジスタ９６、回転角度設定レジスタ９７、ミラー表示レジスタ９８を含む。
The
ここでタイミング設定レジスタ９２には、エミュレーション・カメラインターフェース信号を生成するためのタイミング情報が記憶される。具体的にはエミュレーション垂直同期信号やエミュレーション水平同期信号のタイミング（アクティブ期間）を設定するためのタイミング情報が記憶される。
Here, the
転送制御レジスタ９４はカメラデータの転送制御のためのレジスタである。具体的には本実施形態では、ホストデバイス１０から指示があったことを条件に、メモリ６０に記憶された１画面分のカメラデータ（又は表示データ）をカメラ出力インターフェース７０を介してホストデバイス１０に転送するシングル転送モードが用意される。またカメラ入力インターフェース４０にカメラデータが入力されたことを条件（垂直同期信号が非アクティブになったことを条件）に、画像処理部５０、メモリ６０、カメラ出力インターフェース７０を介してカメラデータをホストデバイス１０に自動転送するオート転送モードが用意される。そしてこれらのシングル転送モードやオート転送モードは、ホストデバイス１０がホストインターフェース８０を介して転送制御レジスタ９４に設定を行うことで実現される。例えばシングル転送モードを行う場合には、転送制御レジスタ９４のシングル転送指示ビットにホストデバイス１０が情報を設定する。またオート転送モードを行う場合には、転送制御レジスタ９４のオート転送イネーブルビットにホストデバイス１０が情報を設定する。
The transfer control register 94 is a register for camera data transfer control. Specifically, in the present embodiment, on the condition that there is an instruction from the
リサイズ倍率設定レジスタ９６は、画像処理部５０で行われるリサイズ処理のリサイズ倍率が設定されるレジスタである。具体的にはホストデバイス１０はホストインターフェース８０を介して、リサイズ倍率設定レジスタ９６に表示用リサイズ処理やキャプチャ用リサイズ処理のリサイズ倍率を設定する。すると画像処理部５０は、このリサイズ倍率に基づいて、入力されたカメラデータに対してリサイズ処理を行う。
The resizing
回転角度設定レジスタ９７は、画像処理部５０で行われる回転処理の回転角度が設定されるレジスタである。またミラー表示レジスタ９８は、画像処理部５０で行われるミラー処理の指示（イネーブル、ディスエーブル）が設定されるレジスタである。具体的にはホストデバイス１０はホストインターフェース８０を介して、回転角度設定レジスタ９７に回転処理の回転角度（０度、９０度、１８０度、２７０度）を設定する。すると画像処理部５０は、処理対象画像（カメラ画像）をその中心点を中心として、設定された回転角度だけ回転させた画像を生成するための処理を行う。またホストデバイス１０はホストインターフェース８０を介して、ミラー表示レジスタ９８にミラー処理の指示を設定する。すると画像処理部５０は、処理対象画像の鏡像であるミラー表示画像を生成するための処理を行う。
The rotation
３．エミュレーション処理
本実施形態ではカメラ出力インターフェース７０が、カメラ２０から入力されたカメラインターフェース信号のエミュレーション処理を行っている。例えば図５（Ａ）（Ｂ）にエミュレーション・カメラインターフェース信号のタイミングチャート例を示す。
3. Emulation Processing In this embodiment, the
図５（Ａ）においてＴ１は垂直表示期間であり、Ｔ２は垂直ブランク期間である。またＴ３は水平表示期間であり、Ｔ４は水平ブランク期間である。別の言い方をすれば、Ｔ１は、エミュレーション垂直同期信号ＥＣＭＶＲＥＦがアクティブになる期間であり、Ｔ２は、ＥＣＭＶＲＥＦが非アクティブになる期間である。またＴ３は、エミュレーション水平同期信号ＥＣＭＨＲＥＦがアクティブになる期間であり、Ｔ４は、ＥＣＭＨＲＥＦが非アクティブになる期間である。このように図５（Ａ）では、ＥＣＭＶＲＥＦ、ＥＣＭＨＲＥＦにより、垂直表示期間Ｔ１、垂直ブランク期間Ｔ２、水平表示期間Ｔ３、水平ブランク期間Ｔ４の長さが設定されている。 In FIG. 5A, T1 is a vertical display period, and T2 is a vertical blank period. T3 is a horizontal display period, and T4 is a horizontal blank period. In other words, T1 is a period during which the emulation vertical synchronization signal ECMVREF is active, and T2 is a period during which ECMVREF is inactive. T3 is a period during which the emulation horizontal synchronization signal ECMHREF is active, and T4 is a period during which ECMHREF is inactive. In this way, in FIG. 5A, the lengths of the vertical display period T1, the vertical blank period T2, the horizontal display period T3, and the horizontal blank period T4 are set by ECMVREF and ECMHREF.
カメラデータ信号ＥＣＭＤＡＴ［７：０］は、ＥＣＭＶＲＥＦがアクティブ（例えばハイレベル）であり且つＥＣＭＨＲＥＦがアクティブである期間に、有効なデータとしてホストデバイス１０に出力される。即ちＥＣＭＤＡＴは垂直表示期間であり且つ水平表示期間である場合に、有効なデータとしてホストデバイス１０に出力される。このＥＣＭＤＡＴを受けたホストデバイス１０は、図５（Ｂ）に示すように、クロック信号ＥＣＭＣＬＫＯＵＴのエッジ（例えば立ち上がりエッジ）でＥＣＭＤＡＴをサンプリングすることで、ＥＣＭＤＡＴを取り込むことができる。
The camera data signal ECMDAT [7: 0] is output to the
そして本実施形態では、画像処理部５０でのリサイズ処理のリサイズ倍率（縮小率）に応じた長さに垂直表示期間Ｔ１、水平表示期間Ｔ３の長さが設定されるように、エミュレーション垂直同期信号ＥＣＭＶＲＥＦ、エミュレーション水平同期信号ＥＣＭＨＲＥＦを生成している。
In this embodiment, the emulation vertical synchronization signal is set so that the lengths of the vertical display period T1 and the horizontal display period T3 are set to lengths corresponding to the resizing magnification (reduction ratio) of the resizing process in the
例えば図６（Ａ）は表示パネル２４に表示される画像のサイズがＶＧＡ（６４０×４８０）である場合のＥＣＭＶＲＥＦ、ＥＣＭＨＲＥＦの波形例であり、図６（Ｂ）は画像サイズがＱＶＧＡ（３２０×２４０）である場合の波形例である。図６（Ａ）のＶＧＡの場合のリサイズ倍率を１／Ｎとすると、図６（Ｂ）のＱＶＧＡの時のリサイズ倍率は１／４Ｎになる。そしてリサイズ倍率が１／Ｎである図６（Ａ）では、期間Ｔ１の長さ（水平方向の画素数）は６４０になり、期間Ｔ３の長さ（垂直方向の画素数）は４８０になる。一方、リサイズ倍率が１／４Ｎである図６（Ｂ）では、期間Ｔ１の長さは３２０になり、期間Ｔ３の長さは２４０になる。即ちリサイズ倍率が小さくなるほど、垂直表示期間Ｔ１、水平表示期間Ｔ３の長さ（垂直同期信号、水平同期信号のアクティブ期間）が短くなるように、信号ＥＣＭＶＲＥＦ、ＥＣＭＨＲＥＦが生成される。
For example, FIG. 6A is a waveform example of ECMVREF and ECMHREF when the image size displayed on the
このようにすれば、リサイズ倍率に応じた適正な波形のエミュレーション垂直同期信号ＥＣＭＶＲＥＦ、エミュレーション水平同期信号ＥＣＭＨＲＥＦを、ホストデバイス１０に出力できるようになる。そしてホストデバイス１０は、信号ＥＣＭＶＲＥＦ、ＥＣＭＨＲＥＦに基づいてカメラデータの各画素データの表示位置を設定して、表示ドライバ２２をカメラデータを転送するだけで済むため、ホストデバイス１０の処理負荷の軽減化や処理の簡素化を図れる。
In this way, it is possible to output the emulation vertical synchronization signal ECMVREF and the emulation horizontal synchronization signal ECMHREF having appropriate waveforms corresponding to the resizing magnification to the
なお期間Ｔ１〜Ｔ４の設定は、ホストデバイス１０がホストインターフェース８０を介して図３のタイミング設定レジスタ９２に期間Ｔ１〜Ｔ４の情報を書き込むことにより実現できる。
The setting of the periods T1 to T4 can be realized by the
４．詳細な構成例
図７に本実施形態の画像処理コントローラ３０の詳細な構成例を示す。なお図７の構成要素の一部を省略した構成にしてもよい。
4). Detailed Configuration Example FIG. 7 shows a detailed configuration example of the
図７の表示用リサイザ１０２、キャプチャ用リサイザ１１２、変換部１１４、１２４、ＪＰＥＧコーデック１１８、ＭＰＥＧコーデック１２８は、図３の画像処理部５０に含ませることができる。また表示用バッファ１０６、ＪＰＥＧラインバッファ１１６、ＭＰＥＧエンコード・デコードバッファ１２６、表示用ＦＩＦＯ１１０、ＪＰＥＧＦＩＦＯ１２０、ＭＰＥＧＦＩＦＯ１３０は、図３のメモリ６０に含ませることができる。
The
例えばカメラ２０の撮影画像をプレビュー画像として表示パネル２４に表示する場合には、次のようにしてカメラデータがホストデバイス１０に転送される。即ちカメラ入力インターフェース４０に入力されたカメラデータは、デマルチプレクサ１００を介して表示用リサイザ１０２に入力される。そして表示用リサイザ１０２は、カメラデータを表示パネルに表示するための表示用リサイズ処理を行う。そして表示用リサイズ処理が行われたカメラデータは、表示用バッファ１０６に書き込まれる。この表示用バッファ１０６は、例えば少なくとも１画面分のカメラデータ（表示データ）を記憶することができるフレームメモリとして機能する。表示用バッファ１０６に書き込まれたカメラデータは表示用バッファ１０６から読み出され、表示用ＦＩＦＯ（FirstInFirstOut）１１０に蓄積されて、カメラ出力インターフェース７０を介してホストデバイス１０に出力される。
For example, when the captured image of the
またカメラ２０の撮影画像をキャプチャして、ＪＰＥＧ（静止画圧縮）ファイルとして保存する場合には、次のようにしてカメラデータがホストデバイス１０に転送される。即ちカメラ入力インターフェース４０に入力されたカメラデータは、デマルチプレクサ１００を介してキャプチャ用リサイザ１１２に入力される。そしてキャプチャ用リサイザ１１２は、カメラデータをＪＰＥＧファイルとして保存するためキャプチャ用リサイズ処理を行う。そしてキャプチャ用リサイズ処理が行われたカメラデータは、変換部１１４を介してＪＰＥＧラインバッファ１１６に書き込まれる。この変換部１１４では、例えばＹＵＶ４２２からＹＵＶ４２０へのフォーマット変換などが行われる。そしてＪＰＥＧコーデック１１８（広義には静止画コーデック）は、カメラデータに対して静止画圧縮処理を行う。即ちＪＰＥＧラインバッファ１１６に書き込まれたカメラデータのＪＰＥＧ圧縮処理を行う。そして圧縮処理により得られたＪＰＥＧカメラデータ（広義には圧縮カメラデータ、静止画圧縮カメラデータ）は、ＪＰＥＧＦＩＦＯ１２０に蓄積されて、ホストインターフェース８０を介してホストデバイス１０に出力される。
Further, when a captured image of the
例えばカメラ２０により被写体のプレビューを行っている状態では、図７の４０、１００、１０２、１０６、１１０、７０の経路で、カメラデータがホストデバイス１０に転送され、表示パネル２４にカメラ撮影画像が表示される。一方、カメラ２０のシャッタが押されて、カメラ撮影画像を保存する場合には、図７の４０、１００、１１２、１１４、１１６、１１８、１２０、８０の経路で、カメラデータがホストデバイス１０に転送され、ＪＰＥＧカメラデータとして保存されることになる。
For example, when the subject is being previewed by the
このように図７では、表示用リサイザ１０２によりリサイズ処理が行われたカメラデータは、カメラ出力インターフェース７０を介してホストデバイス１０に出力される。一方、キャプチャ用リサイザ１１２によりリサイズ処理が行われて圧縮されたＪＰＥＧカメラデータは、ホストインターフェース８０を介してホストデバイス１０に出力される。
As described above, in FIG. 7, the camera data that has been resized by the
即ちカメラ２０のプレビュー画像を表示パネル２４に表示する場合には、カメラ２０からカメラデータが間断無く入力される。従って、この場合には、高速なカメラバスを介してホストデバイス１０にカメラデータを転送することが望ましい。一方、カメラ２０のキャプチャ画像であるカメラデータは、カメラのシャッタを押したタイミングで１回だけ転送すればよい。しかも、カメラデータはＪＰＥＧで圧縮されてそのサイズが小さくなっている。従って、この場合には、それほど高速ではないホストバスを介して、ホストデバイス１０にカメラデータを転送することも可能になる。
That is, when displaying a preview image of the
このように本実施形態では、カメラデータの利用態様に応じて、カメラデータの転送経路を変化させている。即ちカメラデータをプレビューとして表示パネル２４に表示する利用態様の場合には、カメラ出力インターフェース７０を介した経路でカメラデータをホストデバイス１０に転送する。一方、カメラデータをＪＰＥＧファイル等として保存する利用態様の場合には、ホストインターフェース８０を介した経路でカメラデータをホストデバイス１０に転送する。このようにすれば、カメラデータの利用態様に応じた最適な転送経路でカメラデータをホストデバイス１０に転送することが可能になり、転送効率を最適化できる。
As described above, in the present embodiment, the transfer path of the camera data is changed according to the usage mode of the camera data. That is, in the case of a usage mode in which camera data is displayed as a preview on the
なお、カメラ２０の撮影画像をＭＰＥＧ（動画圧縮）ファイルとして保存する場合には、次のようにしてカメラデータがホストデバイス１０に転送される。即ちカメラ入力インターフェース４０に入力されたカメラデータは、デマルチプレクサ１００を介して表示用リサイザ１０２に入力される。そしてリサイズ処理が行われたカメラデータは、変換部１２４を介してＭＰＥＧエンコード・デコードバッファ１２６（コーデックバッファ）に書き込まれる。この変換部１２４では、例えばカメラデータの回転処理やミラー処理などが行われる。また変換部１２４はＹＵＶ４２２からＹＵＶ４２０へのフォーマット変換などを行うこともできる。またＭＰＥＧでは、表示する画像のサイズと保存する画像のサイズが、一般的に同じになるため、リサイズ処理は表示用リサイザ１０２により行われる。
Note that when the captured image of the
ＭＰＥＧコーデック１２８（広義には動画コーデック）は、カメラデータに対して動画圧縮処理を行う。即ちＭＰＥＧエンコード・デコードバッファ１２６に書き込まれたカメラデータに対してＭＰＥＧの圧縮処理を行う。そして圧縮処理により得られたＭＰＥＧカメラデータ（広義には圧縮カメラデータ、動画圧縮カメラデータ）は、ＭＰＥＧＦＩＦＯ１３０に蓄積されて、ホストインターフェース８０を介してホストデバイス１０に出力される。
The MPEG codec 128 (moving image codec in a broad sense) performs moving image compression processing on camera data. That is, MPEG compression processing is performed on the camera data written in the MPEG encoding /
５．バイパス回路
図７に示すように本実施形態では、入力されたカメラデータをホストデバイス１０にバイパス転送するバイパス回路１４０を設けている。具体的にはバイパス回路１４０は、カメラ入力インターフェース４０に入力されたカメラデータを、画像処理部５０やメモリ６０を介さずに、カメラ出力インターフェース７０に出力する。
5). Bypass Circuit As shown in FIG. 7, in this embodiment, a
即ち本実施形態では、表示用リサイザ１０２等によりカメラデータに対するリサイズ処理が行われる。しかしながら、カメラ２０の利用態様によっては、撮影されたカメラデータを、リサイズ処理などの画像処理を施さずにそのまま利用する場合がある。例えばカメラ２０によりバーコードを撮影し、バーコード情報を読み取るような利用態様も考えられる。この利用態様では、ホストデバイス１０上で動作するソフトウェアがカメラデータを解析し、バーコード情報を読み取る。そしてこの場合には、カメラデータの解像度が高いほど、バーコード情報の読み取り精度が高くなるため、表示用リサイザ１０２によるリサイズ処理は行われないことが望ましい。
In other words, in the present embodiment, the resizing process for the camera data is performed by the
そこで本実施形態では図７に示すようなバイパス回路１４０を設け、カメラ入力インターフェース４０に入力されたカメラデータを、表示用リサイザ１０２等を介さずに、そのままカメラ出力インターフェース７０を介してホストデバイス１０に転送している。このようにすれば、ホストデバイス１０のソフトウェアは、高解像度のカメラデータに基づいてバーコード情報等を解析して読み出すことが可能になり、利便性を向上できる。
Therefore, in the present embodiment, a
しかも、カメラバスはホストデバイスに比べて高速なバスである。またリサイズ処理が行われないカメラデータのサイズは大きい。従って本実施形態によれば、このような大きなサイズのカメラデータを、高速なカメラバスを介してホストデバイス１０に転送できるため、転送効率を向上できる。
Moreover, the camera bus is a faster bus than the host device. The size of the camera data that is not resized is large. Therefore, according to the present embodiment, such large-sized camera data can be transferred to the
図８にバイパス回路１４０の構成例を示す。信号ＣＭＶＲＥＦ、ＣＭＨＲＥＦ、ＣＭＤＡＴは、クロック信号ＣＭＣＬＫＩＮに基づきフリップフロップＤＦＦ１、ＤＦＦ２、ＤＦＦ３によりサンプリングされ、信号ＥＣＭＶＲＥＦ、ＥＣＭＨＲＥＦ、ＥＣＭＤＡＴとしてホストデバイス１０に出力される。このようにフリップフロップＤＦＦ１、ＤＦＦ２、ＤＦＦ３により信号をサンプリングすることで、信号のＡＣ特性を改善できる。
FIG. 8 shows a configuration example of the
なおセレクタＳＥＬ１〜ＳＥＬ４は、信号レベルやエッジの極性反転のためのセレクタである。例えば選択信号ＳＳ１、ＳＳ２を用いてＤＦＦ１、ＤＦＦ２の反転出力ＸＱを選択すれば、ＣＭＶＲＥＦ、ＣＭＨＲＥＦの信号レベルの極性を反転して、ＥＣＭＶＲＥＦ、ＥＣＭＨＲＥＦとして出力できる。また選択信号ＳＳ３が入力されるセレクタＳＥＬ３を用いれば、クロック信号ＣＭＣＬＫＩＮによるサンプリングのエッジ極性を切り替えることができる。また選択信号ＳＳ４が入力されるセレクタＳＥＬ４を用いれば、ＣＭＣＬＫＩＮの信号レベルの極性を反転して、ＥＣＭＣＬＫＯＵＴとして出力できる。 The selectors SEL1 to SEL4 are selectors for inverting the signal level and edge polarity. For example, if the inverted output XQ of DFF1 and DFF2 is selected using the selection signals SS1 and SS2, the polarity of the signal level of CMVREF and CMHREF can be inverted and output as ECMVREF and ECMHREF. If the selector SEL3 to which the selection signal SS3 is input is used, the edge polarity of sampling by the clock signal CMCLKIN can be switched. If the selector SEL4 to which the selection signal SS4 is input is used, the polarity of the signal level of CMCLKIN can be inverted and output as ECMCLKOUT.
なお図８では、フリップフロップＤＦＦ１、ＤＦＦ２、ＤＦＦ３により信号をサンプリングする構成を採用しているが、ＤＦＦ１、ＤＦＦ２、ＤＦＦ３やセレクタＳＥＬ１〜４などを設けない構成としてもよい。この場合には、バイパス回路１４０は、単なるバッファとしての機能を持てばよい。即ち信号ＣＭＶＲＥＦ、ＣＭＨＲＥＦ、ＣＭＤＡＴ、ＣＭＣＬＫＩＮを、バッファ回路によりバッファリングし、ＥＣＭＶＲＥＦ、ＥＣＭＨＲＥＦ、ＥＣＭＤＡＴ、ＥＣＭＣＬＫＯＵＴとしてホストデバイス１０に出力すればよい。
In FIG. 8, a configuration is employed in which signals are sampled by flip-flops DFF1, DFF2, and DFF3. However, DFF1, DFF2, DFF3, and selectors SEL1 to SEL4 may not be provided. In this case, the
６．変形例
図９に本実施形態の変形例を示す。図７では、ＪＰＥＧにより圧縮されたＪＰＥＧカメラデータはホストインターフェース８０を介してホストデバイス１０に出力される。これに対して図９では、ＪＰＥＧカメラデータはカメラ出力インターフェース７０を介してホストデバイス１０に出力される。即ち図９のＪＰＥＧコーデック１１８（広義にコーデック）は、カメラデータに対して圧縮処理を行う。そしてカメラ出力インターフェース７０は、圧縮処理により得られた圧縮カメラデータをホストデバイス１０に出力する。
6). Modified Example FIG. 9 shows a modified example of the present embodiment. In FIG. 7, JPEG camera data compressed by JPEG is output to the
前述のように、カメラ２０の撮影画像を表示パネル２４にプレビューで表示する場合には、カメラデータを間断なく転送する必要があるため、カメラ出力インターフェース７０を介してカメラデータをホストデバイス１０に出力することが望ましい。
As described above, when the captured image of the
一方、ＪＰＥＧカメラデータについては、プレビュー用カメラデータのように間断なく転送する必要はないため、図７ではカメラ出力インターフェース７０を介してホストデバイス１０に出力している。
On the other hand, the JPEG camera data is output to the
しかしながら、ＪＰＥＧカメラデータでは、キャプチャ用リサイザ１１２でのリサイズ倍率が等倍になることもあり、１画面分（１フレーム分）のカメラデータサイズで比べると、プレビュー用のカメラデータよりも一般的にサイズが大きい。
However, with JPEG camera data, the resizing magnification in the
そこで図９では、このＪＰＥＧカメラデータについては、ホストインターフェース８０ではなく、カメラ出力インターフェース７０を介してホストデバイス１０に出力している。そしてホストデバイス１０は、ホスト側カメラ入力インターフェース１２を介して入力されたＪＰＥＧカメラデータを、メインメモリ２６にＪＰＥＧファイルとして保存する。このようにすれば、ＪＰＥＧカメラデータの転送のためにホストバスが占有されてホストデバイス１０の処理効率が低下するなどの事態を防止できる。
Therefore, in FIG. 9, the JPEG camera data is output to the
なお図９では、ＪＰＥＧ（静止画圧縮）のカメラデータについては、カメラ出力インターフェース７０を介してホストデバイス１０に出力する一方で、ＭＰＥＧ（動画圧縮）のカメラデータについては、ホストインターフェース８０を介してホストデバイス１０に出力している。
In FIG. 9, JPEG (still image compression) camera data is output to the
即ち前述のように、ＪＰＥＧカメラデータでは、キャプチャ用リサイザ１１２でのリサイズ倍率が等倍になることもあり、１画面分のカメラデータサイズが一般的に大きい。これに対してＭＰＥＧカメラデータは、そのサイズが例えばＱＶＧＡやＱＣＩＦに設定され、プレビュー用カメラデータと同様に表示用リサイザ１０２によりリサイズされる。従って、ＭＰＥＧカメラデータは、１画面分のカメラデータサイズで比べると、ＪＰＥＧカメラデータに比べてサイズが小さい。
That is, as described above, in JPEG camera data, the resizing magnification in the
またＭＰＥＧのコーデックは、ハードウェア回路とソフトウェアで分担して処理することが望ましい。例えばＤＣＴ（離散コサイン変換）、量子化、逆量子化、逆ＤＣＴ、動き補償、或いは動き検出などの処理は、ハードウェア回路であるＭＰＥＧコーデック１２８が行う。一方、ＤＣ予測、スキャニング、或いはＶＬＣ符号化（可変長符号化）などの処理は、ホストデバイス１０上で動作するソフトウェアが行う。このようにすることで、ＭＰＥＧのコーデック処理の効率化を図れる。
It is desirable that the MPEG codec is divided and processed by hardware circuits and software. For example, processing such as DCT (discrete cosine transform), quantization, inverse quantization, inverse DCT, motion compensation, or motion detection is performed by the
そしてこのようにＭＰＥＧのコーデックをハードウェア回路とソフトウェアで分担して処理する場合には、ＭＰＥＧのカメラデータについては、ホストインターフェース８０を介してホストデバイス１０に出力することが望ましい。即ちＭＰＥＧコーデック１２８によるハードウェア・コーデック処理（ＤＣＴ、量子化、逆量子化、逆ＤＣＴ、動き補償、動き検出）が施された後のカメラデータを、ＭＰＥＧＦＩＦＯ１３０に書き込み、ホストインターフェース８０を介してホストデバイス１０に出力する。こうすれば、ホストデバイス１０上で動作するソフトウェアがハードウェア・コーデック処理後のカメラデータを受け取り、ソフトウェア・コーデック処理（ＤＣ予測、スキャニング、ＶＬＣ符号化）を施すという一連の処理を、スムーズに行うことが可能になる。
When the MPEG codec is divided and processed by the hardware circuit and software in this way, it is desirable to output the MPEG camera data to the
７．回転、ミラー処理
携帯電話機に対するカメラ２０（ＣＣＤ）の実装形態は様々である。従って、カメラ２０での撮影イメージと、表示パネル２４での表示イメージが一致しない場合がある。従って、これらを一致させるために、カメラ２０からのカメラデータに対して回転処理やミラー処理を行うことが望まれる。例えば図１０のＡ１に示すカメラ２０の撮影イメージと、Ａ３に示す表示パネル２４での表示イメージは一致していない。従ってＡ１の画像をＡ３に示すように９０度回転させる処理が必要になる。またカメラ２０の実装形態によっては、９０度以外の回転処理やミラー処理（鏡像処理）が必要な場合もある。
7). Rotation, mirror processing There are various mounting forms of the camera 20 (CCD) on the mobile phone. Therefore, the image captured by the
このために本実施形態では図７に示すように、カメラデータに対して回転処理及びミラー処理の少なくとも一方を行う変換部１２４を設けている。そして動画カメラデータについては、図１０のＡ２に示すように、変換部１１４により回転処理及びミラー処理の少なくとも一方が行われた後に、ＭＰＥＧエンコード・デコードバッファ１２６（広義にはメモリ）に書き込まれる。そして書き込まれた動画カメラデータに対して、ＭＰＥＧコーデック１２８（動画エンコーダ）が動画圧縮処理を行い、得られたＭＰＥＧカメラデータが、ホストインターフェース８０などを介してホストデバイス１０に出力される。そしてＡ３に示すように、ＭＰＥＧファイルとして保存されたり、デコードされて表示パネル２４に表示される。
For this purpose, in the present embodiment, as shown in FIG. 7, a
一方、静止画カメラデータについては、図１０のＡ４に示すように、回転処理やミラー処理を行わずにＪＰＥＧラインバッファ１１６（メモリ）に書き込まれる。そして書き込まれたカメラデータに対して、ＪＰＥＧコーデック１１８（静止画エンコーダ）が静止画圧縮処理を行い、得られたＪＰＥＧカメラデータが、ホストインターフェース８０（又はカメラ出力インターフェース７０）を介してホストデバイス１０に出力される。すると図１０のＡ５に示すように、ＪＰＥＧカメラデータはメインメモリ２６に一旦保存され、Ａ６に示すように、ホストデバイス１０上で動作するソフトウェアにより回転処理やミラー処理が施される。またＡ７に示すように表示パネル２４に表示される。
On the other hand, as shown in A4 of FIG. 10, the still image camera data is written in the JPEG line buffer 116 (memory) without performing rotation processing or mirror processing. The JPEG codec 118 (still image encoder) performs still image compression processing on the written camera data, and the obtained JPEG camera data is sent to the
ＪＰＥＧカメラデータは、フレーム単位のデータであるため、図１０のＡ５、Ａ６に示すようにソフトウェア処理により回転処理やミラー処理を行うことは容易である。これに対してＭＰＥＧカメラデータは、例えば１５ＦＰＳの速度で途切れることなく生成したり再生したりする必要がある。従って図１０のＡ５、Ａ６に示すようにメインメモリから読み出す際にソフトウェア処理により回転処理やミラー処理を行うのは難しい。またＭＰＥＧエンコードの際に回転処理やミラー処理を行うのも難しい。 Since JPEG camera data is data in units of frames, it is easy to perform rotation processing and mirror processing by software processing as shown by A5 and A6 in FIG. On the other hand, MPEG camera data must be generated and reproduced without interruption at a rate of 15 FPS, for example. Therefore, it is difficult to perform rotation processing or mirror processing by software processing when reading from the main memory as shown in A5 and A6 of FIG. It is also difficult to perform rotation processing or mirror processing during MPEG encoding.
そこで本実施形態では図１０に示すように、動画カメラデータについては、メモリ（ＭＰＥＧエンコード・デコードバッファ）に書き込む前に回転処理やミラー処理を行う。そしてメモリに書き込まれた回転処理・ミラー処理後の動画カメラデータに対して動画圧縮処理を行い、得られたＭＰＥＧカメラデータをファイルとして保存したり、デコードして表示パネル２４に表示する。
Therefore, in the present embodiment, as shown in FIG. 10, the moving image data is subjected to a rotation process and a mirror process before being written to the memory (MPEG encoding / decoding buffer). Then, moving image compression processing is performed on the moving image camera data after rotation processing and mirror processing written in the memory, and the obtained MPEG camera data is saved as a file or decoded and displayed on the
このようにすれば、図１０のＡ５、Ａ６に示すようにソフトウェア処理により回転処理やミラー処理を行わなくても済むようになる。そしてカメラ２０の実装形態が原因で撮影イメージと表示イメージが一致しない場合であっても、これらが一致するように、動画カメラデータに対して回転処理やミラー処理を施すことが可能になる。
In this way, as shown in A5 and A6 in FIG. 10, it is not necessary to perform rotation processing and mirror processing by software processing. Even when the captured image and the display image do not match due to the mounting form of the
なお、ここで回転処理とは、処理対象画像（カメラ画像）の向きを処理対象画像の中心点を中心に０度、９０度、１８０度、２７０度というように回転させた画像を生成するための処理である。またミラー処理とは、処理対象画像の鏡像（処理対象画像に対面するミラーに映る画像）であるミラー表示画像を生成するための処理である。例えば回転処理やミラー処理を行う場合には、ホストデバイス１０が、図３の回転角度設定レジスタ９７、ミラー表示設定レジスタ９８に対して、ホストデバイス１０が回転角度やミラー表示指示を行う。すると画像処理部５０（変換部１１４）が、その回転角度に応じた回転処理や、ミラー表示指示に従ったミラー処理を行う。具体的には画像処理部５０（変換部１１４）は、メモリ６０（ＭＰＥＧエンコード・デコードバッファ）への書き込みアドレスを制御することで、回転処理やミラー処理を実現する。
Here, the rotation processing is to generate an image in which the orientation of the processing target image (camera image) is rotated to 0 degrees, 90 degrees, 180 degrees, 270 degrees around the center point of the processing target image. It is processing of. The mirror process is a process for generating a mirror display image that is a mirror image of the processing target image (an image displayed on a mirror facing the processing target image). For example, when performing rotation processing or mirror processing, the
８．オート転送モード
本実施形態ではカメラデータの転送モードとしてシングル転送モードとオート転送モードを用意している。
8). Auto Transfer Mode In this embodiment, a single transfer mode and an auto transfer mode are prepared as camera data transfer modes.
ここでシングル転送モードでは、ホストデバイス１０から指示があったことを条件に、図３のメモリ６０に記憶された１画面分のカメラデータ（或いはカメラデータ以外の表示データ）をカメラ出力インターフェース７０を介してホストデバイス１０に転送するモードである。図７を例にとれば、ホストデバイス１０がホストインターフェース８０を介してシングル転送を指示すると、表示用バッファ１０６（フレームメモリ）に記憶された１画面分のカメラデータ（又は表示データ）が、表示用ＦＩＦＯ１１０、カメラ出力インターフェース７０を介してホストデバイス１０に転送される。
Here, in the single transfer mode, on the condition that there is an instruction from the
一方、オート転送モードは、カメラ入力インターフェース４０にカメラデータが入力されたことを条件に、画像処理部５０、メモリ６０、カメラ出力インターフェース７０を介してカメラデータをホストデバイス１０に自動転送するモードである。図７を例にとれば、カメラ入力インターフェース４０に入力される垂直同期信号が非アクティブになる毎（垂直表示期間が終了する毎）に、表示用バッファ１０６に書き込まれたカメラデータが、表示用ＦＩＦＯ１１０、カメラ出力インターフェース７０を介してホストデバイス１０に自動転送される。
On the other hand, the auto transfer mode is a mode in which camera data is automatically transferred to the
このオート転送モードを利用すれば、カメラの撮影画像のプレビュー表示等を更にスムーズに行うことが可能になる。即ちホストデバイス１０は、図３の転送制御レジスタ９４にオート転送モードのイネーブルを設定する。すると画像処理コントローラ３０のハードウエア回路は、カメラ２０からの垂直同期信号が非アクティブ（例えばローレベル）になり、垂直表示期間が終了する毎に、その垂直表示期間において表示用バッファ１０６に書き込まれた１画面分のカメラデータを読み出す。そして表示用バッファ１０６から読み出されたカメラデータを、カメラ出力インターフェース７０を介してホストデバイス１０に出力する。このようにして読み出されたカメラデータの画像は、表示パネル２４にプレビュー表示される。そしてホストデバイス１０が、図３の転送制御レジスタ９４にオート転送モードのディスエーブルを設定すると、オート転送モードが終了し、プレビュー表示も終了するようになる。
By using this auto transfer mode, it becomes possible to display the preview of the photographed image of the camera more smoothly. That is, the
例えばシングル転送モードを利用してプレビュー表示を実現しようとすると、表示用バッファ１０６に１画面分のカメラデータが書き込まれる毎に、ホストデバイス１０がシングル転送の指示を行う必要があり、ホストデバイス１０の処理負荷が過大になる。
For example, when preview display is to be realized using the single transfer mode, the
これに対してオート転送モードでは、ホストデバイス１０がオート転送モードのイネーブルを設定した後は、ホストデバイス１０の介在がなくても、カメラ２０から取り込まれたカメラデータが、リサイズ処理などが施されて自動的にホストデバイス１０に転送される。従って、ホストデバイス１０（ファームウェア）は、オート転送モードのイネーブルを設定した後は他の処理を行うことが可能になり、ホストデバイス１０の処理効率を向上できる。
On the other hand, in the auto transfer mode, after the
図１１、図１２に、シングル転送モード時やオート転送モード時のホストデバイス１０の処理フローを示す。
11 and 12 show a processing flow of the
図１１のシングル転送モードでは、ホストデバイス１０は、表示ドライバインターフェースのステータスがＢＵＳＹか否かを判断し、ＢＵＳＹでない場合には、シングル転送の指示を転送制御レジスタ９４に設定する（ステップＳ１、Ｓ２）。すると、１画面分のカメラデータがホストデバイス１０に転送され、シングル転送が終了する（ステップＳ３、Ｓ４）。
In the single transfer mode of FIG. 11, the
図１２のオート転送モードでは、ホストデバイス１０は、表示ドライバインターフェースのステータスがＢＵＳＹか否かを判断し（ステップＳ１１）、ＢＵＳＹでない場合には、オート転送のイネーブルを転送制御レジスタ９４に設定する（ステップＳ１２）。すると、表示パネルへの表示（プレビュー表示）が終了するまで、１画面分のカメラデータが入力される毎に、そのカメラデータがホストデバイス１０に転送される（ステップＳ１３、Ｓ１４）。そして表示パネルへの表示を終了させる場合には、ホストデバイス１０は、オート転送のディスエーブルを転送制御レジスタ９４に設定する（ステップＳ１５）。そして表示ドライバインターフェースのステータスがＢＵＳＹか否かを判断した後、オート転送が終了する（ステップＳ１６、Ｓ１７）。
In the auto transfer mode of FIG. 12, the
なお、上記のように本実施形態について詳細に説明したが、本発明の新規事項および効果から実体的に逸脱しない多くの変形が可能であることは当業者には容易に理解できるであろう。従って、このような変形例はすべて本発明の範囲に含まれるものとする。例えば、明細書又は図面において、少なくとも一度、より広義または同義な異なる用語（静止画圧縮、動画圧縮等）と共に記載された用語（ＪＰＥＧ、ＭＰＥＧ等）は、明細書又は図面のいかなる箇所においても、その異なる用語に置き換えることができる。 Although the present embodiment has been described in detail as described above, it will be easily understood by those skilled in the art that many modifications can be made without departing from the novel matters and effects of the present invention. Accordingly, all such modifications are intended to be included in the scope of the present invention. For example, a term (JPEG, MPEG, etc.) described at least once together with a different term having a broader meaning or the same meaning (still image compression, moving image compression, etc.) It can be replaced by that different term.
また画像処理コントローラや電子機器の構成や動作も本実施形態で説明した構成や動作に限定に限定されず、種々の変形実施が可能である。またカメラデータの転送手法、リサイズ手法、圧縮手法等も本実施形態で説明した手法に限定されない。 The configurations and operations of the image processing controller and the electronic device are not limited to the configurations and operations described in the present embodiment, and various modifications can be made. Also, the camera data transfer method, resizing method, compression method, and the like are not limited to the methods described in this embodiment.
１０ ホストデバイス、１２ ホスト側カメラ入力インターフェース、
１４ 表示ドライバインターフェース、２０ カメラ、２２ 表示ドライバ、
２４ 表示パネル、２６ メインメモリ、２８ その他のデバイス、
３０ 画像処理コントローラ、４０ カメラ入力インターフェース、
５０ 画像処理部、６０ メモリ、７０ カメラ出力インターフェース、
７２ 信号ジェネレータ、８０ ホストインターフェース、９０ レジスタ部、
９２ タイミング設定レジスタ、９４ 転送制御レジスタ、
９６ リサイズ倍率設定レジスタ、９７ 回転角度設定レジスタ、
９８ ミラー表示設定レジスタ、１００ デマルチプレクサ、１０２ 表示用リサイザ、
１０６ 表示用バッファ、１１０ 表示用ＦＩＦＯ、１１２ キャプチャ用リサイザ、
１１４ 変換部、１１６ ＪＰＥＧラインバッファ、１１８ ＪＰＥＧコーデック、
１２０ ＪＰＥＧＦＩＦＯ、１２４ 変換部、
１２６ ＭＰＥＧエンコード・デコードバッファ、１２８ ＭＰＥＧコーデック、
１３０ ＭＰＥＧＦＩＦＯ
10 host device, 12 host side camera input interface,
14 display driver interface, 20 cameras, 22 display drivers,
24 display panels, 26 main memory, 28 other devices,
30 image processing controller, 40 camera input interface,
50 image processing unit, 60 memory, 70 camera output interface,
72 signal generator, 80 host interface, 90 register section,
92 Timing setting register, 94 Transfer control register,
96 resizing magnification setting register, 97 rotation angle setting register,
98 mirror display setting register, 100 demultiplexer, 102 display resizer,
106 display buffer, 110 display FIFO, 112 capture resizer,
114 conversion unit, 116 JPEG line buffer, 118 JPEG codec,
120 JPEG FIFO, 124 conversion unit,
126 MPEG encoding / decoding buffer, 128 MPEG codec,
130 MPEG FIFO
Claims (12)
カメラデータに対して画像処理を行う画像処理部と、
画像処理が行われたカメラデータを記憶するメモリと、
ホストデバイスとの間のホストインターフェース処理を行うホストインターフェースと、
前記メモリに記憶されたカメラデータを、前記ホストデバイスのホスト側カメラ入力インターフェースに出力するカメラ出力インターフェースとを含むことを特徴とする画像処理コントローラ。 A camera input interface for inputting camera data;
An image processing unit that performs image processing on camera data;
A memory for storing camera data subjected to image processing;
A host interface that performs host interface processing with the host device; and
An image processing controller, comprising: a camera output interface that outputs camera data stored in the memory to a host-side camera input interface of the host device.
前記画像処理部は、
カメラデータに対してリサイズ処理を行うリサイザを含み、
前記カメラ出力インターフェースは、
前記カメラ入力インターフェースを介して入力される垂直同期信号、水平同期信号のエミュレーション処理を行い、前記エミュレーション処理においては、前記リサイズ処理のリサイズ倍率に応じた長さに垂直表示期間、水平表示期間の長さが設定されるエミュレーション垂直同期信号、エミュレーション水平同期信号を生成して、前記ホストデバイスの前記ホスト側カメラ入力インターフェースに出力することを特徴とする画像処理コントローラ。 In claim 1,
The image processing unit
Includes a resizer to resize camera data
The camera output interface is
Emulation processing of a vertical synchronization signal and a horizontal synchronization signal input via the camera input interface is performed, and in the emulation processing, a length corresponding to a resizing magnification of the resizing processing is set to a length of a vertical display period and a horizontal display period. An image processing controller for generating an emulation vertical synchronization signal and an emulation horizontal synchronization signal for which the length is set and outputting the generated emulation synchronization signal to the host-side camera input interface of the host device.
前記ホストデバイスは、
表示パネルを駆動する表示ドライバとの間のインターフェース処理を行う表示ドライバインターフェースを含み、
前記画像処理部は、
カメラデータを前記表示パネルに表示するためのリサイズ処理を行う表示用リサイザを含み、
前記カメラ出力インターフェースは、
前記表示用リサイザによりリサイズ処理が行われたカメラデータを、前記ホスト側カメラ入力インターフェースに出力することを特徴とする画像処理コントローラ。 In claim 1 or 2,
The host device is
Including a display driver interface that performs interface processing with a display driver that drives the display panel;
The image processing unit
Including a display resizer for performing a resizing process for displaying camera data on the display panel;
The camera output interface is
An image processing controller, wherein the camera data that has been resized by the display resizer is output to the host-side camera input interface.
前記画像処理部は、
カメラデータをファイルとして保存するためのリサイズ処理を行うキャプチャ用リサイザを含み、
前記ホストインターフェースは、
前記キャプチャ用リサイザによりリサイズ処理が行われたカメラデータを、前記ホストデバイスに出力することを特徴とする画像処理コントローラ。 In claim 3,
The image processing unit
Includes a capture resizer that performs resizing to save camera data as a file.
The host interface is
An image processing controller, wherein the camera data that has been resized by the capture resizer is output to the host device.
前記カメラ入力インターフェースに入力されたカメラデータを、前記画像処理部及び前記メモリを介さずに前記カメラ出力インターフェースに出力するバイパス回路を含むことを特徴とする画像処理コントローラ。 In any one of Claims 1 thru | or 4,
An image processing controller, comprising: a bypass circuit that outputs camera data input to the camera input interface to the camera output interface without passing through the image processing unit and the memory.
前記画像処理部は、
カメラデータに対して圧縮処理を行うコーデックを含み、
前記カメラ出力インターフェースは、
前記コーデックにより圧縮処理が行われた圧縮カメラデータを、前記ホストデバイスの前記ホスト側カメラ入力インターフェースに出力することを特徴とする画像処理コントローラ。 In any one of Claims 1 thru | or 5,
The image processing unit
Including a codec that compresses camera data,
The camera output interface is
An image processing controller that outputs compressed camera data compressed by the codec to the host side camera input interface of the host device.
前記画像処理部は、
カメラデータに対して静止画圧縮処理を静止画コーデックと、
カメラデータに対して動画圧縮処理を行う動画コーデックとを含み、
前記カメラ出力インターフェースは、
前記静止画コーデックにより静止画圧縮処理が行われた静止画圧縮カメラデータを、前記ホストデバイスの前記ホスト側カメラ入力インターフェースに出力し、
前記ホストインターフェースは、
前記動画コーデックにより動画圧縮処理が行われた動画圧縮カメラデータを、前記ホストデバイスに出力することを特徴とする画像処理コントローラ。 In claim 6,
The image processing unit
Still image codec for camera data
Including a video codec that performs video compression processing on camera data,
The camera output interface is
Still image compression camera data that has been subjected to still image compression processing by the still image codec is output to the host side camera input interface of the host device,
The host interface is
An image processing controller, wherein moving image compression camera data that has been subjected to moving image compression processing by the moving image codec is output to the host device.
前記画像処理部は、
カメラデータに対して回転処理及びミラー処理の少なくとも一方を行う変換部と、
カメラデータに対して静止画圧縮処理を静止画コーデックと、
カメラデータに対して動画圧縮処理を行う動画コーデックとを含み、
動画カメラデータについては、前記変換部により前記回転処理及び前記ミラー処理の少なくとも一方が行われた後に前記メモリに書き込まれ、前記動画コーデックにより動画圧縮処理が行われて前記ホストデバイスに出力され、
静止画カメラデータについては、前記変換部による前記回転処理、前記ミラー処理が行われずに前記メモリに書き込まれ、前記静止画コーデックにより静止画圧縮処理が行われて前記ホストデバイスに出力されることを特徴とする画像処理コントローラ。 In any one of Claims 1 thru | or 7,
The image processing unit
A conversion unit that performs at least one of rotation processing and mirror processing on camera data;
Still image codec for camera data
Including a video codec that performs video compression processing on camera data,
For the video camera data, at least one of the rotation processing and the mirror processing is performed by the conversion unit and then written to the memory, the video codec is subjected to video compression processing and output to the host device,
Still image camera data is written to the memory without being subjected to the rotation processing and the mirror processing by the conversion unit, and is subjected to still image compression processing by the still image codec and is output to the host device. A featured image processing controller.
オート転送モードでは、
前記カメラ入力インターフェースにカメラデータが入力されたことを条件に、前記画像処理部、前記メモリ、前記カメラ出力インターフェースを介してカメラデータを前記ホストデバイスに自動転送することを特徴とする画像処理コントローラ。 In any one of Claims 1 thru | or 8.
In auto transfer mode,
An image processing controller for automatically transferring camera data to the host device via the image processing unit, the memory, and the camera output interface on condition that camera data is input to the camera input interface.
前記オート転送モードでは、
前記カメラ入力インターフェースに入力される垂直同期信号が非アクティブになったことを条件に、前記画像処理部、前記メモリ、前記カメラ出力インターフェースを介してカメラデータを前記ホストデバイスに自動転送することを特徴とする画像処理コントローラ。 In claim 9,
In the auto transfer mode,
Camera data is automatically transferred to the host device via the image processing unit, the memory, and the camera output interface on condition that a vertical synchronization signal input to the camera input interface becomes inactive. An image processing controller.
シングル転送モードでは、
前記ホストデバイスから指示があったことを条件に、前記メモリに記憶された１画面分のカメラデータを前記カメラ出力インターフェースを介して前記ホストデバイスに転送することを特徴とする画像処理コントローラ。 In claim 9 or 10,
In single transfer mode,
An image processing controller for transferring camera data for one screen stored in the memory to the host device via the camera output interface on condition that an instruction is issued from the host device.
前記画像処理コントローラにカメラデータを出力するカメラと、
前記ホストデバイスとを含むことを特徴とする電子機器。
An image processing controller according to any one of claims 1 to 11,
A camera that outputs camera data to the image processing controller;
An electronic apparatus comprising the host device.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2005106304A JP2006287715A (en) | 2005-04-01 | 2005-04-01 | Image processing controller and electronic device |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2005106304A JP2006287715A (en) | 2005-04-01 | 2005-04-01 | Image processing controller and electronic device |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JP2006287715A true JP2006287715A (en) | 2006-10-19 |
Family
ID=37409125
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2005106304A Withdrawn JP2006287715A (en) | 2005-04-01 | 2005-04-01 | Image processing controller and electronic device |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP2006287715A (en) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPWO2012117701A1 (en) * | 2011-03-02 | 2014-07-07 | 日本電気株式会社 | Data control system, data control method, and data control program |
| CN115034948A (en) * | 2021-12-30 | 2022-09-09 | 荣耀终端有限公司 | Image processing method and electronic equipment |
| CN115866156A (en) * | 2023-03-01 | 2023-03-28 | 上海励驰半导体有限公司 | Data processing method and device, electronic equipment and storage medium |
-
2005
- 2005-04-01 JP JP2005106304A patent/JP2006287715A/en not_active Withdrawn
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPWO2012117701A1 (en) * | 2011-03-02 | 2014-07-07 | 日本電気株式会社 | Data control system, data control method, and data control program |
| CN115034948A (en) * | 2021-12-30 | 2022-09-09 | 荣耀终端有限公司 | Image processing method and electronic equipment |
| CN115866156A (en) * | 2023-03-01 | 2023-03-28 | 上海励驰半导体有限公司 | Data processing method and device, electronic equipment and storage medium |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US7701472B2 (en) | Display controller, electronic device, and method of supplying image data | |
| US8547453B2 (en) | Image processing apparatus and camera system | |
| US7542010B2 (en) | Preventing image tearing where a single video input is streamed to two independent display devices | |
| US20050280601A1 (en) | Display control apparatus and display control method | |
| JP2008506295A (en) | Method and system for displaying a series of image frames | |
| US20060133695A1 (en) | Display controller, electronic instrument, and image data supply method | |
| CN105825826B (en) | Display driver | |
| US8233003B2 (en) | Image processing device, image processing method, and electronic instrument | |
| JP4728393B2 (en) | Method and apparatus for processing image data stored in a frame buffer | |
| CN113132650A (en) | Video image display processing control device and method and display terminal | |
| JP2006287715A (en) | Image processing controller and electronic device | |
| JP2006203437A (en) | Camera and its image processing method | |
| JP2012028997A (en) | Image processing device and camera | |
| JP2006014298A (en) | Method for processing rotated image and multimedia processor | |
| JP2011077970A (en) | Image processor, image display system, electronic device and image processing method | |
| JP2009098692A (en) | Size change method of image, resizer, image processing device and electronics apparatus | |
| JP2007183668A (en) | Display driver and electronic equipment | |
| US20070008325A1 (en) | Method and apparatus providing for high efficiency data capture for compression encoding | |
| KR100715522B1 (en) | Camera control apparatus, image data displaying apparatus and method thereof | |
| US7505073B2 (en) | Apparatus and method for displaying a video on a portion of a display without requiring a display buffer | |
| KR100608766B1 (en) | A display apparatus and method for mobile communication terminal | |
| JP2011039302A (en) | Buffer control circuit, display controller and electronic apparatus | |
| JP5224492B2 (en) | Image data transfer control device, image data transfer method, and camera having the image data transfer device | |
| JP2009296046A (en) | Imaging apparatus | |
| JP2009069311A (en) | Image display device, control method thereof, and imaging apparatus |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A300 | Application deemed to be withdrawn because no request for examination was validly filed |
Free format text: JAPANESE INTERMEDIATE CODE: A300 Effective date: 20080603 |