JP2000083253A - 画像処理装置 - Google Patents

画像処理装置

Info

Publication number
JP2000083253A
JP2000083253A JP7108299A JP7108299A JP2000083253A JP 2000083253 A JP2000083253 A JP 2000083253A JP 7108299 A JP7108299 A JP 7108299A JP 7108299 A JP7108299 A JP 7108299A JP 2000083253 A JP2000083253 A JP 2000083253A
Authority
JP
Japan
Prior art keywords
transfer
image
reference value
signal
request signal
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP7108299A
Other languages
English (en)
Other versions
JP3539264B2 (ja
Inventor
Masaya Shimanaka
方哉 嶋中
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
NEC Corp
Original Assignee
NEC Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by NEC Corp filed Critical NEC Corp
Priority to JP7108299A priority Critical patent/JP3539264B2/ja
Priority to US09/347,456 priority patent/US6754267B1/en
Publication of JP2000083253A publication Critical patent/JP2000083253A/ja
Application granted granted Critical
Publication of JP3539264B2 publication Critical patent/JP3539264B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/124Quantisation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/164Feedback from the receiver or from the transmission channel
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/184Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being bits, e.g. of the compressed video stream
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41Structure of client; Structure of client peripherals
    • H04N21/414Specialised client platforms, e.g. receiver in car or embedded in a mobile appliance
    • H04N21/4143Specialised client platforms, e.g. receiver in car or embedded in a mobile appliance embedded in a Personal Computer [PC]
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41Structure of client; Structure of client peripherals
    • H04N21/422Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
    • H04N21/4223Cameras
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/436Interfacing a local distribution network, e.g. communicating with another STB or one or more peripheral devices inside the home
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/4402Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display
    • H04N21/440254Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display by altering signal-to-noise parameters, e.g. requantization
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/442Monitoring of processes or resources, e.g. detecting the failure of a recording device, monitoring the downstream bandwidth, the number of times a movie has been viewed, the storage space available from the internal hard disk
    • H04N21/44227Monitoring of local network, e.g. connection or bandwidth variations; Detecting new devices in the local network

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Databases & Information Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Studio Devices (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Image Processing (AREA)

Abstract

(57)【要約】 【課題】 インタフェースバス上に接続されている画像
処理装置とともに他の端末機器も使用すると、画像処理
装置からの画像データのフレームレートが低下し、パー
ソナルコンピュータで受信される動画像データにおいて
コマ落ちが生じてしまう。 【解決手段】 画像情報精度変換部5は、転送速度認識
部7からの精度情報に従って8ビットのデータをf(f
≦8)ビットのデータに変換する。インタフェース部8
は、パーソナルコンピュータから出力される画素転送信
号に同期して量子化精度変換後のディジタル画像データ
をUSB9に出力する。転送速度認識部7は、パーソナ
ルコンピュータからUSB9を介して送られてくるフレ
ーム転送要求信号の周期を計測して、USB9における
ディジタル画像データの実効的な転送速度を認識する。

Description

【発明の詳細な説明】
【0001】
【発明の属する技術分野】本発明は、撮像した映像をデ
ィジタル動画像データとして出力する画像処理装置に関
し、特に、パーソナルコンピュータ等の情報処理装置に
接続されて使用される画像処理装置に関する。
【0002】
【従来の技術】パーソナルコンピュータ等の情報処理装
置を用いたテレビ会議システムなどにおいて動画像を扱
うことができるシステムがある。そのようなシステムで
は、カメラで撮像された映像は、例えばフレーム単位の
画像データとして情報処理装置に転送される。情報処理
装置は、画像データにデータ圧縮処理を施してLANや
通信回線を介して遠隔地に転送する。また、テレビ会議
システムのような撮像された画像データを情報処理装置
を介して送受信するシステムの他にも、撮像された映像
を単にパーソナルコンピュータ等で再生するシステムも
ある。そのようなシステムを構築するためにも、撮像さ
れた映像を、動画像データとして情報処理装置に転送す
る必要がある。
【0003】カメラ等の画像処理装置から出力される画
像データがディジタルデータである場合に、ディジタル
画像データは、汎用的なインタフェースでパーソナルコ
ンピュータ等に転送されることが多い。図7は、汎用的
なインタフェースとしてUSB(Universal
Serial Bus)インタフェースを用いたシステ
ムを示すシステム構成図である。パーソナルコンピュー
タ10は2つのUSBポートを備え、この例では、一方
のUSBポートにキーボード11が接続されている。ま
た、他方のUSBポート接続されたUSBハブ15を介
して幾つかの端末機器20,30,40がUSBに接続
されている。
【0004】ここで、端末機器20が、撮像した映像を
ディジタル画像データとして出力する画像処理装置とし
てのカメラであるとする。端末機器20のみが動作して
いるときには、端末機器20がUSBを占有できるの
で、安定したフレームレートで端末機器20からパーソ
ナルコンピュータ10にディジタル画像データが転送さ
れる。しかし、他の端末機器30,40も動作中であっ
て、他の端末機器30,40からパーソナルコンピュー
タ10にもデータが転送される場合には、端末機器20
からの転送データは、時分割でUSBに送出されること
になる。そのような場合には、端末機器20からパーソ
ナルコンピュータ10に転送されるディジタル画像デー
タのフレームレートが低下する。
【0005】
【発明が解決しようとする課題】従来の画像処理装置は
以上のようにしてパーソナルコンピュータ10に接続さ
れているので、ディジタルカメラの使用時には、他の端
末機器30,40を使用できないという課題がある。デ
ィジタルカメラとともに他の端末機器30,40も使用
すると、ディジタルカメラからの画像データのフレーム
レートが低下し、パーソナルコンピュータ10で受信さ
れる動画像データにおいてコマ落ちが生じてしまうから
である。
【0006】本発明は、上記のような課題を解決するた
めになされたものであって、インタフェースバス上の他
の機器を同時動作させても、安定したフレームレートで
画像データを転送でき、動画像のコマ落ちを生じさせる
ことのない画像処理装置を提供することを目的とする。
【0007】
【課題を解決するための手段】本発明による画像処理装
置は、被写体の画像を読み取って電気信号に変換して出
力する変換手段と、変換手段から出力された電気信号を
量子化された画像信号として出力する量子化手段と、外
部に出力される画像信号の転送速度を検出する転送速度
認識手段と、転送速度認識手段によって検出された転送
速度に応じて量子化手段からの量子化された画像信号の
データ量を変換する転送データ量変換手段と、量子化精
度変換手段から出力された画像信号を外部に出力するイ
ンタフェース手段とを備えたものである。
【0008】転送速度認識手段は、画像信号を受信する
ホスト装置から送られてくる転送要求信号の周期にもと
づいて画像信号の転送速度を検出するように構成されて
いてもよい。
【0009】転送データ量変換手段は量子化手段からの
量子化された画像信号の量子化精度を変換する量子化精
度変換手段であって、量子化精度変換手段は、転送要求
信号の周期が基準値以下であることを転送速度認識手段
が検出した場合には量子化精度を上げ、転送要求信号の
周期が基準値を越えたことを転送速度認識手段が検出し
た場合には量子化精度を下げるように構成されていても
よい。
【0010】量子化精度変換手段は、転送要求信号の周
期が複数の基準値のうちの最小の基準値以下である場合
には量子化された画像信号をそのままインタフェース手
段に出力し、転送要求信号の周期がある基準値を越えて
いるが他の基準値以下である場合には量子化された画像
信号のビット数を他の基準値に応じて減らしてインタフ
ェース手段に出力するように構成されていてもよい。
【0011】量子化精度変換手段は、各基準値に応じて
変更する画像信号のビット数を変更可能に構成されてい
てもよい。
【0012】転送データ量変換手段は量子化手段からの
量子化された画像信号の情報量を変換する情報量変換手
段であって、情報量変換手段は、転送要求信号の周期が
基準値以下であることを転送速度認識手段が検出した場
合には情報量を増やし、転送要求信号の周期が基準値を
越えたことを転送速度認識手段が検出した場合には情報
量を減らすように構成されていてもよい。
【0013】情報量変換手段は、転送要求信号の周期が
複数の基準値のうちの最小の基準値以下である場合には
量子化された画像信号をそのままインタフェース手段に
出力し、転送要求信号の周期がある基準値を越えている
が他の基準値以下である場合には画像信号の情報量を他
の基準値に応じて減らしてインタフェース手段に出力す
るように構成されていてもよい。
【0014】情報量変換手段は、各基準値に応じて変更
する画像信号の情報量を変更可能に構成されていてもよ
い。
【0015】転送速度認識手段は、基準値を変更可能に
構成されていてもよい。そして、インタフェース手段
は、USBとのインタフェース制御を行うように構成さ
れていてもよい。
【0016】
【発明の実施の形態】以下、本発明の実施の形態を図面
を参照して説明する。図1は、本発明による画像処理装
置の第1の実施の形態の構成を示すブロック図である。
図1において、画像入力部(変換手段)1はCCDセン
サ等によって撮像した画像を電気信号に変換しアナログ
画像データをA−D変換部(量子化手段)3に出力す
る。A−D変換部3は、アナログ画像データを量子化し
てディジタル画像データを画像情報精度変換部5に出力
する。この例では、A−D変換部3は、1画素を8ビッ
トのディジタルデータに変換する。
【0017】画像情報精度変換部(転送データ量変換手
段,量子化精度変換手段)5は、転送速度認識部(転送
速度認識手段)7からの精度情報に従って8ビットのデ
ータをf(f≦8)ビットのデータに変換する。すなわ
ち、量子化精度の変換を行う。量子化精度変換後のディ
ジタル画像データは、インタフェース部(インタフェー
ス手段)8に出力される。インタフェース部8は、ホス
ト装置の一例であるパーソナルコンピュータ(図示せ
ず)から出力される画素転送信号に同期して量子化精度
変換後のディジタル画像データをUSB9に出力する。
【0018】ここで、転送速度認識部7は、パーソナル
コンピュータからUSB9を介して送られてくるフレー
ム転送要求信号の周期を計測して、USB9におけるデ
ィジタル画像データの実効的な転送速度を認識する。そ
して、認識した転送速度に応じた精度情報を画像情報精
度変換部5に出力する。
【0019】次に、図2のフローチャートを参照して動
作を説明する。画像処理装置が起動されると、画像入力
部1は、被写体の撮像を開始する(ステップS1)。画
像入力部1からのアナログ画像データは、A−D変換部
3で所定のサンプリングレートでサンプリングされ1画
素8ビットのディジタル画像データに変換される。そし
て、ディジタル画像データは、順次、画像情報精度変換
部5に入力される。
【0020】パーソナルコンピュータは、画像処理装置
からのフレームデータ出力を要求するフレーム転送要求
信号を間欠的にUSB9に出力する。フレーム転送要求
信号の周期は、パーソナルコンピュータからの画像デー
タの要求信号の間隔である。画像処理装置以外の他の機
器が動作していないときには、画像処理装置からの画像
データの転送にUSBが占有でき、かつ、パーソナルコ
ンピュータは画像処理以外の他の処理を行っていないの
で、フレーム転送要求信号の出力間隔は短い。逆に、他
の機器も動作しているときには、パーソナルコンピュー
タは他の機器からのデータもUSB9を介して取り込ん
で処理しなければならないので、フレーム転送要求信号
の出力間隔は長い。
【0021】転送速度認識部7は、パーソナルコンピュ
ータからフレーム転送要求信号が出力されると、そのと
きの時間と直前にフレーム転送要求信号が出力されたと
きの時間との差を計測して、フレーム転送要求信号の周
期を計測する。転送速度認識部7は、計測結果から画像
データの転送速度を認識する。そして、認識した転送速
度に応じた精度情報を画像情報精度変換部5に与える。
【0022】フレーム転送要求信号の周期が短いという
ことは前のフレームの画像データの転送処理が早く済ん
だことを意味しているので、この実施の形態では、1画
素あたりのビット数が多めに設定される。また、フレー
ム転送要求信号の周期が長いということは前のフレーム
の画像データの転送処理に時間がかかったことを意味し
ているので、1画素あたりのビット数が少なめに設定さ
れる。1画素あたりのビット数が少なめに設定されるこ
とによって、実効的なデータ転送速度が低くても、フレ
ームレートは低くならない。
【0023】この実施の形態では、フレーム転送要求信
号の周期すなわちデータ転送速度に応じた精度情報を変
更するための基準値として、フレーム転送要求信号の周
期250msと333msとを使用する。すなわち、フ
レーム転送要求信号の周期が250ms以下であったと
きには(ステップS2)、転送速度認識部7は、量子化
精度を8ビットにすることを指示する精度情報を画像情
報精度変換部5に与える(ステップS3)。
【0024】フレーム転送要求信号の周期が250ms
を越えていた場合には、フレーム転送要求信号の周期が
333ms以下であったときには(ステップS4)、転
送速度認識部7は、量子化精度を6ビットにすることを
指示する精度情報を画像情報精度変換部5に与える(ス
テップS5)。
【0025】フレーム転送要求信号の周期が333ms
を越えていた場合には、転送速度認識部7は、量子化精
度を4ビットにすることを指示する精度情報を画像情報
精度変換部5に与える(ステップS6)。
【0026】画像情報精度変換部5は、新たに入力され
たフレームの画像データにおける各画素のビット数を精
度情報に応じたfビットに変換してインタフェース部8
に出力する(ステップS7)。以下、インタフェース部
8に出力される画像データを変換画像情報という。な
お、この実施の形態では、f=8、6または4である。
【0027】f=8の場合には画像情報精度変換部5は
入力されたディジタル画像データをそのままインタフェ
ース部8に出力するが、f=6または4の場合には、例
えば、8ビットのデータを下位側に2ビットまたは4ビ
ットシフトして6ビットまたは4ビットにデータに変換
し、変換画像情報をインタフェース部8に出力する。な
お、変換の仕方として、ビットシフト以外の他のアルゴ
リズムを用いてもよい。
【0028】その後、1フレームの画像データの転送が
終了するまでステップS7の処理が繰り返され(ステッ
プS8)、1フレームの画像データの転送が終了する
と、画像情報転送が終了していなければ、次のフレーム
に関してステップS2以降の処理が再び行われる(ステ
ップS9)。なお、画像情報転送の終了は、例えば、パ
ーソナルコンピュータが終了信号を送出したことによ
る。
【0029】次に、図3〜図6のタイミング図を参照し
て動作例について説明する。図3はフレーム転送要求信
号の周期の例を示し、(A)は周期250msの例、
(B)は周期333msの例、(C)は周期500ms
の例を示す。図4は、量子化精度を8ビットにすること
を指示する精度情報が出力された場合の変換画像情報の
出力の様子を示すタイミング図である。また、図5は、
量子化精度を6ビットにすることを指示する精度情報が
出力された場合の変換画像情報の出力の様子を示すタイ
ミング図である。そして、図6は、量子化精度を4ビッ
トにすることを指示する精度情報が出力された場合の変
換画像情報の出力の様子を示すタイミング図である。
【0030】この実施の形態では、画像情報精度変換部
5からインタフェース部8へは8ビットのデータ線DA
TA7〜DATA0で画素転送信号に同期してデータが
出力される。フレーム転送要求信号の周期が図3(A)
に示すように250msであったときには、ステップS
3の処理において、量子化精度を8ビットにすることを
指示する精度情報が出力される。すると、図4に示すよ
うに、各画素の変換画像情報は、DATA7〜DATA
0の8ビットを用いて画像情報精度変換部5からインタ
フェース部8に対して転送される。すなわち、1つの画
素転送信号に応じて1画素のデータがインタフェース部
8に転送される。なお、図4において、P1〜P8は、
それぞれ、1画素のデータを示す。
【0031】フレーム転送要求信号の周期が図3(B)
に示すように333msであったときには、ステップS
5の処理において、量子化精度を6ビットにすることを
指示する精度情報が出力される。すると、図5に示すよ
うに、各画素の変換画像情報は、DATA7〜DATA
0の8ビット中の6ビットを用いて画像情報精度変換部
5からインタフェース部8に対して転送される。すなわ
ち、1つの画素転送信号に応じて(4/3)画素のデー
タがインタフェース部8に転送される。なお、図5にお
いて、Pna,Pnb,Pnc(n=1〜8)は、それ
ぞれ、1画素を構成する6ビット中の各2ビットのデー
タを示す。
【0032】フレーム転送要求信号の周期が図3(C)
に示すように500msであったときには、ステップS
6の処理において、量子化精度を4ビットにすることを
指示する精度情報が出力される。すると、図6に示すよ
うに、各画素の変換画像情報は、DATA7〜DATA
4またはDATA3〜DATA0の4ビットを用いて画
像情報精度変換部5からインタフェース部8に対して転
送される。すなわち、1つの画素転送信号に応じて2画
素のデータがインタフェース部8に転送される。なお、
図6において、P1〜P8は、それぞれ、1画素を構成
する4ビットのデータを示す。
【0033】以上のように、パーソナルコンピュータか
らのフレーム転送要求信号の出力周期が長くなりパーソ
ナルコンピュータから出力される画素転送信号の周期が
長くなると、それに応じて画素データの量子化精度が低
下される。その結果、画像処理装置からパーソナルコン
ピュータに転送される画像データのフレームレートの変
化が小さくなる。
【0034】図4および図5に示されたように、画素転
送信号の周期がTから(4/3)Tに変化した場合に
は、量子化精度は(6/8)=(3/4)に変更され
る。また、図4および図6に示されたように、画素転送
信号の周期がTから2Tに変化した場合には、量子化精
度は(4/8)=(1/2)に変更される。その結果、
画素転送信号の周期がT、(4/3)T、2Tいずれの
場合であっても、所定の時間内に出力される画素数が同
じになる。すなわち、フレームレートは同一である。
【0035】図2のフローチャートに示された処理で
は、 1.フレーム転送要求信号の周期=250ms以下の場
合; 2.フレーム転送要求信号の周期=250msを越えて
333ms以下の場合; 3.フレーム転送要求信号の周期=333msを越える
場合: に場合分けして1画素データのビット数を8、6、4と
変化させた。従って、厳密にはフレームレートは常に一
定とはならないが、所定の範囲内に収まっている。よっ
て、従来の転送方式では、パーソナルコンピュータの処
理状況に応じてフレームレートが大きく変化してしまっ
てフレーム抜け等の不具合が生ずる可能性があったのみ
対して、この実施の形態では、そのような不具合は解消
される。
【0036】なお、この実施の形態で示されたフレーム
転送要求信号の周期の基準値250msおよび333m
sと、1画素データのビット数を8、6、4とは、一般
的な画像処理装置およびパーソナルコンピュータの性能
に応じた適切な例であるが、パーソナルコンピュータ1
0および画像処理装置の性能やシステムにおける機器接
続状況等に応じて、それぞれについて適切な任意の値に
設定することができる。
【0037】さらに、この実施の形態では、量子化精度
変換の基準となるフレーム転送要求信号の周期の基準値
と、量子化精度変換後の1画素データのビット数とが変
更可能になっているので、それらの値を、使用されるシ
ステムの性能等に応じて適切な値に設定することができ
る。
【0038】上記の第1の実施の形態では、画素データ
の量子化精度を制御して画像処理装置からパーソナルコ
ンピュータに転送される画像データのフレームレートの
変化を小さくしたが、他の方法によってパーソナルコン
ピュータに転送されるデータ量を変化させてもよい。例
えば、1ライン中の画像データを間引くとともに、ライ
ン単位の間引きを行ってもよい。
【0039】図7は、そのような転送データ量制御を行
う第2の実施の形態を示すブロック図である。図7にお
いて、画像情報量変換部(転送データ量変換手段,情報
量変換手段)5Aは、転送速度認識部7からの転送速度
情報(間引き情報)に従って画素間引きおよびライン間
引きを行う。すなわち、データ量の変換を行う。なお、
その他の構成要素は、図1に示された構成要素と同じも
のである。
【0040】この実施の形態では、転送速度認識部7
は、パーソナルコンピュータからUSB9を介して送ら
れてくるフレーム転送要求信号の周期を計測して、US
B9におけるディジタル画像データの実効的な転送速度
を認識し、認識した転送速度に応じた間引き情報を画像
情報量変換部5Aに出力する。
【0041】次に、図8のフローチャートを参照して動
作を説明する。画像処理装置が起動されると、画像入力
部1は、被写体の撮像を開始する(ステップS11)。
画像入力部1からのアナログ画像データは、A−D変換
部3で所定のサンプリングレートでサンプリングされ1
画素8ビットのディジタル画像データに変換される。そ
して、ディジタル画像データは、順次、画像情報量変換
部5Aに入力される。
【0042】パーソナルコンピュータは、画像処理装置
からのフレームデータ出力を要求するフレーム転送要求
信号を間欠的にUSB9に出力する。フレーム転送要求
信号の周期は、パーソナルコンピュータからの画像デー
タの要求信号の間隔である。画像処理装置以外の他の機
器が動作していないときには、画像処理装置からの画像
データの転送にUSBが占有でき、かつ、パーソナルコ
ンピュータは画像処理以外の他の処理を行っていないの
で、フレーム転送要求信号の出力間隔は短い。逆に、他
の機器も動作しているときには、パーソナルコンピュー
タは他の機器からのデータもUSB9を介して取り込ん
で処理しなければならないので、フレーム転送要求信号
の出力間隔は長い。
【0043】転送速度認識部7は、パーソナルコンピュ
ータからフレーム転送要求信号が出力されると、そのと
きの時間と直前にフレーム転送要求信号が出力されたと
きの時間との差を計測して、フレーム転送要求信号の周
期を計測する。転送速度認識部7は、計測結果から画像
データの転送速度を認識する。そして、認識した転送速
度に応じた間引き情報を画像情報量変換部5Aに与え
る。
【0044】フレーム転送要求信号の周期が短いという
ことは前のフレームの画像データの転送処理が早く済ん
だことを意味しているので、この実施の形態では、フレ
ーム中のデータ量が多めに設定される。また、フレーム
転送要求信号の周期が長いということは前のフレームの
画像データの転送処理に時間がかかったことを意味して
いるので、フレーム中のデータ量が少なめに設定され
る。フレーム中のデータ量が少なめに設定されることに
よって、実効的なデータ転送速度が低くても、フレーム
レートは低くならない。なお、この実施の形態では、フ
レーム中のデータ量の低下は、画素間引きおよびライン
間引きによって実現される。
【0045】この実施の形態では、フレーム転送要求信
号の周期すなわちデータ転送速度に応じた間引き情報を
変更するための基準値として、フレーム転送要求信号の
周期250msと563msとを使用する。すなわち、
フレーム転送要求信号の周期が250ms以下であった
ときには(ステップS12)、転送速度認識部7は、間
引きしないことを指示する間引き情報を画像情報量変換
部5Aに与える(ステップS13)。
【0046】フレーム転送要求信号の周期が250ms
を越えていた場合には、フレーム転送要求信号の周期が
563ms以下であったときには(ステップS14)、
転送速度認識部7は、間引き量gを4/9にすることを
指示する間引き情報を画像情報量変換部5Aに与える
(ステップS15)。なお、ここでは、間引き量gと
は、入力データ量に対する間引き処理後のデータ量を意
味している。
【0047】フレーム転送要求信号の周期が563ms
を越えていた場合には、転送速度認識部7は、間引き量
gを1/4にすることを指示する間引き情報を画像情報
量変換部5Aに与える(ステップS16)。
【0048】画像情報量変換部5Aは、新たに入力され
たフレームの画像データのデータ量を間引き情報に応じ
たデータ量に変換してインタフェース部8に出力する
(ステップS17)。以下、インタフェース部8に出力
される画像データを変換画像情報という。
【0049】具体的には、画像情報量変換部5Aは、入
力されたフレームの各ラインの画像データを、間引き量
gの平方根の値が示す量になるように間引く。例えば、
間引き量gが4/9であれば、データ量が2/3になる
ように間引く。例えば、3画素毎に1画素を間引く。間
引き量gが1/4であれば、データ量が1/2になるよ
うに間引く。例えば、2画素毎に1画素を間引く。
【0050】また、入力画像データを、間引き処理後の
垂直方向のデータ量が間引き量gの平方根の値が示す量
になるように間引く。例えば、間引き量gが4/9であ
れば3ライン毎に1ライン間引き、間引き量gが1/4
であれば2ライン毎に1ライン間引く。
【0051】従って、間引き量gが4/9であれば、ラ
イン方向(水平方向)ではデータ量が2/3になるよう
に画素が間引かれ、垂直方向ではデータ量が2/3にな
るように間引かれて、結局、間引き後のデータ量は4/
9になる。また、間引き量gが1/4であれば、ライン
方向(水平方向)ではデータ量が1/2になるように画
素が間引かれ、垂直方向ではデータ量が1/2になるよ
うに間引かれて、結局、間引き後のデータ量は1/4に
なる。
【0052】その後、1フレームの画像データの転送が
終了するまでステップS17の処理が繰り返され(ステ
ップS18)、1フレームの画像データの転送が終了す
ると、画像情報転送が終了していなければ、次のフレー
ムに関してステップS12以降の処理が再び行われる
(ステップS19)。なお、画像情報転送の終了は、例
えば、パーソナルコンピュータが終了信号を送出したこ
とによる。
【0053】次に、図9〜図12タイミング図を参照し
て動作例について説明する。図9はフレーム転送要求信
号の周期の例を示し、(A)は周期250msの例、
(B)は周期563msの例、(C)は周期500ms
の例を示す。図10は、間引きを行わないことを指示す
る間引き情報が出力された場合の変換画像情報の出力の
様子を示すタイミング図である。また、図11は、間引
き量gが4/9の間引き情報が出力された場合の変換画
像情報の出力の様子を示すタイミング図である。そし
て、図12は、間引き量gが1/4の間引き情報が出力
された場合の変換画像情報の出力の様子を示すタイミン
グ図である。
【0054】この実施の形態では、画像情報量変換部5
Aからインタフェース部8へは8ビットのデータ線DA
TA7〜DATA0で画素転送信号に同期してデータが
出力される。フレーム転送要求信号の周期が図9(A)
に示すように250msであったときには、ステップS
13の処理において、間引きを行わないことを指示する
間引き情報が出力される。すると、図10に示すよう
に、各画素の変換画像情報は、DATA7〜DATA0
の8ビットを用いて画像情報量変換部5Aからインタフ
ェース部8に対して転送される。すなわち、1つの画素
転送信号に応じて1画素のデータがインタフェース部8
に転送される。なお、図10において、P11〜P88
は、それぞれ、1画素のデータを示す。
【0055】フレーム転送要求信号の周期が図9(B)
に示すように563msであったときには、ステップS
15の処理において、間引き量gが4/9の間引き情報
が出力される。すると、図11に示すように、各ライン
の画素が3画素毎に1画素間引かれ、かつ、3ライン毎
に1ラインの間引きが行われる。
【0056】フレーム転送要求信号の周期が図9(C)
に示すように1000msであったときには、ステップ
S16の処理において、間引き量gが1/4の間引き情
報が出力される。すると、図12に示すように、各ライ
ンの画素が2画素毎に1画素間引かれ、かつ、2ライン
毎に1ラインの間引きが行われる。
【0057】以上のように、パーソナルコンピュータか
らのフレーム転送要求信号の出力周期が長くなりパーソ
ナルコンピュータから出力される画素転送信号の周期が
長くなると、それに応じて1フレーム中の画素数が減
る。その結果、画像処理装置からパーソナルコンピュー
タに転送される画像データのフレームレートの変化が小
さくなる。
【0058】図11に示されたように、画素転送信号の
周期がTから(3/2)Tに変化した場合には、1ライ
ンの転送データ量は(2/3)に減らされる。すなわ
ち、((3/2)T)周期の画素転送信号に同期する形
で変換画像情報がインタフェース部9に転送される。ま
た、図12に示されたように、画素転送信号の周期がT
から2Tに変化した場合には、1ラインの転送データ量
は(1/2)に減らされる。すなわち、2T周期の画素
転送信号に同期する形で変換画像情報がインタフェース
部9に転送される。その結果、画素転送信号の周期が
T、(3/2)T、2Tいずれの場合であっても、所定
の時間内に出力される画素数が同じになる。すなわち、
フレームレートは同一である。
【0059】なお、図13に示すように、水平方向およ
び垂直方向で同じ量の間引きが行われるので、パーソナ
ルコンピュータ側で画像が歪むようなことはない。な
お、図13において、aは水平方向の画素数を示し、b
はライン数を示す。
【0060】図8のフローチャートに示された処理で
は、 1.フレーム転送要求信号の周期=250ms以下の場
合; 2.フレーム転送要求信号の周期=250msを越えて
563ms以下の場合; 3.フレーム転送要求信号の周期=563msを越える
場合: に場合分けして間引き量gを(1/1)、(4/9)、
(1/4)と変化させた。従って、厳密にはフレームレ
ートは常に一定とはならないが、所定の範囲内に収まっ
ている。よって、従来の転送方式では、パーソナルコン
ピュータの処理状況に応じてフレームレートが大きく変
化してしまってフレーム抜け等の不具合が生ずる可能性
があったのみ対して、この実施の形態でも、そのような
不具合は解消される。
【0061】なお、この実施の形態で示されたフレーム
転送要求信号の周期の基準値250msおよび563m
sと、間引き量g=(1/1)、(4/9)、(1/
4)とは、一般的な画像処理装置およびパーソナルコン
ピュータの性能に応じた適切な例であるが、パーソナル
コンピュータ10および画像処理装置の性能やシステム
における機器接続状況等に応じて、それぞれについて適
切な任意の値に設定することができる。
【0062】また、この実施の形態ではパーソナルコン
ピュータと画像処理装置とを接続するインタフェースと
してUSB9が用いられたが、インタフェース上に画像
処理装置を含む複数の機器が接続可能であって、ホスト
装置が時分割で各機器からのデータを取り込む形式のイ
ンタフェースであれば、USB9以外のインタフェース
を用いた場合でも本発明を適用できる。
【0063】
【発明の効果】以上のように、本発明によれば、画像処
理装置を、外部に出力される画像信号の転送速度を検出
し、検出された転送速度に応じて画像信号の転送データ
量を変換して外部に出力するように構成したので、イン
タフェースバス上の他の機器を同時動作させても、安定
したフレームレートで画像データを転送でき、動画像の
コマ落ちを生じさせることのない画像処理装置が得られ
る効果がある。
【図面の簡単な説明】
【図1】 本発明による画像処理装置の第1の実施の形
態の構成を示すブロック図である。
【図2】 図1に示された画像処理装置の動作を示すフ
ローチャートである。
【図3】 フレーム転送要求信号の周期の例を示すタイ
ミング図である。
【図4】 量子化精度を8ビットにすることを指示する
精度情報が出力された場合の変換画像情報の出力の様子
を示すタイミング図である。
【図5】 量子化精度を6ビットにすることを指示する
精度情報が出力された場合の変換画像情報の出力の様子
を示すタイミング図である。
【図6】 量子化精度を4ビットにすることを指示する
精度情報が出力された場合の変換画像情報の出力の様子
を示すタイミング図である。
【図7】 本発明による画像処理装置の第2の実施の形
態の構成を示すブロック図である。
【図8】 図7に示された画像処理装置の動作を示すフ
ローチャートである。
【図9】 フレーム転送要求信号の周期の例を示すタイ
ミング図である。
【図10】 間引き量g=1/1を指示する間引き情報
が出力された場合の変換画像情報の出力の様子を示すタ
イミング図である。
【図11】 間引き量g=4/9を指示する間引き情報
が出力された場合の変換画像情報の出力の様子を示すタ
イミング図である。
【図12】 間引き量g=1/4を指示する間引き情報
が出力された場合の変換画像情報の出力の様子を示すタ
イミング図である。
【図13】 水平方向および垂直方向の変換画像情報を
示す説明図である。
【図14】 USBインタフェースを用いた一般的なシ
ステムを示すシステム構成図である。
【符号の説明】
1 画像入力部 3 A−D変換部 5 画像情報精度変換部 5A 画像情報量変換部 7 転送速度認識部 8 インタフェース部 9 USB 10 パーソナルコンピュータ

Claims (10)

    【特許請求の範囲】
  1. 【請求項1】 被写体の画像を読み取って電気信号に変
    換して出力する変換手段と、 前記変換手段から出力された電気信号を量子化された画
    像信号として出力する量子化手段と、 外部に出力される画像信号の転送速度を検出する転送速
    度認識手段と、 前記転送速度認識手段によって検出された転送速度に応
    じて前記量子化手段からの量子化された画像信号のデー
    タ量を変換する転送データ量変換手段と、 前記転送データ量変換手段から出力された画像信号を外
    部に出力するインタフェース手段とを備えた画像処理装
    置。
  2. 【請求項2】 転送速度認識手段は、画像信号を受信す
    るホスト装置から送られてくる転送要求信号の周期にも
    とづいて画像信号の転送速度を検出する請求項1記載の
    画像処理装置。
  3. 【請求項3】 転送データ量変換手段は、量子化手段か
    らの量子化された画像信号の量子化精度を変換する量子
    化精度変換手段であって、 量子化精度変換手段は、転送要求信号の周期が基準値以
    下であることを転送速度認識手段が検出した場合には量
    子化精度を上げ、転送要求信号の周期が基準値を越えた
    ことを転送速度認識手段が検出した場合には量子化精度
    を下げる請求項2記載の画像処理装置。
  4. 【請求項4】 量子化精度変換手段は、転送要求信号の
    周期が複数の基準値のうちの最小の基準値以下である場
    合には量子化された画像信号をそのままインタフェース
    手段に出力し、転送要求信号の周期がある基準値を越え
    ているが他の基準値以下である場合には量子化された画
    像信号のビット数を他の基準値に応じて減らして前記イ
    ンタフェース手段に出力する請求項3記載の画像処理装
    置。
  5. 【請求項5】 量子化精度変換手段は、各基準値に応じ
    て変更する画像信号のビット数を変更可能に構成されて
    いる請求項4記載の画像処理装置。
  6. 【請求項6】 転送データ量変換手段は、量子化手段か
    らの量子化された画像信号の情報量を変換する情報量変
    換手段であって、 情報量変換手段は、転送要求信号の周期が基準値以下で
    あることを転送速度認識手段が検出した場合には情報量
    を増やし、転送要求信号の周期が基準値を越えたことを
    転送速度認識手段が検出した場合には情報量を減らす請
    求項2記載の画像処理装置。
  7. 【請求項7】 情報量変換手段は、転送要求信号の周期
    が複数の基準値のうちの最小の基準値以下である場合に
    は量子化された画像信号をそのままインタフェース手段
    に出力し、転送要求信号の周期がある基準値を越えてい
    るが他の基準値以下である場合には画像信号の情報量を
    他の基準値に応じて減らして前記インタフェース手段に
    出力する請求項6記載の画像処理装置。
  8. 【請求項8】 情報量変換手段は、各基準値に応じて変
    更する画像信号の情報量を変更可能に構成されている請
    求項6または請求項7記載の画像処理装置。
  9. 【請求項9】 転送速度認識手段は、基準値を変更可能
    に構成されている請求項3、4、6または7記載の画像
    処理装置。
  10. 【請求項10】 インタフェース手段は、USBに接続
    される請求項1、2、3、4、5、6、7、8または9
    記載の画像処理装置。
JP7108299A 1998-07-08 1999-03-16 画像処理装置 Expired - Fee Related JP3539264B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP7108299A JP3539264B2 (ja) 1998-07-08 1999-03-16 画像処理装置
US09/347,456 US6754267B1 (en) 1998-07-08 1999-07-06 Image processing apparatus

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP10-192780 1998-07-08
JP19278098 1998-07-08
JP7108299A JP3539264B2 (ja) 1998-07-08 1999-03-16 画像処理装置

Publications (2)

Publication Number Publication Date
JP2000083253A true JP2000083253A (ja) 2000-03-21
JP3539264B2 JP3539264B2 (ja) 2004-07-07

Family

ID=26412207

Family Applications (1)

Application Number Title Priority Date Filing Date
JP7108299A Expired - Fee Related JP3539264B2 (ja) 1998-07-08 1999-03-16 画像処理装置

Country Status (2)

Country Link
US (1) US6754267B1 (ja)
JP (1) JP3539264B2 (ja)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7295712B2 (en) 2002-10-01 2007-11-13 Seiko Instruments Inc. Method of image data compression and data transfer system using this method
WO2010150470A1 (ja) * 2009-06-23 2010-12-29 パナソニック株式会社 動画像符号化方法、動画像符号化装置、プログラム、および集積回路
JP2015060528A (ja) * 2013-09-20 2015-03-30 日本電気株式会社 遠隔描画システム、遠隔描画装置、遠隔描画方法及びプログラム

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003069871A (ja) * 2001-08-22 2003-03-07 Toshiba Corp カメラモジュール及び情報処理システム
JP5028798B2 (ja) * 2005-12-27 2012-09-19 ソニー株式会社 情報処理装置、および情報処理方法、並びにコンピュータ・プログラム
US8069294B2 (en) 2006-03-30 2011-11-29 Intel Corporation Power-optimized frame synchronization for multiple USB controllers with non-uniform frame rates
EP2123048A1 (en) * 2007-01-22 2009-11-25 Nxp B.V. Computer device and method for adapting the compression rate of digital images
US10127883B2 (en) * 2015-10-27 2018-11-13 Mediatek Inc. Frame rate control method and image processing apparatus selectively limiting frame rate

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5220440A (en) * 1990-10-10 1993-06-15 Fuji Xerox Co., Ltd. Data compression method having a fixed ratio of compression for image data, and image data compression device
JP3156141B2 (ja) * 1992-03-13 2001-04-16 温 松下 トークンリングを用いたマルチメディア統合lan方式
JP3227813B2 (ja) * 1992-07-28 2001-11-12 ソニー株式会社 ディジタル画像送信装置、ディジタル画像送信方法、ディジタル画像伝送システム及びディジタル画像送受信方法
JPH0669811A (ja) * 1992-08-21 1994-03-11 Oki Electric Ind Co Ltd 符号化回路及び復号化回路
JPH0823536A (ja) * 1994-07-07 1996-01-23 Canon Inc 画像処理装置
JP3352288B2 (ja) 1995-07-24 2002-12-03 キヤノン株式会社 撮像ユニットおよび撮像信号処理装置
JPH09233467A (ja) * 1996-02-21 1997-09-05 Fujitsu Ltd 画像データ通信装置及び画像データ通信システムにおける通信データ量調整方法
JPH10136338A (ja) * 1996-10-29 1998-05-22 Hitachi Ltd 動画カメラおよび動画処理システム
US6307974B1 (en) * 1997-06-23 2001-10-23 Canon Kabushika Kaisha Image processing apparatus, system, and method with adaptive transfer

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7295712B2 (en) 2002-10-01 2007-11-13 Seiko Instruments Inc. Method of image data compression and data transfer system using this method
WO2010150470A1 (ja) * 2009-06-23 2010-12-29 パナソニック株式会社 動画像符号化方法、動画像符号化装置、プログラム、および集積回路
US8559503B2 (en) 2009-06-23 2013-10-15 Panasonic Corporation Moving image coding method, moving image coding apparatus, program, and integrated circuit
JP5479470B2 (ja) * 2009-06-23 2014-04-23 パナソニック株式会社 動画像符号化方法、動画像符号化装置、プログラム、および集積回路
JP2015060528A (ja) * 2013-09-20 2015-03-30 日本電気株式会社 遠隔描画システム、遠隔描画装置、遠隔描画方法及びプログラム

Also Published As

Publication number Publication date
JP3539264B2 (ja) 2004-07-07
US6754267B1 (en) 2004-06-22

Similar Documents

Publication Publication Date Title
JP3542653B2 (ja) 電子スチルカメラにおける画像データ伝送システム
US6307974B1 (en) Image processing apparatus, system, and method with adaptive transfer
US6446155B1 (en) Resource bus interface
JP3539264B2 (ja) 画像処理装置
US20020071037A1 (en) Method and device for data transmission
US7986920B2 (en) Image communication apparatus
JP2929749B2 (ja) 画像伝送装置
US8264586B2 (en) Imaging apparatus
JP2000244796A (ja) カメラシステム
KR100320151B1 (ko) 다중 영상신호저장 제어장치
KR200182088Y1 (ko) 다중 영상신호저장 제어장치
JP3370206B2 (ja) デジタルカメラ装置
US7787690B2 (en) Image compression and expansion device
JP3243362B2 (ja) イメージフォーマット変換装置
JP3122445B2 (ja) 通信装置
JP2001285838A (ja) 画像データ伝送方法および画像データ伝送システム
KR200182043Y1 (ko) 다점 제어 신호처리용 영상 신호 제어 시스템
KR200164760Y1 (ko) 범용직렬버스를이용한화상회의용영상출력장치
JP3427025B2 (ja) イメージフォーマット変換装置
WO1999018719A1 (en) Method of and apparatus for transmitting scaled and compressed raw ccd video data from a video camera
KR19990075483A (ko) 비트 평면 압축장치 및 비트 평면 압축/복원 방법
JPH01300780A (ja) 画像伝送装置
JP2822202B2 (ja) 静止画伝送方法
KR20070041857A (ko) 카메라센서 모듈과, 이를 탑재한 이동통신 단말기 및카메라센서 모듈의 인코딩 데이타 전송방법
JP2004221990A (ja) データ処理装置及びカメラ付き電話及びデータ処理方法及び情報伝送装置

Legal Events

Date Code Title Description
TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20040302

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20040315

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20080402

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20090402

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100402

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110402

Year of fee payment: 7

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120402

Year of fee payment: 8

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120402

Year of fee payment: 8

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130402

Year of fee payment: 9

LAPS Cancellation because of no payment of annual fees