JP2004120201A - 撮像装置および方法 - Google Patents

撮像装置および方法 Download PDF

Info

Publication number
JP2004120201A
JP2004120201A JP2002279219A JP2002279219A JP2004120201A JP 2004120201 A JP2004120201 A JP 2004120201A JP 2002279219 A JP2002279219 A JP 2002279219A JP 2002279219 A JP2002279219 A JP 2002279219A JP 2004120201 A JP2004120201 A JP 2004120201A
Authority
JP
Japan
Prior art keywords
image data
compression
imaging
transmission
processing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2002279219A
Other languages
English (en)
Other versions
JP3944726B2 (ja
Inventor
Chisato Yoshida
吉田 千里
Osamu Date
伊達 修
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority to JP2002279219A priority Critical patent/JP3944726B2/ja
Application filed by Sony Corp filed Critical Sony Corp
Priority to EP03798370.7A priority patent/EP1549053B1/en
Priority to EP18192408.5A priority patent/EP3435656A1/en
Priority to KR1020047007859A priority patent/KR100933590B1/ko
Priority to CNB038015994A priority patent/CN100502470C/zh
Priority to PCT/JP2003/009633 priority patent/WO2004030347A1/ja
Priority to CN2006101537993A priority patent/CN1953514B/zh
Priority to US10/496,890 priority patent/US8736687B2/en
Publication of JP2004120201A publication Critical patent/JP2004120201A/ja
Application granted granted Critical
Publication of JP3944726B2 publication Critical patent/JP3944726B2/ja
Priority to US12/291,581 priority patent/US8054334B2/en
Priority to US14/055,189 priority patent/US9374523B2/en
Priority to US14/255,330 priority patent/US10091413B2/en
Priority to US15/664,741 priority patent/US10375297B2/en
Priority to US16/425,562 priority patent/US20190313015A1/en
Anticipated expiration legal-status Critical
Expired - Lifetime legal-status Critical Current

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/00127Connection or combination of a still picture apparatus with another apparatus, e.g. for storage, processing or transmission of still picture signals or of information associated with a still picture
    • H04N1/00281Connection or combination of a still picture apparatus with another apparatus, e.g. for storage, processing or transmission of still picture signals or of information associated with a still picture with a telecommunication apparatus, e.g. a switched network of teleprinters for the distribution of text-based information, a selective call terminal
    • H04N1/00307Connection or combination of a still picture apparatus with another apparatus, e.g. for storage, processing or transmission of still picture signals or of information associated with a still picture with a telecommunication apparatus, e.g. a switched network of teleprinters for the distribution of text-based information, a selective call terminal with a mobile telephone apparatus
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/64Computer-aided capture of images, e.g. transfer from script file into camera, check of taken image quality, advice or proposal for image composition or decision on when to take image
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/00127Connection or combination of a still picture apparatus with another apparatus, e.g. for storage, processing or transmission of still picture signals or of information associated with a still picture
    • H04N1/00347Connection or combination of a still picture apparatus with another apparatus, e.g. for storage, processing or transmission of still picture signals or of information associated with a still picture with another still picture apparatus, e.g. hybrid still picture apparatus
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/164Feedback from the receiver or from the transmission channel
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46Embedding additional information in the video signal during the compression process
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/63Control of cameras or camera modules by using electronic viewfinders
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/66Remote control of cameras or camera parts, e.g. by remote control devices
    • H04N23/661Transmitting camera control signals through networks, e.g. control via the Internet
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/95Computational photography systems, e.g. light-field imaging systems
    • H04N23/951Computational photography systems, e.g. light-field imaging systems by using two or more images to influence resolution, frame rate or aspect ratio
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N2201/00Indexing scheme relating to scanning, transmission or reproduction of documents or the like, and to details thereof
    • H04N2201/0008Connection or combination of a still picture apparatus with another apparatus
    • H04N2201/0015Control of image communication with the connected apparatus, e.g. signalling capability
    • H04N2201/0025Adapting an image communication to a non-image communication or vice versa, e.g. data rate-conversion
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N2201/00Indexing scheme relating to scanning, transmission or reproduction of documents or the like, and to details thereof
    • H04N2201/0008Connection or combination of a still picture apparatus with another apparatus
    • H04N2201/0015Control of image communication with the connected apparatus, e.g. signalling capability
    • H04N2201/0027Adapting to communicate with plural different types of apparatus
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N2201/00Indexing scheme relating to scanning, transmission or reproduction of documents or the like, and to details thereof
    • H04N2201/0008Connection or combination of a still picture apparatus with another apparatus
    • H04N2201/0034Details of the connection, e.g. connector, interface
    • H04N2201/0037Topological details of the connection
    • H04N2201/0041Point to point
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N2201/00Indexing scheme relating to scanning, transmission or reproduction of documents or the like, and to details thereof
    • H04N2201/0008Connection or combination of a still picture apparatus with another apparatus
    • H04N2201/0034Details of the connection, e.g. connector, interface
    • H04N2201/0048Type of connection
    • H04N2201/0049By wire, cable or the like
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N2201/00Indexing scheme relating to scanning, transmission or reproduction of documents or the like, and to details thereof
    • H04N2201/0008Connection or combination of a still picture apparatus with another apparatus
    • H04N2201/0065Converting image data to a format usable by the connected apparatus or vice versa
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N2201/00Indexing scheme relating to scanning, transmission or reproduction of documents or the like, and to details thereof
    • H04N2201/0096Portable devices

Abstract

【課題】最適なデータ量の画像データを他の装置に供給する。
【解決手段】携帯電話機1は、PDA91の最大転送速度が1.5Mbpsである場合、PDA91との最大通信速度が遅いと判断し、CCDにおいて取り込まれる動画像データのデータ量が少なくなるように制御し、その取り込まれた動画像データをPDA91に供給する。PDA91は、表示部に低画質動画像93を表示する。また、PDA91の最大転送速度が480Mbpsである場合、CPUは、CCDにおいて取り込まれる動画像データのデータ量を減らさないように制御し、その取り込まれた動画像データをPDA91に供給する。PDA91は、表示部に高画質動画像94を表示する。本発明は、デジタルカメラに適用できる。
【選択図】   図6

Description

【0001】
【発明の属する技術分野】
本発明は撮像装置および方法に関し、特に、最適なデータ量の画像データを他の装置に供給することができるようにした、撮像装置および方法に関する。
【0002】
【従来の技術】
近年、デジタルビデオカメラ等の撮像装置が普及するとともに、撮像装置に搭載されるCCD(Charge Coupled Device)等のカメラの高解像度化が進んでいる。また、通信機能付きデジタルビデオカメラや撮像機能を有する携帯電話機等に代表されるように、撮像装置の多機能化も進んでいる。
【0003】
例えば、USB(Universal Serial Bus)通信機能を有するデジタルビデオカメラは、被写体を撮像することにより得られた動画像データを、USBケーブルを介して、パーソナルコンピュータ等の他の装置に、リアルタイムに供給することができる。
【0004】
ところで、カメラの高解像度化に伴い、被写体を撮像することにより得られる動画像データのデータ量も増加しており、供給先の装置の処理能力が低い場合や、装置間のネットワークが混雑し、通信速度が低下している場合、通信処理のオーバーフローや、再生された動画像のコマ落ち等の問題が発生する恐れがある。
【0005】
これに対して、供給元のデジタルビデオカメラが、供給する動画像データを圧縮するなどして、低速な通信においても正常に動画像データを供給できるように、常に、データ量を予め少なくしてから供給する方法が考えられるが、高速通信が可能な場合、この方法では、不必要に再生動画像の画質を劣化させてしまうことになる。
【0006】
そこで、第1のデータと、第1のデータを圧縮した第2のデータの2つを用意しておき、通信速度が速い場合、第1のデータを供給し、通信速度が遅い場合、第1のデータと比較してデータ量の少ない第2のデータを供給する方法がある。(例えば、特許文献1参照)。
【0007】
【特許文献1】
特開2002−99393号公報(第4−12ページ、図4)
【0008】
【発明が解決しようとする課題】
しかしながら、以上のような方法においては、第1のデータ、および内容が対応する、第1のデータと比較してデータ量の小さい第2のデータの2つを予め用意しておかなければならず、供給するデータを保存するための記憶領域が増大してしまうとともに、被写体を撮像して得られた動画像データをリアルタイムに供給するような場合には不向きであるという課題があった。
【0009】
また、用意された第2の画像データの圧縮率が、必ずしも、通信状態に適切な圧縮率であるとは限らないという課題もあった。
【0010】
本発明はこのような状況に鑑みてなされたものであり、最適なデータ量の画像データを他の装置に供給することができるようにしたものである。
【0011】
【課題を解決するための手段】
本発明の第1の撮像装置は、被写体を撮像して得られる画像を画像データとして取り込む撮像手段と、撮像手段による撮像処理により取り込まれた画像データを、ネットワークを介して接続された通信装置に送信する送信手段と、送信手段が送信する画像データの通信速度に応じて、撮像手段により取り込まれる画像データのデータ量を調整する調整手段とを備えることを特徴とする。
【0012】
複数の送信手段と、複数の送信手段から任意の送信手段を選択する選択手段とをさらに備え、調整手段は、選択手段により選択された送信手段から送信する画像データの通信速度に応じて、撮像手段により取り込まれる画像データのデータ量を調整するようにすることができる。
【0013】
前記送信手段は、他のデータを送信する際、撮像手段により取り込まれる画像データのデータ量を少なくする調整を行うようにすることができる。
【0014】
本発明の第1の撮像方法は、被写体を撮像して得られる画像を画像データとして取り込む撮像ステップと、撮像ステップによる撮像処理により取り込まれた画像データの、ネットワークを介して接続された通信装置への送信を制御する送信制御ステップと、送信制御ステップの処理により制御される画像データの通信速度に応じて、撮像ステップの処理により取り込まれる画像データのデータ量を調整する調整ステップとを含むことを特徴とする。
【0015】
前記画像データを送信する複数の送信部より、送信制御ステップの処理により送信を制御する送信部を選択する選択ステップをさらに含み、送信制御ステップは、選択ステップの処理により選択された送信部における送信を制御し、調整ステップは、選択ステップの処理により選択された送信部から送信する画像データの通信速度に応じて、撮像ステップの処理により取り込まれる画像データのデータ量を調整するようにすることができる。
【0016】
前記送信制御ステップは、画像データ以外の他のデータの送信をさらに制御し、調整ステップは、送信制御ステップが他のデータを送信するように制御する際、撮像ステップの処理により取り込まれる画像データのデータ量を少なくする調整を行うようにすることができる。
【0017】
本発明の第2の撮像装置は、被写体を撮像して得られる画像を画像データとして取り込む撮像手段と、画像データを圧縮する圧縮手段と、圧縮手段による圧縮処理により生成された圧縮画像データを、ネットワークを介して接続された通信装置に送信する送信手段と、送信手段が送信する圧縮画像データの通信速度に応じて、圧縮手段による圧縮処理における圧縮率を調整する調整手段とを備えることを特徴とする。
【0018】
複数の送信手段と、複数の送信手段から任意の送信手段を選択する選択手段とをさらに備え、調整手段は、選択手段により選択された送信手段から送信する画像データの通信速度に応じて、圧縮手段による圧縮処理における圧縮率を調整するようにすることができる。
【0019】
前記送信手段は、圧縮画像データ以外の他のデータをさらに送信し、調整手段は、送信手段が他のデータを送信する際、圧縮手段による圧縮処理における圧縮率を高くする調整を行うようにすることができる。
【0020】
本発明の第2の撮像方法は、被写体を撮像して得られる画像を画像データとして取り込む撮像ステップと、画像データを圧縮する圧縮ステップと、圧縮ステップによる圧縮処理により生成された圧縮画像データの、ネットワークを介して接続された通信装置への送信を制御する送信制御ステップと、送信制御ステップの処理により制御される圧縮画像データの通信速度に応じて、圧縮ステップによる圧縮処理における圧縮率とを調整する調整ステップとを含むことを特徴とする。
【0021】
前記圧縮画像データを送信する複数の送信部より、送信制御ステップの処理により送信を制御する送信部を選択する選択ステップをさらに含み、送信制御ステップは、選択ステップの処理により選択された送信部における送信を制御し、調整ステップは、選択ステップの処理により選択された送信部から送信する圧縮画像データの通信速度に応じて、圧縮ステップによる圧縮処理における圧縮率とを調整するようにすることができる。
【0022】
前記送信制御ステップは、圧縮画像データ以外の他のデータの送信をさらに制御し、調整ステップは、送信制御ステップが他のデータを送信するように制御する際、圧縮ステップによる圧縮処理における圧縮率を高くする調整を行うようにすることができる。
【0023】
本発明の第3の撮像装置は、被写体を撮像して得られる画像を画像データとして取り込む撮像手段と、画像データを圧縮する圧縮手段と、圧縮手段による圧縮処理により生成された圧縮画像データを、ネットワークを介して接続された通信装置に送信する送信手段と、送信手段が送信する圧縮画像データの通信速度に応じて、撮像手段により取り込まれる画像データのデータ量と、圧縮手段による圧縮処理における圧縮率とを調整する調整手段とを備えることを特徴とする。
【0024】
複数の送信手段と、複数の送信手段から任意の送信手段を選択する選択手段とをさらに備え、調整手段は、選択手段により選択された送信手段から送信する圧縮画像データの通信速度に応じて、撮像手段により取り込まれる画像データのデータ量と、圧縮手段による圧縮処理における圧縮率とを調整するようにすることができる。
【0025】
前記送信手段は、画像データ以外の他のデータをさらに送信し、調整手段は、送信手段が他のデータを送信する際、撮像手段により取り込まれる画像データのデータ量を少なくする調整と、圧縮手段による圧縮処理における圧縮率を高くする調整とを行うようにすることができる。
【0026】
本発明の第3の撮像方法は、被写体を撮像して得られる画像を画像データとして取り込む撮像ステップと、画像データを圧縮する圧縮ステップと、圧縮ステップによる圧縮処理により生成された圧縮画像データの、ネットワークを介して接続された通信装置への送信を制御する送信制御ステップと、送信制御ステップの処理により制御される圧縮画像データの通信速度に応じて、撮像ステップの処理により取り込まれる画像データのデータ量と、圧縮ステップによる圧縮処理における圧縮率とを調整する調整ステップとを含むことを特徴とする。
【0027】
前記圧縮画像データを送信する複数の送信部より、送信制御ステップの処理により送信を制御する送信部を選択する選択ステップをさらに含み、送信制御ステップは、選択ステップの処理により選択された送信部における送信を制御し、調整ステップは、選択ステップの処理により選択された送信部から送信する圧縮画像データの通信速度に応じて、撮像ステップの処理により取り込まれる画像データのデータ量と、圧縮ステップによる圧縮処理における圧縮率とを調整するようにすることができる。
【0028】
前記送信制御ステップは、画像データ以外の他のデータの送信をさらに制御し、調整ステップは、送信制御ステップが他のデータを送信するように制御する際、撮像ステップの処理により取り込まれる画像データのデータ量を少なくする調整と、圧縮ステップによる圧縮処理における圧縮率を高くする調整とを行うようにすることができる。
【0029】
本発明の第1の撮像装置および方法においては、被写体を撮像して得られる画像が画像データとして取り込まれ、撮像処理により取り込まれた前記画像データが、ネットワークを介して接続された通信装置に送信されるとともに、送信する画像データの通信速度に応じて、取り込まれる画像データのデータ量が調整される。
【0030】
本発明の第2の撮像装置および方法においては、被写体を撮像して得られる画像が画像データとして取り込まれて圧縮され、生成された圧縮画像データが、ネットワークを介して接続された通信装置に送信されるとともに、その送信する圧縮画像データの通信速度に応じて、圧縮処理における圧縮率が調整される。
【0031】
本発明の第3の撮像装置および方法においては、被写体を撮像して得られる画像が画像データとして取り込まれて圧縮され、生成された圧縮画像データが、ネットワークを介して接続された通信装置に送信されるとともに、その送信する圧縮画像データの通信速度に応じて、取り込まれる画像データのデータ量と、圧縮処理における圧縮率とが調整される。
【0032】
【発明の実施の形態】
図1は、本発明を適用したカメラ機能を有する携帯電話機の基本的な構成例を表す図である。
【0033】
図示せぬ被写体からの光は、レンズや絞り機構等により構成される携帯電話機1のレンズ部11を介してCCD(Charge Coupled Device)12に入射され、光電変換される。
【0034】
CCD12が出力する映像信号はCDS回路(Correlated Double Sampling circuit)13に供給されている。CDS回路14は、入力信号に相関二重サンプリングを施してノイズ成分を除去し、その信号をAGC回路(Automatic Gain Control circuit)14に出力する。AGC回路14は、入力信号のゲインを調整した後、その信号をA/D(Analog / Digital)変換器15に出力する。A/D変換器15は、入力されたアナログ信号をデジタル信号に変換し、DSP(Digital Signal Processor)16に出力する。
【0035】
DSP16は、内蔵する画像調整処理部21により、入力信号に基づいてAF(Auto Focus)、AE(Auto Exposure)、およびAWB(Auto White Balance)等の制御信号を生成し、その制御信号を、バス30を介してCPU(Central Processing Unit)31に供給する。また、DSP16は、内蔵する画像圧縮・伸張処理部22により、入力された画像信号を圧縮したり、さらに伸張したりする。その際、画像圧縮・伸張処理部22は、DSP16に内蔵されるSDRAM(Synchronous Dynamic Random Access Memory)コントローラ23に制御されたSDRAM17に映像信号を一時的に保持させながら、処理を行う。
【0036】
画像圧縮・伸張処理部22により圧縮された画像データは、バス30を介して、RAM(Random Access Memory)33等に供給される。
【0037】
CPU31は、ROM(Read Only Memory)32に記憶されているプログラム、または記憶部35からRAM33にロードされたプログラムに従って各部を制御したり、各種の処理を実行したりする。RAM33にはまた、CPU31が各種の処理を実行する上において必要なデータなども適宜記憶される。
【0038】
CPU31には、また、ユーザの操作を受け付ける外部操作入力部34が接続されている。外部操作入力部34は、シャッタボタンやメニューボタン等の各種のボタン、ダイヤル、つまみ、並びにタッチパネル(いずれも図示せず)等で構成されており、ユーザが操作することにより、各種のユーザからの指示を受け付け、その指示情報をCPU31に供給する。CPU31は、その指示情報に基づいて、各種の処理を実行する。
【0039】
CPU31、ROM32、およびRAM33は、バス30を介して相互に接続されている。このバス30にはまた、不揮発性の半導体メモリ等で構成されるフラッシュメモリ35、LCD37に表示させる画像を制御する表示制御部36、メモリカード39等が装着されるメモリI/F(InterFace)38、図示せぬUSB(Universal Serial Bus)ケーブルが接続されるUSBコネクタ41を制御するUSBコントローラ40、並びに、他の装置と無線通信を行い、例えば、CPU31に制御されて、CCD12において取り込まれた画像データを他の装置に供給する無線通信部42が接続されている。
【0040】
表示制御部36は、図示せぬVRAM(Video Random Access Memory)が内蔵されている。表示制御部36は、CCD12より取り込んだ画像データを、内蔵するVRAMに記憶させ、そのVRAMに記憶されている画像データに対応する画像や、他のメモリ(RAM33、フラッシュメモリ35、メモリI/F38に接続されたメモリカード39等)に記憶されている画像データに対応する画像を、LCD37に表示させる。
【0041】
バス30にはまた、必要に応じて、図示せぬインタフェースを介して、ドライブ43が接続され、ドライブ43に装着された磁気ディスク44、光ディスク45、光磁気ディスク46、或いは半導体メモリ47などから読み出されたコンピュータプログラムが、RAM33やフラッシュメモリ35等にインストールされる。また、メモリI/F38に適宜装着されるメモリカード39から読み出されたコンピュータプログラムも、必要に応じて、RAM33やフラッシュメモリ35等にインストールされる。
【0042】
CPU31は、外部操作入力部34より入力されたユーザからの指示情報や、画像調整処理部21より供給された制御情報、または、各種のプログラムを実行することにより得られた情報等に基づいて、CDS回路13、AGC回路14、およびA/D変換器15の動作を制御する。
【0043】
また、外部操作入力部34から入力されたユーザからの指示に応じて、得られた画像データを他の装置に送信する送信方式が選択される。すなわち、図1の例においてはUSBコネクタ41また、無線通信部42を介して画像データを送信するかについて、外部操作入力部34よりユーザは自由に選択できる。CPU31は選択された通信方式に基づいて、CCD12の動作を制御するTG(Timing Generator)51を制御し、CCD12より取り込まれる画像データのデータ量を調整し、また、DSP16における画像データの圧縮を制御する。
【0044】
また、CPU31は、例えば、USBコントローラ40による有線通信の通信速度や、無線通信部42による無線通信の通信速度等の情報、または通信相手の装置より供給された要求や、外部操作入力部34より入力された要求等の情報に基づいて、CCD12の動作を制御するTG51を制御し、CCD12より取り込まれる画像データのデータ量を調整したり、バス30を介してDSP16の画像圧縮・伸張処理部22による圧縮処理における画像データの圧縮率を制御し、転送する画像データのデータ量を調整したりする。
【0045】
さらに、CPU31は、レンズ部11の動作を制御するアイリスシャッタドライバ53を制御し、シャッタスピードを調整したり、絞り機構を調整したりする。
【0046】
TG51およびVドライバ52は、CCD12に接続されており、シリアルコントロールバスを介してCPU31に制御されて、CCD12の動作を制御する。
【0047】
TG51は、CPU31より供給される制御信号に基づいて、図2を参照して後述するCCD12の水平転送レジスタ63を駆動する水平クロック信号やその他の制御信号を生成し、CCD12およびVドライバ52に供給する。
【0048】
Vドライバ52は、TG51より供給される制御信号等に基づいて、図2を参照して後述するように、CCD12の垂直転送レジスタ62−1乃至62−nを駆動する垂直制御信号V1乃至V8を生成し、CCD12に供給する、垂直レジスタ駆動用ドライバである。
【0049】
図2は、CCD12の内部の主な構成例を示す模式図である。
【0050】
図2において、CCD12には、固体撮像素子であるフォトダイオード61−1−1乃至61−n−mがm行n列に配置されており、各フォトダイオード61−1−1乃至61−n−mは、列ごとに垂直転送レジスタ62−1乃至62−nに接続されている。
【0051】
なお、以下において、フォトダイオード61−1−1乃至61−n−mは、それぞれを分けて説明する必要が無い場合、フォトダイオード61と称する。また、垂直転送レジスタ62−1乃至62−nについても同様に、分けて説明する必要の無い場合、垂直転送レジスタ62と称する。
【0052】
すなわち、左から1列目のフォトダイオード61−1−1乃至61−1−mは、垂直転送レジスタ62−1に接続され、2列目のフォトダイオード61−2−1乃至61−2−mは、垂直転送レジスタ62−2に接続される。3列目以降のフォトダイオードも同様に垂直転送レジスタ62−2に接続され、n列目のフォトダイオード61−n−1乃至61−n−mは、垂直転送レジスタ62−nに接続される。
【0053】
垂直転送レジスタ62−1は、複数のレジスタで構成され、各レジスタが接続されているフォトダイオード61−1−1乃至61−1−mに蓄積された電荷をそれぞれ保持することができる。また、垂直転送レジスタ62−1は、水平転送レジスタ63に接続されており、保持している電荷を1段ずつ移動させ、順次、水平転送レジスタ63に供給することができる。
【0054】
CCD12には、Vドライバ52より垂直制御信号V1乃至V8が供給されており、図3を参照して後述するように、垂直転送レジスタ62−1の各レジスタには、垂直制御信号V1乃至V8のいずれかの信号が供給される。垂直転送レジスタ62−1は、この垂直制御信号V1乃至V8に制御され、上述した電荷の保持や転送等の処理を実行する。
【0055】
Vドライバ52より供給されるSUB(SUBstrate)信号により基板電圧が印加されると、接続されているフォトダイオード61−1−1乃至61−1−mのうち、垂直制御信号V1,3,5、および7により指定されたフォトダイオードに蓄積された電荷は、垂直転送レジスタ62−1に転送される。そして、転送された電荷は、垂直制御信号V1乃至V8の制御により、1段ずつ図の下方向に移動され、順次、水平転送レジスタ63に転送される。
【0056】
垂直転送レジスタ62−2乃至62−nは、垂直転送レジスタ62−1と同様の構成であり、同様に動作するので、その説明は省略する。
【0057】
図3は、垂直制御信号V1乃至V8と垂直転送レジスタ62の一部との接続例を示す模式図である。
【0058】
図3に示されるように、垂直転送レジスタ62を構成する各レジスタの2段ごとに、フォトダイオード61が接続されており、フォトダイオード61が接続されているレジスタには垂直制御信号V1,V3,V5、またはV7がそれぞれ接続されており、それ以外のレジスタには、それぞれV2,V4,V6、またはV8が接続されている。
【0059】
従って、例えば、垂直制御信号V1,V3,V5、およびV7より所定の信号を垂直転送レジスタ62に入力すると、全てのフォトダイオード61に蓄積された電荷が垂直転送レジスタ62に転送される。
【0060】
また、例えば、垂直制御信号V5およびV7のみ、所定の信号をレジスタに入力すると、電荷が蓄積されたフォトダイオード61のうち、垂直制御信号V5およびV7が入力される図3のAのフォトダイオード61に蓄積された電荷のみが垂直転送レジスタ62に転送され、図3のBのフォトダイオード61に蓄積された電荷は転送されずに排出される。すなわち、この場合、5段につき1個のフォトダイオード61に蓄積された電荷が取り込まれる。
【0061】
図2に戻り、水平転送レジスタ63は、複数のレジスタにより構成され、各レジスタは、それぞれ接続されている垂直転送レジスタ62−1乃至62−nより供給される電荷をフォトダイオード1個分ずつ保持することができる。また、水平転送レジスタ63は、保持している電荷を1段ずつ移動させ、順次、CCD12の外部に供給することができる。
【0062】
さらに、水平転送レジスタ63には、各レジスタに、吐き出しドレインおよび吐き出しドレインにて電荷を吐き出すか否かを選択する列選択排出ゲート(いずれも図示せず)が接続されており、CCD12の外部に転送する電荷を選択することができる。
【0063】
TG51より供給されるRG信号により電圧が列選択排出ゲートに印加されると、接続されている垂直転送レジスタ62−1乃至62−nより転送されてきた電荷のうち、その列選択排出ゲートに接続された吐き出しドレインが配置されている列の電荷のみを選択的に排出する。そして、それ以外の電荷は、TG51より供給される水平制御信号(H1およびH2)の制御により、1段ずつ図の左方向に移動され、順次、CCD12の外部に転送される。
【0064】
以上のようにして、CPU31は、TG51を制御することにより、CCD12を制御して、取り込む画像データのデータ量を調整する。
【0065】
図4は、USBを用いた通信の様子の例を示す模式図である。
【0066】
USBによる通信においては、通信を行う端末が、通信を制御するホスト側と通信相手であるデバイス側に分けられる。
【0067】
ホスト側においては、図1のCPU31等において実行されるクライアントソフトウェア71が、図1のUSBコントローラ40において実行されるUSBシステムソフトウェア72に対して通信を指示し、USBシステムソフトウェア72が物理的なインタフェースであるUSBバスI/F73を介した通信を制御する。
【0068】
これに対して、デバイス側においては、デバイス固有の機能であるファンクション74がUSBロジカルデバイス75に通信を指示し、USBロジカルデバイス75が物理的なインタフェースであるUSBバスI/F76を介した通信を制御する。
【0069】
すなわち、クライアントソフトウェア71とファンクション74は、USB通信により授受される情報に基づいて、互いに関連する処理を実行し、USBシステムソフトウェア72とUSBロジカルデバイス75がUSB通信を制御して、要求された情報の授受を、USBバスI/F73および76を介して行う。
【0070】
図1のUSBコントローラ40は、通信規格であるUSBのバージョン2.0に対応しており、最大転送速度480Mbpsで通信を行う。また、USBコントローラ40は、USBコネクタ41にUSBケーブルを介して接続された通信相手である他の装置がUSBのバージョン1.1に対応しており、最大転送速度が12Mbpsや1.5Mbpsである場合、それらの転送速度に合わせて通信を行う。また、その情報は、CPU31に供給され、CPU31は、その情報に基づいて、CCD12より取り込まれる画像データのデータ量を調整したり、画像データの圧縮率を調整したりする。
【0071】
さらに、USBコントローラ40は、後述するように、各種の負荷等により変動する実際の転送速度を測定し、その情報をCPU31に供給する。CPU31は、その情報に基づいて、CCD12より取り込まれる画像データのデータ量を調整したり、画像データの圧縮率を調整したりする。
【0072】
図5は、図1の無線通信部42の詳細な構成例を示す図である。
【0073】
アンテナ81は、他の装置からの電波を受信し、その受信信号をセレクタ82に供給するとともに、セレクタ82からの信号を、電波で他の装置に供給する。セレクタ82は、アンテナ81より受信した信号を、例えば、CDMA(Code Division Multiple Access)方式等によって復調し、その結果得られる復調信号を、ダウンコンバータ83に供給する。
【0074】
ダウンコンバータ83は、取得した復調信号の搬送波の周波数を低い周波数に変換し、その復調信号を受信I/F84に供給する。受信I/F84は、取得した復調信号に対してA/D変換処理等の処理を施し、そのデジタル信号をベースバンド信号処理85に供給する。
【0075】
ベースバンド信号処理部85は、受信I/F84より取得したデジタル信号より規格に基づいて、パケット処理やエラー信号処理等を行って受信データを抽出し、バス30に供給したり、バス30を介して取得したデータに制御信号等の付加等を行い、送信I/F86に供給したりする。
送信I/F86は、取得したデジタル信号をアナログ信号に変換し、パワーアンプ87に供給する。パワーアンプ87において、出力を増加された送信信号は、セレクタ82を介してアンテナ81より出力される。
【0076】
なお、無線通信部42における最大通信速度は、通信キャリアや通信規格等により異なる。
【0077】
また、無線通信部42は、通信相手である通信装置の最大通信速度によって、通信可能な速度に転送速度を変更する。その情報は、CPU31に供給され、CPU31は、その情報に基づいて、CCD12より取り込まれる画像データのデータ量を調整したり、画像データの圧縮率を調整したりする。
【0078】
さらに、無線通信部42は、後述するように、各種の負荷等により変動する実際の転送速度を測定し、その情報をCPU31に供給する。CPU31は、その情報に基づいて、CCD12より取り込まれる画像データのデータ量を調整したり、画像データの圧縮率を調整したりする。
【0079】
次に、CPU31が、USBコネクタ41を介して接続された通信装置の最大通信速度に応じて、CCD12より取り込まれる画像データのデータ量を調整する場合について説明する。図6は、図1の携帯電話機1により撮像された画像データを、USBケーブルを介して他の装置に転送し、表示するシステムの構成例を示す模式図である。
【0080】
図6Aにおいて、携帯電話機1は、図中、携帯電話機1の下部に設けられたUSBコネクタ41に接続されたUSBケーブル92を介して、PDA(Personal Digital Assistants)91に接続されている。図中、携帯電話機1の左上部に設けられたレンズ部11を介して図1のCCD12に入射された入射光を光電変換して得られた動画像データは、CPU31に制御されて、対応する動画像が、図中、携帯電話機1の正面上部に設けられたLCD37に表示されるとともに、USBケーブル92を介して、PDA91に供給され、図中、PDA91の正面に設けられた表示部に表示される。
【0081】
なお、レンズ部11、LCD37、およびUSBコネクタ41は、携帯電話機1の、上述した以外の場所に設けられているようにしてもよい。
【0082】
図6Aの場合、PDA91の最大転送速度は1.5Mbpsであるとすると、携帯電話機1とPDA91との間の通信速度は、最大1.5Mbpsとなる。つまり、携帯電話機1が最大通信速度480Mbpsの通信能力を有していたとしても、これら機器間の最大通信速度は、最大通信速度が携帯電話機1より遅いPDA91の通信能力に応じたものとなる。
【0083】
従って、携帯電話機1のCPU31は、この場合、PDA91との通信における最大可能通信速度が遅いと判断し、CCD12において取り込まれる動画像データのデータ量が少なくなるように制御する。これにより、PDA91にはデータ量の少ない動画像データが転送され、PDA91の表示部には画質の低い低画質動画像93が表示される。すなわち、CPU31は、USBコントローラ40がPDA91の最大通信速度に応じて設定した通信速度において、正常に転送可能なデータ量となるように、CCD12を制御して、取り込まれる画像データのデータ量を減らす。以上のようにして、携帯電話機1は、最大転送速度1.5MbpsのUSB通信であっても、オーバーフローやコマ落ち等を発生させずに、動画像データをPDA1に供給することができる。
【0084】
また、図6Bに示されるように、PDA91の最大転送速度が480Mbpsである場合、すなわち、転送する画像データのデータ量が大きくても正常に転送可能な場合、CPU31は、CCD12において取り込まれる動画像データのデータ量を減らさないように制御し、その取り込まれた動画像データをPDA91に供給する。これによりPDA91の表示部には画質の高い高画質動画像94が表示される。
【0085】
以上のように、CPU31は、動画像データの供給先の装置の処理能力に応じて、CCD12を制御して、取り込む動画像データのデータ量を調整する。
【0086】
具体的には、CPU31は、USBコントローラ40よりデータ供給先の情報を取得し、その情報に基づいて、取り込む動画像データの画質を決定するモードを選択し、そのモードに応じてCCD12等を制御して、データ量を調整した動画像データを取り込み、その動画像データを、USBケーブル92を介してPDA91に供給する。
【0087】
次に、図7のフローチャートを参照して、図6に示される場合におけるCPU31による動画像データ取り込みに関するモード設定処理について説明する。
【0088】
ユーザの指示などに基づいて、撮像処理が開始されると、CPU31は、最初にステップS1において、動画像データの転送に関する能力の情報を含む、PDA91の機器情報を、USBコントローラ40に要求し、USBコントローラ40より取得したか否かを判定する。
【0089】
USBコントローラ40より取得したと判定した場合、CPU31は、ステップS2において、取得した機器情報に基づいて、CCD12における動画像データ取り込みに関するモードを、予め用意された2つのモードである、所定のデータ量の画像データを転送するための高画質モード、および、高画質モードの場合よりもデータ量の少ない画像データを転送するための低画質モードより選択し、設定する。モードを設定したCPU31は、処理をステップS3に進める。
【0090】
また、ステップS1において、機器情報を取得していないと判定した場合、CPU31は、ステップS2の処理を省略し、ステップS3に処理を進める。
【0091】
ステップS3において、CPU31は、モード設定処理を終了するか否かを判定し、終了しないと判定した場合、処理をステップS1に戻し、それ以降の処理を繰り返す。
【0092】
また、モード設定処理を終了すると判定した場合、CPU31は、ステップS4に処理を進め、終了処理を行い、モード設定処理を終了する。
【0093】
以上のように、動画像取り込みに関するモードを決定したCPU31は、次に、画像取り込み制御処理を実行する。図8のフローチャートを参照して画像取り込み制御処理を説明する。
【0094】
CPU31は、ステップS21において、現在の動画像取り込みに関するモードが高画質モードであるか否かを判定する。高画質モードであると判定した場合、CPU31は、処理をステップS22において、図1のCCD12、TG51を制御して、全ての画素の画像信号を取り込み、高画質な動画像データを生成する。
【0095】
高画質モード時において、動画像の第1フィールドが抽出される場合、図3に示される垂直制御信号V3およびV7に対応するフォトダイオード61に蓄積された電荷が垂直転送レジスタ62に転送され、画像の第2フィールドが抽出される場合、垂直制御信号V1およびV5に対応するフォトダイオード61に蓄積された電荷が垂直転送レジスタ62に転送される。以上のように、CPU31は、CCD12が全てのフォトダイオード61より電荷を取り込み、1フレーム分の動画像データを出力するように、TG51を制御する。
【0096】
ステップS22の処理を終了するとCPU31は、処理をステップS24に進める。
【0097】
また、ステップS21において、現在の動画像取り込みに関するモードが高画質モードでない(低画質モードである)と判定した場合、CPU31は、ステップS23に処理を進め、図1のCCD12、TG51を制御して、一部の画素の画像信号を取り込み、低画質な動画像データを生成する。
【0098】
低画質モード時において、1フレーム分の電荷を抽出する場合、図3に示される垂直制御信号V5およびV7に対応するフォトダイオード61(図3のAのフォトダイオード)に蓄積された電荷のみが垂直転送レジスタ62に転送される。これにより、図9に示されるように、垂直方向のデータ量が5分の1に削減される。
【0099】
CCD12には入射光よりR(Red),G(Green)、およびB(Blue)のフィルタがベイヤーパターンで配列された原色フィルタが用いられており、図9に示されるように、フォトダイオード61は、G信号に対応する電荷が抽出されるフォトダイオード、およびB信号に対応する電荷が抽出されるフォトダイオードが図中横方向に隣り合う行と、R信号に対応する電荷が抽出されるフォトダイオード、およびG信号に対応する電荷が抽出されるフォトダイオードが図中横方向に隣り合う行とが、図中縦方向に、交互に配置されている。
【0100】
すなわち、図中上から1行目の行は、G信号に対応する電荷が抽出されるフォトダイオード、およびB信号に対応する電荷が抽出されるフォトダイオードが隣り合う行であり、図中上から2行目の行は、R信号に対応する電荷が抽出されるフォトダイオード、およびG信号に対応する電荷が抽出されるフォトダイオードが隣り合う行である。
【0101】
低画質モードにおいては、以上のような構成のフォトダイオード61のうち、図9のAの行の電荷が取り込まれ、垂直方向のデータ量が5分の1に削減される。
【0102】
また、以上のように、垂直転送レジスタ62に転送された電荷は、上述したように、1段ずつ、水平転送レジスタ63に転送される。このとき、水平転送レジスタ63は、TG51よりCCD12に供給されるRG信号に制御され、所定の列の電荷以外の電荷を排出する。例えば、水平転送レジスタ63は、RG信号の制御に基づいて、5列おきに電荷を残すようにし、間の4列の電荷を吐き出しドレインより排出する。このように水平転送レジスタを動作させることにより、水平方向のデータ量が5分の1に削減される。
【0103】
以上のように、CPU31は、CCD12の一部のフォトダイオードより電荷を取り込み、1フレーム分の動画像データを生成する。
【0104】
図8に戻り、ステップS23の処理を終了すると、CPU31は、ステップS24に処理を進める。
【0105】
ステップS24において、CPU31は、画像取り込み制御処理を終了するか否かを判定する。まだ終了しないと判定した場合、CPU31は、処理をステップS21に戻し、それ以降の処理を繰り返す。
【0106】
また、ステップS24において、ユーザの入力などに基づいて、画像取り込み制御処理を終了すると判定した場合、CPU31は、ステップS25において、終了処理を行って、画像取り込み制御処理を終了する。
【0107】
以上のようにして取り込んだ動画像データを、CPU31は、USBコントローラ40等に供給し、USBケーブル92を介してPDA91に供給することができる。これにより、携帯電話機1は、オーバーフローやコマ落ち等を発生させずに、動画像データをPDA91に供給することができる。なお、フォトダイオード61からの読み出し方法は、上述した方法に限らず、画質モードに応じて読み出される電荷の量が制御されれば、どのような方法であってもよい。
【0108】
また、取り込んだ動画像データを供給する際、CPU31は、画像データを圧縮してからPDA1に供給するようにしてもよい。その場合、通信速度に応じて、すなわち、動画像取り込みモードに応じて、圧縮率を変更することができる。このとき、上述したように、画質モードに応じて、CCD12からの読み出し電荷の量は、変化しない。
【0109】
図10のフローチャートを参照して、CPU31による画像データ圧縮処理を説明する。
【0110】
ステップS41において、CPU31は、現在のモードが高画質モードであるか否かを判定し、高画質モードであると判定した場合、ステップS42において、第1の圧縮率により高画質な動画像データを圧縮し、処理をステップS44に進める。
【0111】
また、ステップS41において、現在のモードが高画質モードではない(低画質モードである)と判定した場合、CPU31は、ステップS43において、第1の圧縮率よりも高い圧縮率である第2の圧縮率により低画質な動画像データを圧縮し、処理をステップS44に進める。
【0112】
ステップS44において、CPU31は、画像データ圧縮処理を終了するか否かを判定し終了しないと判定した場合、処理をステップS41に戻し、それ以降の処理を繰り返す。
【0113】
また、ステップS44において、何らかの理由により画像データ圧縮処理を終了すると判定した場合、CPU31は、ステップS45において、終了処理を行った後、画像データ圧縮処理を終了する。
【0114】
以上のようにして、CPU31は、取り込んだ動画像データを、動画像取り込みモードに応じた圧縮率で圧縮し、USBコントローラ40等に供給し、USBケーブル92を介してPDA91に供給することができる。これにより、携帯電話機1は、オーバーフローやコマ落ち等を発生させずに、動画像データをPDA91に供給することができる。
【0115】
また、上述の実施例を組み合わせた新たな実施例が考えられる。すなわち、通常考えられるものとして、高画質モード(高速転送可能)時、CCD12から読み出される電荷量を多くして、低圧縮し、低画質モード(低速転送のみ可能)時、CCD12から読み出される電荷量を少なくして、高圧縮することにする。さらに、圧縮処理を優先した場合には、高画質モード(高速転送可能)時、CCD12から読み出される電荷量を少なくして、低圧縮したり、低画質モード(低速転送のみ可能)時、CCD12から読み出される電荷量を多くして、高圧縮する。
【0116】
以上においては、動画像データの供給先であるPDA91の通信速度に関する情報に応じて動画像取り込みモードを変更するように説明したが、例えば、図11に示されるように、携帯電話機1とPDA91とがLAN(Local Area Network)やインターネットに代表されるネットワーク101を介して接続されているような場合、このネットワーク101の通信帯域やトラフィック状態等に応じて、動画像取り込みモードを調整するようにしてもよい。トラフィック状態の判断は、例えば、機器間の通信確立初期段階において、通信相手やその通信相手の通信能力を知るために発行されるコマンドに対して、その通信相手から発行されるレスポンスを得るまでの時間を計時することにより判断される。
【0117】
例えば、図11Aに示されるように、ネットワーク101Aが広帯域のネットワークであったり、混雑していなかったりする場合、すなわち、高速通信が可能な場合、携帯電話機1のCPU31は、動画像取り込みモードを高画質モードにし、高画質な動画像データを生成し、PDA91に供給する。PDA91は、取得した高画質な動画像データに対応する高画質動画像94を表示部に表示する。
【0118】
また、例えば、図11Bに示されるように、ネットワーク101Bが狭帯域のネットワークであったり、混雑していたりするような場合、すなわち、高速通信が不可能な場合、携帯電話機1のCPU31は、動画像取り込みモードを低画質モードにし、低画質でデータ量の少ない動画像データを生成し、PDA91に供給する。PDA91は、取得した低画質な動画像データに対応する低画質動画像93を表示部に表示する。
【0119】
次に、図12のフローチャートを参照して、上述した場合におけるモード設定処理を説明する。
【0120】
最初に、CPU31は、USBコントローラ40を制御して、現在の通信速度等に関する情報を含む通信情報を生成させ、バス30を介して取得する。CPU31は、ステップS61において、その通信情報を取得したか否かを判定し、取得したと判定した場合、ステップS62において、取得した通信情報に基づいて、動画像取り込みに関するモードを設定し、ステップS63に処理を進める。
【0121】
ステップS61において、通信情報を取得していないと判定した場合、CPU31は、ステップS62の処理を省略して、ステップS63に処理を進める。
【0122】
ステップS63において、CPU31は、モード設定処理を終了するか否かを判定し、終了すると判定した場合、処理をステップS61に戻し、それ以降の処理を繰り返す。
【0123】
また、ユーザの指示等に基づいて、モード設定処理を終了すると判定した場合、CPU31は、ステップS64に処理を進め、終了処理を行った後、モード設定処理を終了する。
【0124】
以上のようにして、CPU31は、USBコントローラ40の現在の通信速度に応じて、動画像取り込みに関するモードを設定することができる。これにより、動画像データの供給先のPDA91との間に接続されているネットワーク101のトラフィック状況等が変化した場合においても、正常に動画像データをPDA91に供給することができ、PDA91に、オーバーフローやコマ落ち等を発生させずに、供給した動画像データに対応する動画像を表示させることができる。
【0125】
なお、以上においては、動画像データを供給する携帯電話機1と、動画像データを取得するPDA91の間に、ネットワーク101が存在する場合について説明したが、これに限らず、例えば、中継装置のような携帯電話機1およびPDA91と通信可能な通信装置であってもよい。
【0126】
また、以上に説明した場合以外にも、動画像データを供給されるPDA91の指示に基づいて、CPU31が動画像取り込みに関するモードを設定するようにしてもよい。
【0127】
動画像データの受け手側の要求に基づいて、動画像取り込みモードを設定する場合のモード設定処理について、図13のフローチャートを参照して説明する。
【0128】
CPU31は、ステップS81において、USBコントローラ40を制御して、PDA91より画質指定要求を取得したか否かを判定し、取得したと判定した場合、ステップS82において、取得した画質指定要求に基づいて、動画像取り込みに関するモードの設定を更新し、処理をステップS83に進める。
【0129】
ステップS81において、PDA91より画質指定要求を取得していないと判定した場合、CPU31は、ステップS82の処理を省略し、ステップS83に処理を進める。
【0130】
ステップS83において、CPU31は、USBコントローラ40を制御して、PDA91より指定解除要求を取得したか否かを判定し、取得したと判定した場合、ステップS84において、ステップS82の処理により更新したモードの設定を元に戻し、処理をステップS85に進める。
【0131】
また、ステップS83において、指定解除要求を取得していないと判定した場合、CPU31は、ステップS84の処理を省略し、処理をステップS85に進める。
【0132】
そして、CPU31は、ステップS85において、モード設定処理を終了するか否かを判定し、終了しないと判定した場合、処理をステップS81に戻し、それ以降の処理を繰り返す。
【0133】
また、ユーザの指示等に基づいて、モード設定処理を終了すると判定した場合、CPU31は、ステップS86において、終了処理を行った後、モード設定処理を終了する。
【0134】
すなわち、CPU31は、動画像データの供給先であるPDA91より画質指定要求を取得した場合、指定解除要求を取得するまで、その要求されたモードに固定し、他の条件による設定よりも優先させる。そして、指定解除要求を取得すると、CPU31は、モード設定を、画質指定要求を取得する前のモードに戻す。
【0135】
以上のようにして、CPU31は、PDA91側からの要求に基づいて、動画像取り込みに関するモードの設定を行うことができる。これにより、例えば、PDA91のユーザが表示部に表示された動画像を確認しながら、動画像の画質を指定することができる。
【0136】
また、携帯電話機1は、無線通信部42を利用して、図14Aに示されるように、無線通信により他の携帯電話機と動画像データの授受を行うことも、また、図14Bに示されるように、USBコネクタ41に接続されたPDA91に動画像データを供給することも可能である。このとき、例えば、図14Aに示されるように、無線通信部42を用いた無線通信の場合、最大通信速度は9600bpsとなり、図14Bに示されるように、USBコントローラを使用する有線通信の場合、最大通信速度は480Mbpsとなる。
【0137】
このように、使用する通信部等によっても通信速度が変化する場合があり、CPU31は、動画像データの供給に使用する通信部に応じて、モード設定を行うようにしてもよい。
【0138】
例えば、図14Aに示されるように、携帯電話機1と同様の構成であり、かつ同様に動作する携帯電話機1Aの左上部に設けられたレンズ部11を介して入射された入射光をCCD12において光電変換して得られた動画像データを、最大通信速度9600bpsの無線通信を用いて、携帯電話機1と同様の構成であり、かつ同様に動作する携帯電話機1Bに供給する場合、携帯電話機1AのCPU31は、動画像取り込みに関するモードを低画質モードに設定する。
【0139】
設定された低画質モードに基づいて、データ量の少ない動画像データが取り込まれると、携帯電話機1AのCPU31は、その動画像データに対応する低画質な動画像を携帯電話機1Aの正面に設けられたディスプレイ37に表示させるとともに、その動画像データを、無線通信部42に供給し、携帯電話機1Aの右上部に設けられたアンテナ81を介して携帯電話機1Bに転送させる。
【0140】
携帯電話機1BのCPU31は、送信された動画像データを、携帯電話機1Bの右上部に設けられたアンテナ81を介して取得すると、対応する低画質動画像93を、携帯電話機1Bの正面に設けられたディスプレイ37に表示させる。
【0141】
また、例えば、図14Bに示されるように、携帯電話機1の左上部に設けられたレンズ部11を介して入射された入射光をCCD12において光電変換して得られた動画像データを、最大通信速度480MbpsのUSB通信を用いて、PDA91に供給する場合、携帯電話機1のCPU31は、動画像取り込みに関するモードを高画質モードに設定する。
【0142】
設定された高画質モードに基づいて、データ量の少ない動画像データが取り込まれると、携帯電話機1のCPU31は、その動画像データに対応する高画質な動画像を携帯電話機1の正面に設けられたディスプレイ37に表示させるとともに、その動画像データを、USBコントローラ40に供給し、携帯電話機1の下部に設けられたUSBコネクタ41に接続されたUSBケーブル92を介してPDA91に転送させる。
【0143】
PDA91は、その動画像データを取得すると、対応する高画質動画像94を、ディスプレイに表示させる。
【0144】
図15のフローチャートを参照して、以上のような場合のモード設定処理を説明する。
【0145】
最初に、ステップS101において、CPU31は、USBコントローラ40および無線通信部42を制御し、それぞれから通信能力に関する情報を取得し、使用する通信部が高速通信可能か否かを判定する。高速通信可能であると判定した場合、CPU31は、ステップS102において、高画質モードを設定し、モード設定処理を終了する。また、ステップS101において、高速通信が不可能であると判定した場合、CPU31は、ステップS103において、低画質モードを設定し、モード設定処理を終了する。
【0146】
以上のようにして、CPU31は、使用する通信部の能力に応じて動画像の取り込みに関するモードを設定することができる。
【0147】
また、図16Aに示されるように、CPU31が、動画像データを取得するPDA91からの要求に基づいて、CCD12において、静止画像を所定の画質で取り込むことができるようにしてもよい。その際、静止画像は、リアルタイムに転送する必要が無いため、データ量が多くても正常に転送可能であるので、動画像取り込みに関する現在のモードとは関係なく、予め設定されたモードで取り込むことができるようにしてもよい。すなわち、現在、動画像が低画質モードで転送されている場合においても、携帯電話機1の静止画像撮影モードが高画質撮影モードで設定されている場合は、その設定情報に基づいて静止画を取り込むことができる。
【0148】
図17のフローチャートを参照して、PDA91からの要求に基づいて、静止画像を高画質モードで取り込む際のモード設定処理を説明する。
【0149】
最初に、CPU31は、ステップS121において、USBコントローラ40を制御して、静止画像キャプチャ指示を取得したか否かを判定し、取得したと判定するまで待機する。
【0150】
取得したと判定した場合、CPU31は、ステップS122に処理を進め、高画質モードに設定する。そして、ステップS123において、CPU31は、CCD12を制御して、静止画像データを取得したか否かを判定し、取得したと判定するまで待機する。
【0151】
CCD12において、静止画像を取り込み、静止画像データを取得したと判定した場合、CPU31は、処理をステップS124に進め、高画質モードに変更した設定を元に戻し、静止画像キャプチャの処理を終了し、動画像の取り込みを再開する。
【0152】
CPU31は、ステップS125において、モード設定処理を終了するか否かを判定し、終了しないと判定した場合、処理をステップS121に戻し、それ以降の処理を繰り返す。
【0153】
また、モード設定処理を終了すると判定した場合、CPU31は、ステップS126において、終了処理を行い、モード設定処理を終了する。
【0154】
以上のようにして、CPU31は、PDA91からの要求に基づいて、動画像取り込みに関する現在のモードに関係なく、高画質の静止画像に対応する静止画像データを取得することができる。
【0155】
取得した静止画像データは、さらに、図16Bに示されるように、PDA91からの要求に基づいて、PDA91に供給され、PDA91の表示部に対応する静止画像111が表示されるようにしてもよい。静止画像データ転送中は、動画像データの最大転送速度が低下するので、携帯電話機1のCPU31は、動画像の取り込みに関するモードを低画質モードに変更する。その際、PDA91の表示部には、取り込まれた高画質な静止画像111とともに、低画質な動画像93が表示される。そして、全ての静止画像データの転送が終了すると、CPU31は、動画像の取り込みに関するモードを元に戻す。
【0156】
図18のフローチャートを参照して、静止画像データを転送する際のモード設定処理を説明する。
【0157】
最初に、ステップS141において、CPU31は、静止画像転送指示を取得したか否かを判定し、取得したと判定するまで待機する。取得したと判定した場合、CPU31は、ステップS142に処理を進め、動画像取り込みに関するモードを低画質モードに設定し、USBコントローラ40を制御して、静止画像データの転送を開始する。
【0158】
ステップS143において、CPU31は、静止画像の転送処理が終了したか否かを判定し、終了したと判定するまで待機する。静止画像の転送処理が終了したと判定した場合、CPU31は、処理をステップS144に進め、低画質モードに設定した動画像取り込みに関するモードの設定を元に戻す。
【0159】
そして、CPU31は、ステップS145において、終了するか否かを判定し、終了しないと判定した場合、ステップS141に処理を戻し、それ以降の処理を繰り返す。また、ステップS145において、終了すると判定した場合、CPU31は、ステップS146において、終了処理を行った後、モード設定処理を終了する。
【0160】
以上のようにして、携帯電話機1のCPU31は、PDA91からの要求に基づいて、静止画像をキャプチャし、その静止画像データをPDA91に供給することができる。
【0161】
また、携帯電話機1に接続される通信装置は、PDA91以外であってもよく、例えば、図19に示されるように、2台の携帯電話機1(携帯電話機1Aおよび1B)、並びにPDA91がLANやインターネットに代表されるネットワーク120を介して接続されるようにしてもよい。
【0162】
図19に示される例においては、携帯電話機1Aにおいて静止画像が取り込まれ、その静止画像データが、ネットワーク120を介してPDA91に供給され、内蔵する記憶部に記憶される(静止画像111Aおよび111B)。また、携帯電話機1Bにおいて動画像が取り込まれ、その動画像データがネットワーク120を介してPDA91に供給され、その動画像データに対応する動画像112が表示部に表示されている。また、PDA91は、携帯電話機1Aより取得し、内蔵する記憶部に記憶している静止画像111Aおよび111Bを、ネットワーク120を介して携帯電話機1Bに配信しており、携帯電話機1Bにおいて、携帯電話機1AよりPDA91に供給された静止画像111Aおよび111Bを確認することができる。
【0163】
このような場合における各装置の処理の流れの例を、図20のタイミングチャートを参照して説明する。
【0164】
最初に、携帯電話機1Bは、ステップS181において、動画像の取り込みに関するモードを高画質モードに設定し、ステップS182において、動画像データの生成および転送を開始する。この処理に対応して、PDA91は、ステップS171において、携帯電話機1Bより転送される動画像データの受信を開始する。
【0165】
また、携帯電話機1Aは、ステップS161において、撮像処理を行い、静止画像データを生成し、ステップS162において、静止画像データの転送を開始する。この処理に対応して、PDA91は、ステップS172において、携帯電話機1Aより転送される静止画像データの受信を開始する。
【0166】
ステップS172において、静止画像データの受信を開始したPDA91は、ステップS173において、静止画像データの受信開始を携帯電話機1Bに通知する。携帯電話機1Bは、ステップS183において、その通知を取得すると、ステップS184において、動画像の取り込みに関するモードを低画質モードに設定する。これ以降、携帯電話機1Bにおいては、低画質の動画像に対応する、データ量の少ない動画像データが生成され、PDA91に転送される。
【0167】
また、PDA91は、ステップS174において、受信した静止画像データの携帯電話機1Bへの配信を開始する。この処理に伴い、携帯電話機1Bは、ステップS185において、PDA91より配信される静止画像データの受信を開始する。
【0168】
携帯電話機1Aは、全ての静止画像データをPDA91に転送すると、ステップS163において、静止画像データの転送を終了し、PDA91に通知する。
【0169】
PDA91は、ステップS175においてその通知を取得すると、ステップS176において、静止画像データの受信が終了したことを携帯電話機1Bに通知する。携帯電話機1Bは、ステップS186において、その通知を取得する。
【0170】
また、PDA91は、全ての静止画像データを携帯電話機1Bに配信すると、ステップS177において、静止画像データの配信を終了し、携帯電話機1Bに通知する。
【0171】
携帯電話機1Bは、ステップS187においてその通知を取得すると、その通知とステップS186において取得した通知とにより、ネットワーク120のトラフィックが低下したと判断し、ステップS188において、動画像取り込みに関するモードを高画質モードに設定する。
【0172】
以上のようにして、携帯電話機1Bは、PDA91に最適なデータ量の動画像データを供給することができる。
【0173】
なお、以上においては、携帯電話機1の撮像素子としてCCDを用いるように説明したが、これに限らず、例えば、CMOS(Complementary Metal Oxide Semiconductor)センサを用いるようにしてもよい。
【0174】
図21は、CMOSセンサの構成例を示す図である。
【0175】
図21において、CMOSセンサには、フォトダイオード等の光電変換素子、その素子の蓄積電荷を読み出して増幅する増幅型MOS(Metal Oxide Semiconductor)トランジスタ、およびその増幅型MOSトランジスタを活性する選択MOSトランジスタ等を有する画素121−11乃至121−33が3行3列に配置されている。
【0176】
これらの画素121−11乃至121−33には、垂直出力線Vsig124−1乃至124−3が接続されており、シフトレジスタ122より出力される制御信号VSEL123−1乃至123−3によって選択された水平ラインの画素に蓄積された電荷が垂直出力線に出力される。垂直シフトレジスタ122は、図1乃至3を参照して説明したCCD12の場合と同様に、CMOSセンサの外部のVドライバ52の制御に基づいて、制御信号VSEL123−1乃至123−3を出力する。
【0177】
垂直出力線に出力された水平ライン毎の電荷は、蓄積キャパシタを有する蓄積部125−1乃至125−3に蓄積される。そして、水平シフトレジスタ127より出力された制御信号によって選択されたスイッチ126−1乃至126−3がオンされると、そのスイッチに接続された蓄積部に蓄積された電荷は、出力線VHに読み出され、積分器128に供給される。水平シフトレジスタ127は、図1乃至3を参照して説明したCCD12の場合と同様に、CMOSセンサの外部のTG51の制御に基づいて、制御信号をスイッチ126−1乃至126−3に供給する。
【0178】
従って、CPU31は、CCD12の場合と同様に、TG51およびVドライバ52を介して、CMOSセンサの垂直シフトレジスタ122および水平シフトレジスタ127を制御し、動画像取り込みに関するモードに応じて、電荷を取り出す画素を選択することができる。
【0179】
すなわち、CPU31は、図22に示されるように、例えば、図9に示されるCCD12の場合と同様に、R,G、またはBのいずれかに対応する各画素がベイヤーパターンで配置されたCMOSセンサより、図中の丸印の画素のみを抽出するなど、所定の間隔で電荷を抽出する画素を選択し、生成された画像データのデータ量を減らすことができる。
【0180】
これにより、CPU31は、CCD12の場合と同様に、通信速度や通信相手の要求などに基づいて、動画像取り込みに関するモードを設定し、そのモードに応じたデータ量の動画像データを生成することができ、適切なデータ量の動画像データを供給することができる。
【0181】
以上においては、CMOSセンサには、フォトレジスタ121−11乃至121−33が3行3列に配置されているように説明したが、これに限らず、フォトレジスタの数はいくつであってもよい。
【0182】
以上のように、本発明を適用した携帯電話機1は、通信相手機器である他の機器の通信能力、並びに、ネットワークの帯域幅やトラフィック状態等の、携帯電話機1の外部の条件による外的要因や、動画像を送信中における静止画の送受信などのような、本発明の撮像装置における内的要因に応じて、転送する動画像データのデータ量を制御することにより最適なデータ量の画像データを他の機器に供給することが出来る。
【0183】
その際、画像データのデータ量は予め決められたプログラムに従って決定されるようにしてもよいし、画像データが送信される送信速度とネットワークの帯域により随時決定されるようにしてもよい。前者の場合、例えば、単にUSBの場合は全画素読み出し、無線の場合は間引き読み出しというように予めプログラムされている。後者の場合、例えば、ネットワークの空き帯域を、一定期間ごとにPINGパケットのようなものを相手機器に送信し、相手機器からのレスポンスが帰ってくる時間を測定する等して監視し、その空き帯域と通信速度から最適な画像データの間引き率(圧縮率)を決定する。
【0184】
なお、転送画像データのデータ量を制御する要因は、上述した以外であってもよく、例えば、携帯電話機1のCPU31の負荷状況等によっても制御されるようにしてもよい。
【0185】
なお、以上においては、カメラ機能を有する携帯電話機1を用いて説明したが、これに限らず、例えば、カメラ機能を有するPDAやパーソナルコンピュータ、通信機能付きデジタルカメラ等、カメラ機能と通信機能を有する電子機器であれば何でもよい。
【0186】
また、携帯電話機1は、USBコントロール部40および無線通信部42の2つの通信機能を備えるように説明したが、これに限らず、通信機能を1つ備えるようにしてもよいし、3つ以上備えるようにしてもよい。
【0187】
さらに、その通信機能は、有線通信であってもよいし、無線通信であってもよい。さらに、利用される通信規格は、有線通信の場合、USB以外にも、例えば、IEEE1394、SCSI、Ethernet(R)を用いたIEEE802.3等であってもよいし、それ以外の通信規格であってもよい。また、無線通信の場合、通信キャリアを介した電話回線経由の通信以外にも、IEEE802.11x、ブルートゥース、赤外線を用いたIrDA等の近距離無線通信であってもよい。
【0188】
また以上においては、動画像データを取得する装置がPDA91である場合について説明したが、本発明は、これに限られるものではなく、例えば、携帯電話機、デジタルビデオカメラ、あるいはテレビジョン受像機などの電子機器に広く適用することができる。
【0189】
さらに、以上においては、モード設定処理におけるモード設定の条件として、複数の条件をそれぞれ個別に説明したが、これに限らず、上述した複数の条件を組み合わせて同時に適用し、それらの条件に基づいて、モードを設定するようにしてもよい。
【0190】
上述した一連の処理は、ハードウェアにより実行させることもできるが、ソフトウェアにより実行させることもできる。一連の処理をソフトウェアにより実行させる場合には、そのソフトウェアを構成するプログラムが、専用のハードウェアに組み込まれているコンピュータ、または、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどに、記録媒体からインストールされる。
【0191】
コンピュータにインストールされ、コンピュータによって実行可能な状態とされるプログラムを記録する記録媒体は、図1に示されるように、磁気ディスク44(フレキシブルディスクを含む)、光ディスク45(CD−ROM(Compact Disc−Read Only Memory)、DVD(Digital Versatile Disc)を含む)、光磁気ディスク46(MD(Mini−Disc)(登録商標)を含む)、もしくは半導体メモリ47などよりなるパッケージメディア、または、プログラムが一時的もしくは永続的に記録されるROM32やフラッシュメモリ35などにより構成される。記録媒体へのプログラムの記録は、必要に応じてルータ、モデムなどのインターフェースを介して、公衆回線網、ローカルエリアネットワーク、またはインターネットなどのネットワーク、デジタル衛星放送といった、有線または無線の通信媒体を利用して行われる。
【0192】
なお、本明細書において、記録媒体に記録されるプログラムを記述するステップは、記載された順序に沿って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的あるいは個別に実行される処理をも含むものである。
【0193】
【発明の効果】
以上のように、本発明によれば、動画像データを他の装置に供給することができる。特に、最適なデータ量の画像データを他の装置に供給することができる。また、通信相手機器である他の機器の通信能力やネットワークの帯域幅やトラフィック状態などの外的要因や、動画像を送信中に静止画を送信または受信するなどの本発明の撮像装置における内的要因に応じて、転送する動画像データのデータ量を制御することにより最適なデータ量の画像データを他の機器に供給することが出来る。
【図面の簡単な説明】
【図1】本発明を適用したカメラ機能を有する携帯電話機の基本的な構成例を表す図である。
【図2】図1のCCDの内部の主な構成例を示す模式図である。
【図3】図2の垂直制御信号V1乃至V8と垂直転送レジスタの一部との接続例を示す模式図である。
【図4】USBを用いた通信の様子の例を示す模式図である。
【図5】図1の無線通信部の詳細な構成例を示す図である。
【図6】図1の携帯電話機により撮像された画像データを表示するシステムの構成例を示す模式図である。
【図7】図6における動画像データ取り込みに関するモード設定処理について説明するフローチャートである。
【図8】画像取り込み制御処理を説明するフローチャートである。
【図9】画像データのデータ量を削減する様子を示す模式図である。
【図10】画像データ圧縮処理を説明するフローチャートである。
【図11】図1の携帯電話機により撮像された画像データを表示するシステムの他の構成例を示す模式図である。
【図12】図11の場合におけるモード設定処理を説明するフローチャートである。
【図13】動画像データの受け手側の要求に基づいて、動画像取り込みモードを設定する場合のモード設定処理について説明するフローチャートである。
【図14】図1の携帯電話機により撮像された画像データを表示するシステムの、さらに他の構成例を示す模式図である。
【図15】図14の場合におけるモード設定処理を説明するフローチャートである。
【図16】図1の携帯電話機により撮像された画像データを表示するシステムの、さらに他の構成例を示す模式図である。
【図17】図16のPDAからの要求に基づいて、静止画像を高画質モードで取り込む際のモード設定処理を説明するフローチャートである。
【図18】図16の場合において、静止画像データを転送する際のモード設定処理を説明するフローチャートである。
【図19】図1の携帯電話機により撮像された画像データを表示するシステムの、さらに他の構成例を示す模式図である。
【図20】図19の場合における各装置の処理の流れの例を説明するタイミングチャートである。
【図21】CMOSセンサの構成例を示す図である。
【図22】図21のCMOSセンサを用いて、画像データのデータ量を削減する様子を示す模式図である。
【符号の説明】
12 CCD, 22 画像圧縮・伸張処理部, 31 CPU, 40 USBコントローラ, 41 USBコネクタ, 42 無線通信部, 51 TG, 52 Vドライバ, 62−1乃至62−n 垂直転送レジスタ, 63 水平転送レジスタ, 91 PDA, 93 低画質動画像, 94 高画質動画像, 101 ネットワーク, 111 静止画像

Claims (18)

  1. 被写体を撮像して得られる画像を画像データとして取り込む撮像手段と、
    前記撮像手段による撮像処理により取り込まれた前記画像データを、ネットワークを介して接続された通信装置に送信する送信手段と、
    前記送信手段が送信する前記画像データの通信速度に応じて、前記撮像手段により取り込まれる画像データのデータ量を調整する調整手段と
    を備えることを特徴とする撮像装置。
  2. 複数の前記送信手段と、
    前記複数の送信手段から任意の送信手段を選択する選択手段と
    をさらに備え、
    前記調整手段は、前記選択手段により選択された送信手段から送信する前記画像データの通信速度に応じて、前記撮像手段により取り込まれる画像データのデータ量を調整する
    ことを特徴とする請求項1に記載の撮像装置。
  3. 前記送信手段は、前記画像データ以外の他のデータをさらに送信し、
    前記調整手段は、前記送信手段が前記他のデータを送信する際、前記撮像手段により取り込まれる画像データのデータ量を少なくする調整を行う
    ことを特徴とする請求項1または2に記載の撮像装置。
  4. 被写体を撮像して得られる画像を画像データとして取り込む撮像ステップと、
    前記撮像ステップによる撮像処理により取り込まれた前記画像データの、ネットワークを介して接続された通信装置への送信を制御する送信制御ステップと、
    前記送信制御ステップの処理により制御される前記画像データの通信速度に応じて、前記撮像ステップの処理により取り込まれる画像データのデータ量を調整する調整ステップと
    を含むことを特徴とする撮像方法。
  5. 前記画像データを送信する複数の送信部より、前記送信制御ステップの処理により前記送信を制御する送信部を選択する選択ステップをさらに含み、
    前記送信制御ステップは、前記選択ステップの処理により選択された前記送信部における前記送信を制御し、
    前記調整ステップは、前記選択ステップの処理により選択された送信部から送信する前記画像データの通信速度に応じて、前記撮像ステップの処理により取り込まれる画像データのデータ量を調整する
    ことを特徴とする請求項4に記載の撮像方法。
  6. 前記送信制御ステップは、前記画像データ以外の他のデータの送信をさらに制御し、
    前記調整ステップは、前記送信制御ステップが前記他のデータを送信するように制御する際、前記撮像ステップの処理により取り込まれる画像データのデータ量を少なくする調整を行う
    ことを特徴とする請求項4または5に記載の撮像方法。
  7. 被写体を撮像して得られる画像を画像データとして取り込む撮像手段と、
    前記画像データを圧縮する圧縮手段と、
    前記圧縮手段による圧縮処理により生成された圧縮画像データを、ネットワークを介して接続された通信装置に送信する送信手段と、
    前記送信手段が送信する前記圧縮画像データの通信速度に応じて、前記圧縮手段による圧縮処理における圧縮率を調整する調整手段と
    を備えることを特徴とする撮像装置。
  8. 複数の前記送信手段と、
    前記複数の送信手段から任意の送信手段を選択する選択手段と
    をさらに備え、
    前記調整手段は、前記選択手段により選択された送信手段から送信する前記画像データの通信速度に応じて、前記圧縮手段による圧縮処理における圧縮率を調整する
    ことを特徴とする請求項7に記載の撮像装置。
  9. 前記送信手段は、前記圧縮画像データ以外の他のデータをさらに送信し、
    前記調整手段は、前記送信手段が前記他のデータを送信する際、前記圧縮手段による圧縮処理における圧縮率を高くする調整を行う
    ことを特徴とする請求項7または8に記載の撮像装置。
  10. 被写体を撮像して得られる画像を画像データとして取り込む撮像ステップと、
    前記画像データを圧縮する圧縮ステップと、
    前記圧縮ステップによる圧縮処理により生成された圧縮画像データの、ネットワークを介して接続された通信装置への送信を制御する送信制御ステップと、
    前記送信制御ステップの処理により制御される前記圧縮画像データの通信速度に応じて、前記圧縮ステップによる圧縮処理における圧縮率とを調整する調整ステップと
    を含むことを特徴とする撮像方法。
  11. 前記圧縮画像データを送信する複数の送信部より、前記送信制御ステップの処理により前記送信を制御する送信部を選択する選択ステップをさらに含み、
    前記送信制御ステップは、前記選択ステップの処理により選択された前記送信部における前記送信を制御し、
    前記調整ステップは、前記選択ステップの処理により選択された送信部から送信する前記圧縮画像データの通信速度に応じて、前記圧縮ステップによる圧縮処理における圧縮率とを調整する
    ことを特徴とする請求項10に記載の撮像方法。
  12. 前記送信制御ステップは、前記圧縮画像データ以外の他のデータの送信をさらに制御し、
    前記調整ステップは、前記送信制御ステップが前記他のデータを送信するように制御する際、前記圧縮ステップによる圧縮処理における圧縮率を高くする調整を行う
    ことを特徴とする請求項10または11に記載の撮像方法。
  13. 被写体を撮像して得られる画像を画像データとして取り込む撮像手段と、
    前記画像データを圧縮する圧縮手段と、
    前記圧縮手段による圧縮処理により生成された圧縮画像データを、ネットワークを介して接続された通信装置に送信する送信手段と、
    前記送信手段が送信する前記圧縮画像データの通信速度に応じて、前記撮像手段により取り込まれる画像データのデータ量と、前記圧縮手段による圧縮処理における圧縮率とを調整する調整手段と
    を備えることを特徴とする撮像装置。
  14. 複数の前記送信手段と、
    前記複数の送信手段から任意の送信手段を選択する選択手段と
    をさらに備え、
    前記調整手段は、前記選択手段により選択された送信手段から送信する前記圧縮画像データの通信速度に応じて、前記撮像手段により取り込まれる画像データのデータ量と、前記圧縮手段による圧縮処理における圧縮率とを調整する
    ことを特徴とする請求項13に記載の撮像装置。
  15. 前記送信手段は、前記画像データ以外の他のデータをさらに送信し、
    前記調整手段は、前記送信手段が前記他のデータを送信する際、前記撮像手段により取り込まれる画像データのデータ量を少なくする調整と、前記圧縮手段による圧縮処理における圧縮率を高くする調整とを行う
    ことを特徴とする請求項13または14に記載の撮像装置。
  16. 被写体を撮像して得られる画像を画像データとして取り込む撮像ステップと、
    前記画像データを圧縮する圧縮ステップと、
    前記圧縮ステップによる圧縮処理により生成された圧縮画像データの、ネットワークを介して接続された通信装置への送信を制御する送信制御ステップと、
    前記送信制御ステップの処理により制御される前記圧縮画像データの通信速度に応じて、前記撮像ステップの処理により取り込まれる画像データのデータ量と、前記圧縮ステップによる圧縮処理における圧縮率とを調整する調整ステップと
    を含むことを特徴とする撮像方法。
  17. 前記圧縮画像データを送信する複数の送信部より、前記送信制御ステップの処理により前記送信を制御する送信部を選択する選択ステップをさらに含み、
    前記送信制御ステップは、前記選択ステップの処理により選択された前記送信部における前記送信を制御し、
    前記調整ステップは、前記選択ステップの処理により選択された送信部から送信する前記圧縮画像データの通信速度に応じて、前記撮像ステップの処理により取り込まれる画像データのデータ量と、前記圧縮ステップによる圧縮処理における圧縮率とを調整する
    ことを特徴とする請求項16に記載の撮像方法。
  18. 前記送信制御ステップは、前記画像データ以外の他のデータの送信をさらに制御し、
    前記調整ステップは、前記送信制御ステップが前記他のデータを送信するように制御する際、前記撮像ステップの処理により取り込まれる画像データのデータ量を少なくする調整と、前記圧縮ステップによる圧縮処理における圧縮率を高くする調整とを行う
    ことを特徴とする請求項16または17に記載の撮像方法。
JP2002279219A 2002-09-25 2002-09-25 撮像装置および方法 Expired - Lifetime JP3944726B2 (ja)

Priority Applications (13)

Application Number Priority Date Filing Date Title
JP2002279219A JP3944726B2 (ja) 2002-09-25 2002-09-25 撮像装置および方法
US10/496,890 US8736687B2 (en) 2002-09-25 2003-07-30 Imaging apparatus and imaging method
KR1020047007859A KR100933590B1 (ko) 2002-09-25 2003-07-30 촬상 장치 및 방법
CNB038015994A CN100502470C (zh) 2002-09-25 2003-07-30 成像装置和成像方法
PCT/JP2003/009633 WO2004030347A1 (ja) 2002-09-25 2003-07-30 撮像装置および方法
CN2006101537993A CN1953514B (zh) 2002-09-25 2003-07-30 成像装置和成像方法
EP03798370.7A EP1549053B1 (en) 2002-09-25 2003-07-30 Image pickup device and method
EP18192408.5A EP3435656A1 (en) 2002-09-25 2003-07-30 Imaging apparatus and imaging method
US12/291,581 US8054334B2 (en) 2002-09-25 2008-11-12 Imaging apparatus and imaging method
US14/055,189 US9374523B2 (en) 2002-09-25 2013-10-16 Imaging apparatus and imaging method
US14/255,330 US10091413B2 (en) 2002-09-25 2014-04-17 Imaging apparatus and imaging method
US15/664,741 US10375297B2 (en) 2002-09-25 2017-07-31 Imaging apparatus and imaging method
US16/425,562 US20190313015A1 (en) 2002-09-25 2019-05-29 Imaging Apparatus And Imaging Method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2002279219A JP3944726B2 (ja) 2002-09-25 2002-09-25 撮像装置および方法

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2006051024A Division JP4055018B2 (ja) 2006-02-27 2006-02-27 撮像装置および方法

Publications (2)

Publication Number Publication Date
JP2004120201A true JP2004120201A (ja) 2004-04-15
JP3944726B2 JP3944726B2 (ja) 2007-07-18

Family

ID=32040450

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2002279219A Expired - Lifetime JP3944726B2 (ja) 2002-09-25 2002-09-25 撮像装置および方法

Country Status (6)

Country Link
US (6) US8736687B2 (ja)
EP (2) EP3435656A1 (ja)
JP (1) JP3944726B2 (ja)
KR (1) KR100933590B1 (ja)
CN (2) CN1953514B (ja)
WO (1) WO2004030347A1 (ja)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006015604A (ja) * 2004-07-01 2006-01-19 Ricoh Co Ltd プリントシステム、プリント装置、撮像装置、プリント方法および画像送信方法
JP2006191158A (ja) * 2004-12-28 2006-07-20 Canon Inc 画像処理装置及びその制御方法
JP2008021024A (ja) * 2006-07-11 2008-01-31 Ricoh Co Ltd 情報処理装置およびデータ通信装置
CN100463521C (zh) * 2004-10-26 2009-02-18 大竑企业股份有限公司 提高网际网络中影音资料成像效果及传输速率的方法
WO2011102317A1 (ja) * 2010-02-18 2011-08-25 株式会社日立製作所 モニタリングシステム、装置および方法
KR20140080815A (ko) * 2012-12-18 2014-07-01 삼성전자주식회사 촬영 장치, 그 제어 방법, 및 컴퓨터 판독가능 저장매체
US20160116737A1 (en) * 2014-10-23 2016-04-28 Canon Kabushiki Kaisha Image processing apparatus, image processing system,control method for image processing apparatus, and non-transitory computer-readable storage medium

Families Citing this family (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4265765B2 (ja) * 2003-10-02 2009-05-20 ローム株式会社 携帯通信機器
JP4746550B2 (ja) * 2004-09-22 2011-08-10 パナソニック株式会社 画像符号化装置
JP4725183B2 (ja) * 2005-05-11 2011-07-13 ソニー株式会社 撮像装置、および方法
JP4745773B2 (ja) * 2005-09-21 2011-08-10 キヤノン株式会社 通信装置、及びその制御方法、並びにコンピュータプログラム
EP1793581A1 (en) * 2005-12-05 2007-06-06 Microsoft Corporation Automatic selection of images for transfer depending on connection characteristics
US10337862B2 (en) * 2006-11-30 2019-07-02 Rafael Advanced Defense Systems Ltd. Digital mapping system based on continuous scanning line of sight
ES2342248B1 (es) * 2008-06-09 2011-04-29 Createcna Xxi S.L. Perfeccionamientos introducidos en la patente de invencion p200501769 por "sistema de emision en directo para television desde un telefono movil".
TW201021556A (en) * 2008-11-19 2010-06-01 Asia Optical Co An image capturing apparatus
CN103561193B (zh) * 2009-01-19 2016-06-15 杜比实验室特许公司 自动化方法以及自动化的图像处理系统
JP5435456B2 (ja) * 2009-03-29 2014-03-05 雅英 田中 携帯電話、充電器およびデジタルフォトフレーム
JP2012084968A (ja) * 2010-10-07 2012-04-26 Pentax Ricoh Imaging Co Ltd デジタルカメラ
JP5482629B2 (ja) * 2010-11-16 2014-05-07 株式会社Jvcケンウッド 無線装置および通信方法
JP5485956B2 (ja) * 2011-09-09 2014-05-07 レノボ・シンガポール・プライベート・リミテッド カメラ・モジュールが画像データを転送する方法およびコンピュータ
WO2014080828A1 (ja) * 2012-11-22 2014-05-30 シャープ株式会社 表示装置および電子機器
US20140337505A1 (en) * 2013-05-08 2014-11-13 Htc Corporation Method for data transmission and corresponding electronic device
JP5800249B2 (ja) * 2013-06-21 2015-10-28 カシオ計算機株式会社 撮像装置、撮影条件設定方法、及びプログラム
KR102081131B1 (ko) * 2013-12-30 2020-02-25 엘지디스플레이 주식회사 저속 구동이 가능한 표시장치
JP6481225B2 (ja) * 2015-02-24 2019-03-13 オリンパス株式会社 情報端末装置、情報支援方法及び情報支援プログラム
USD801945S1 (en) 2015-03-06 2017-11-07 Samsung Display Co., Ltd. Mobile phone
WO2016148102A1 (ja) * 2015-03-16 2016-09-22 オリンパス株式会社 通信装置、通信システム及び通信方法
US10564921B2 (en) * 2016-03-09 2020-02-18 Ricoh Company, Ltd. Display device, display method, and display system for determining image display size
CN107124559B (zh) * 2017-06-19 2019-08-13 成都优孚达信息技术有限公司 一种通信数据压缩方法

Family Cites Families (60)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4926415A (en) * 1987-02-04 1990-05-15 Kabushiki Kaisha Toshiba Local area network system for efficiently transferring messages of different sizes
JPH02249333A (ja) 1989-03-22 1990-10-05 Sharp Corp 秘話装置
US5170466A (en) 1989-10-10 1992-12-08 Unisys Corporation Storage/retrieval system for document
US5195136A (en) * 1991-09-30 1993-03-16 Motorola, Inc. Method and apparatus for data encryption or decryption
KR0166935B1 (ko) 1994-11-23 1999-03-20 구자홍 엠펙2 트랜스포트 디코더 장치
US5893037A (en) * 1994-12-09 1999-04-06 Eastman Kodak Company Combined electronic/silver-halide image capture system with cellular transmission capability
US6085112A (en) * 1995-05-03 2000-07-04 Siemens Aktiengesellschaft Communication device
JP3533756B2 (ja) * 1995-06-01 2004-05-31 ミノルタ株式会社 画像入力装置
JP3372714B2 (ja) * 1995-06-15 2003-02-04 キヤノン株式会社 撮像装置
US5786746A (en) * 1995-10-03 1998-07-28 Allegro Supercare Centers, Inc. Child care communication and surveillance system
EP0776130A3 (en) * 1995-11-27 1998-03-04 Canon Kabushiki Kaisha Camera control system with variable frame rate
AU2448297A (en) * 1996-04-23 1997-11-12 Silicon Vision, Inc. A digital video camera system
JPH08340314A (ja) 1996-05-20 1996-12-24 Canon Inc 通信装置
US5832300A (en) 1996-06-20 1998-11-03 Intel Corporation System for maintaining a minimum level of digitized data signal quality while allowing bandwidth dependent quality enhancement with additional enhancement data packets
JP4229481B2 (ja) * 1996-07-31 2009-02-25 オリンパス株式会社 撮像表示システム
US6337928B1 (en) * 1996-08-26 2002-01-08 Canon Kabushiki Kaisha Image transmission apparatus and method therefor
US5969750A (en) * 1996-09-04 1999-10-19 Winbcnd Electronics Corporation Moving picture camera with universal serial bus interface
US5841471A (en) * 1996-09-12 1998-11-24 Eastman Kodak Company Timing control for a digitally interfaced camera using variable line readout intervals
JP3839526B2 (ja) 1996-09-20 2006-11-01 富士写真フイルム株式会社 ディジタルカメラ
US6169789B1 (en) * 1996-12-16 2001-01-02 Sanjay K. Rao Intelligent keyboard system
US6091767A (en) * 1997-02-03 2000-07-18 Westerman; Larry Alan System for improving efficiency of video encoders
KR19980076702A (ko) * 1997-04-12 1998-11-16 윤종용 화상정보 저장 및 자동접속 기능을 갖는 화상통신시스템 및 그 방법
JP3466434B2 (ja) * 1997-09-11 2003-11-10 シャープ株式会社 印刷制御方法及び印刷システム
US6091777A (en) * 1997-09-18 2000-07-18 Cubic Video Technologies, Inc. Continuously adaptive digital video compression system and method for a web streamer
US6512541B2 (en) 1997-12-08 2003-01-28 Intel Corporation Increasing image field of view and frame rate in an imaging apparatus
US5983263A (en) * 1998-01-02 1999-11-09 Intel Corporation Method and apparatus for transmitting images during a multimedia teleconference
US6636748B2 (en) * 1998-01-12 2003-10-21 David A. Monroe Method and apparatus for image capture, compression and transmission of a visual image over telephone or radio transmission system
WO1999035866A1 (en) * 1998-01-12 1999-07-15 Monroe David A Apparatus and method for selection of circuit in multi-circuit communications device
US6204874B1 (en) * 1998-05-07 2001-03-20 Creo Products Inc. Thermal platesetter and color proofer
GB2372663B (en) * 1998-05-08 2002-11-27 Orange Personal Comm Serv Ltd Mobile communications
US6522352B1 (en) * 1998-06-22 2003-02-18 Motorola, Inc. Self-contained wireless camera device, wireless camera system and method
US6633231B1 (en) * 1999-06-07 2003-10-14 Horiba, Ltd. Communication device and auxiliary device for communication
JP2001036655A (ja) 1999-07-22 2001-02-09 Fuji Photo Film Co Ltd 画像送信装置およびその制御方法
JP3583667B2 (ja) * 1999-09-30 2004-11-04 株式会社東芝 無線端末装置並びにデータ転送方法及び制御情報通知方法
JP2001148802A (ja) 1999-11-19 2001-05-29 Ricoh Co Ltd デジタルカメラおよびデジタルカメラシステム
GB0005337D0 (en) * 2000-03-07 2000-04-26 Hewlett Packard Co Image transfer over mobile radio network
JP2001346173A (ja) * 2000-05-31 2001-12-14 Sony Corp 画像データ通信システム及び方法、並びに撮像装置及び画像データ処理方法
US6809759B1 (en) * 2000-06-19 2004-10-26 Benq Corporation Remote control unit with previewing device for an image-capturing device
JP2002033947A (ja) * 2000-07-17 2002-01-31 Ricoh Co Ltd デジタルカメラ、画像データ送信方法およびその方法をコンピュータに実行させるプログラムを記録したコンピュータ読み取り可能な記録媒体
US7450156B2 (en) * 2000-09-13 2008-11-11 Fujifilm Corporation Communication device, communication system, communication method and communication terminal apparatus
JP2002099393A (ja) 2000-09-22 2002-04-05 Minolta Co Ltd データ送信装置、データ送信方法、およびデータ送信プログラムを記録したコンピュータ読取可能な記録媒体
WO2002035849A1 (en) * 2000-10-24 2002-05-02 Eyeball Networks Inc. Three-dimensional wavelet-based scalable video compression
KR100404885B1 (ko) * 2001-02-16 2003-11-10 삼성전자주식회사 휴대용 동화상 폰을 이용한 원격감시 장치
JP4190157B2 (ja) * 2001-02-26 2008-12-03 三洋電機株式会社 画像データ送信装置および画像データ受信装置
US7433710B2 (en) * 2001-04-20 2008-10-07 Lightsurf Technologies, Inc. System and methodology for automated provisioning of new user accounts
US20020158991A1 (en) * 2001-04-27 2002-10-31 Hisakazu Kobayashi Wireless moving image and audio transmitting system
US7369160B2 (en) * 2001-06-15 2008-05-06 Yokogawa Electric Corporation Camera system for transferring both image data and an image processing program to transfer the image data to an external device
EP1408657A4 (en) * 2001-06-22 2009-12-30 Ipex Co Ltd INFORMATION PROVIDING SYSTEM USING A COMMUNICATION LINE
JP4629929B2 (ja) * 2001-08-23 2011-02-09 株式会社リコー デジタルカメラシステム及びこの制御方法
US20030058934A1 (en) * 2001-09-25 2003-03-27 Haruhiro Koto Compressed video image transmission method and apparatus using the same
JP2003169284A (ja) 2001-12-04 2003-06-13 Fuji Photo Film Co Ltd 画像変換装置並びに画像変換プログラム
US7305114B2 (en) * 2001-12-26 2007-12-04 Cognex Technology And Investment Corporation Human/machine interface for a machine vision sensor and method for installing and operating the same
US20030126279A1 (en) * 2001-12-27 2003-07-03 Jiani Hu Picture archiving and communication system (PACS) with a distributed architecture
US20030169813A1 (en) * 2002-03-08 2003-09-11 Van Der Schaar Mihaela Method and apparatus to execute a smooth transition between FGS encoded structures
JP2003274049A (ja) 2002-03-19 2003-09-26 Fuji Photo Film Co Ltd 通信装置
US7171479B2 (en) * 2002-04-26 2007-01-30 International Business Machines Corporation Efficient delivery of boot code images from a network server
US7236960B2 (en) * 2002-06-25 2007-06-26 Eastman Kodak Company Software and system for customizing a presentation of digital images
JP2004040548A (ja) 2002-07-04 2004-02-05 Minolta Co Ltd 撮像装置
JP2004086738A (ja) * 2002-08-28 2004-03-18 Fuji Photo Film Co Ltd 無線lan通信装置、プリント処理システムおよびネットワークプリントシステム
JP2004112360A (ja) 2002-09-19 2004-04-08 Ricoh Co Ltd デジタルカメラ

Cited By (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006015604A (ja) * 2004-07-01 2006-01-19 Ricoh Co Ltd プリントシステム、プリント装置、撮像装置、プリント方法および画像送信方法
JP4619051B2 (ja) * 2004-07-01 2011-01-26 株式会社リコー プリントシステム、プリント装置、撮像装置、プリント方法および画像送信方法
CN100463521C (zh) * 2004-10-26 2009-02-18 大竑企业股份有限公司 提高网际网络中影音资料成像效果及传输速率的方法
JP2006191158A (ja) * 2004-12-28 2006-07-20 Canon Inc 画像処理装置及びその制御方法
JP4537195B2 (ja) * 2004-12-28 2010-09-01 キヤノン株式会社 画像処理装置
JP2008021024A (ja) * 2006-07-11 2008-01-31 Ricoh Co Ltd 情報処理装置およびデータ通信装置
WO2011102317A1 (ja) * 2010-02-18 2011-08-25 株式会社日立製作所 モニタリングシステム、装置および方法
JP5406362B2 (ja) * 2010-02-18 2014-02-05 株式会社日立製作所 モニタリングシステム、装置および方法
US8879577B2 (en) 2010-02-18 2014-11-04 Hitachi, Ltd. Monitoring system, device, and method
KR20140080815A (ko) * 2012-12-18 2014-07-01 삼성전자주식회사 촬영 장치, 그 제어 방법, 및 컴퓨터 판독가능 저장매체
KR102072731B1 (ko) * 2012-12-18 2020-02-04 삼성전자주식회사 촬영 장치, 그 제어 방법, 및 컴퓨터 판독가능 저장매체
US20160116737A1 (en) * 2014-10-23 2016-04-28 Canon Kabushiki Kaisha Image processing apparatus, image processing system,control method for image processing apparatus, and non-transitory computer-readable storage medium
US10254543B2 (en) 2014-10-23 2019-04-09 Canon Kabushiki Kaisha Image processing apparatus, image processing system, control method for image processing apparatus, and non-transitory computer-readable storage medium for mixed reality

Also Published As

Publication number Publication date
EP1549053B1 (en) 2018-11-07
US10375297B2 (en) 2019-08-06
CN1596538A (zh) 2005-03-16
US20140226031A1 (en) 2014-08-14
US8054334B2 (en) 2011-11-08
US20050146608A1 (en) 2005-07-07
US8736687B2 (en) 2014-05-27
CN1953514B (zh) 2010-06-02
CN1953514A (zh) 2007-04-25
EP3435656A1 (en) 2019-01-30
US9374523B2 (en) 2016-06-21
EP1549053A1 (en) 2005-06-29
US20190313015A1 (en) 2019-10-10
KR100933590B1 (ko) 2009-12-23
CN100502470C (zh) 2009-06-17
US20140043494A1 (en) 2014-02-13
WO2004030347A1 (ja) 2004-04-08
EP1549053A4 (en) 2009-09-16
US20170332011A1 (en) 2017-11-16
US10091413B2 (en) 2018-10-02
JP3944726B2 (ja) 2007-07-18
KR20050046653A (ko) 2005-05-18
US20090073269A1 (en) 2009-03-19

Similar Documents

Publication Publication Date Title
JP3944726B2 (ja) 撮像装置および方法
US8436928B2 (en) Image sensing apparatus and method with drive control variation of each of the plurality of output fields
JP4639406B2 (ja) 撮像装置
US7365777B2 (en) Digital camera
US8169511B2 (en) Imaging apparatus and photographing control method
JP2008147780A (ja) 通信装置及びその制御方法
JP2004007133A (ja) 撮像装置
WO2011010747A1 (en) Imaging apparatus and imaging method
JP4716182B2 (ja) 撮像装置及び撮像制御プログラム
JP2001057645A (ja) 電子カメラ
JP4055018B2 (ja) 撮像装置および方法
JP5550333B2 (ja) 撮像装置、現像方法及びプログラム
JP2010056768A (ja) 撮影システム並びに当該撮影システムを構成する撮影装置及び操作装置
JP4542958B2 (ja) 撮影装置
JP4158767B2 (ja) 撮像装置
WO2019176309A1 (ja) 画像処理装置、画像処理方法及び画像処理システム
JP2005286819A (ja) 撮像装置及びプログラム
JP2005020473A (ja) 固体撮像素子の駆動方法、及び撮像装置
JP2011041309A (ja) 撮像装置及び撮像制御プログラム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20050729

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20051227

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20060227

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20070314

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20070327

R151 Written notification of patent or utility model registration

Ref document number: 3944726

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100420

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110420

Year of fee payment: 4

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110420

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120420

Year of fee payment: 5

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120420

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130420

Year of fee payment: 6

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130420

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140420

Year of fee payment: 7

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

EXPY Cancellation because of completion of term