JP2007318597A - 広角レンズによる撮像データの圧縮方法、圧縮装置、広角カメラ装置およびモニタシステム - Google Patents

広角レンズによる撮像データの圧縮方法、圧縮装置、広角カメラ装置およびモニタシステム Download PDF

Info

Publication number
JP2007318597A
JP2007318597A JP2006147871A JP2006147871A JP2007318597A JP 2007318597 A JP2007318597 A JP 2007318597A JP 2006147871 A JP2006147871 A JP 2006147871A JP 2006147871 A JP2006147871 A JP 2006147871A JP 2007318597 A JP2007318597 A JP 2007318597A
Authority
JP
Japan
Prior art keywords
image
wide
image data
data
captured
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2006147871A
Other languages
English (en)
Inventor
Tatsuro Ogawa
達朗 小川
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Opt KK
Original Assignee
Opt KK
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Opt KK filed Critical Opt KK
Priority to JP2006147871A priority Critical patent/JP2007318597A/ja
Priority to CNA2007800286948A priority patent/CN101496410A/zh
Priority to PCT/JP2007/059836 priority patent/WO2007138845A1/ja
Priority to US12/302,109 priority patent/US20090268046A1/en
Priority to EP07743271A priority patent/EP2037685A4/en
Publication of JP2007318597A publication Critical patent/JP2007318597A/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00Geometric image transformations in the plane of the image
    • G06T3/04Context-preserving transformations, e.g. by using an importance map
    • G06T3/047Fisheye or wide-angle transformations
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/41Bandwidth or redundancy reduction
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/85Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/63Control of cameras or camera modules by using electronic viewfinders
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/698Control of cameras or camera modules for achieving an enlarged field of view, e.g. panoramic image capture

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Studio Devices (AREA)
  • Compression Of Band Width Or Redundancy In Fax (AREA)
  • Image Processing (AREA)
  • Editing Of Facsimile Originals (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

【課題】魚眼レンズなどの広角レンズを用いて撮像される画像のデータ量を効果的に減らすこと。
【解決手段】本発明に係る広角レンズ9による撮像データの圧縮方法は、広角レンズ9により撮像された円形画像を含む四角形の撮像画像に基づいて、その所定の円形範囲内の複数の画素データが割り付けられ且つ四角形の撮像画像より画素数が少ない四角形の縮小画像を生成するステップST4と、四角形の縮小画像を圧縮するステップST5と、を有する。
【選択図】図8

Description

本発明は、広角レンズによる撮像データの圧縮方法、圧縮装置、広角カメラ装置およびモニタシステムに関する。
特許文献1は、カメラ付き携帯電話とサーバとが公衆回線により接続される画像送信システムを開示する。そして、カメラ付き携帯電話から公衆回線を通じてサーバへそのカメラで撮像した画像データを送信する。サーバは、受信した画像データの画像の一部を切り出してカメラ付き携帯電話へ送信する。カメラ付き携帯電話は、受信した切り出し画像を表示する。
特許文献2は、複数のカメラ付き携帯電話とサーバとが公衆回線により接続される画像送信システムを開示する。そして、1つのカメラ付き携帯電話から公衆回線を通じてサーバへそのカメラで撮像した画像データを送信する。サーバは、受信した画像データの画像の一部を切り出して他のカメラ付き携帯電話へ送信する。他のカメラ付き携帯電話は、受信した切り出し画像を表示する。
特許文献3は、広角レンズの一種である魚眼レンズを用いて撮像された画像から、一部の画像を歪みを抑えて切り出す算術的なアルゴリズムを開示する。
特開2003−283819号公報(図1、図3、実施の形態の説明など) 特開2003−284019号公報(図1、図4、実施の形態の説明など) 特開2005−339313号公報(要約、図4、図6、図9、実施の形態の説明など)
特許文献1または2に開示される技術を用いることで、魚眼レンズなどの広角レンズを用いて撮像した画像の一部を歪みを抑えて切り出し、その切り出した画像を送信し、表示することができる。また、切り出した画像の歪みを抑えるために、特許文献3に開示される技術を用いることができる。
ところで、ここ数年において、光電変換により像の輝度分布データを生成する撮像デバイスには、200万画素、300万画素などの大きい画素数のものが安価に供給され始めている。また、500万画素程度の超高画素数のものも供給され始めている。
そして、魚眼レンズなどの広角レンズによる像を、この高画素数の撮像デバイスを用いて輝度分布データへ変換することで、その輝度分布データに基づいて生成する切り出し画像として、VGA(Video Graphics Array)サイズ(640×480ドット)やXGA(eXtended Graphics Array)サイズ(1024×768ピクセル)程度の、実用性のある高い解像度を得ることが可能となる。
しかしながら、このような魚眼レンズなどの広角レンズを用いる装置の主な用途は、監視装置などである。監視装置などでは、撮像した画像をリアルタイムに閲覧したり、蓄積したりする。また、監視装置などでは、蓄積した画像を後から再生して閲覧する。
蓄積した画像を後から再生する場合、リアルタイムに閲覧した時とは異なる範囲を閲覧したいことがある。また、再生する範囲を切り替えたいことがある。通常のレンズを使用する監視装置では、リアルタイムに閲覧している範囲のみを撮像しており、その範囲外は撮像していない。そのため、通常のレンズを使用する監視装置では、後から再生するとき、このような閲覧範囲を切り替える要望に答えることはできない。これに対して、魚眼レンズなどの広角レンズを用いる監視装置では、広い範囲を撮像しており、切り出す範囲外も撮像している場合もある。そのため、広角レンズを用いる監視装置では、撮像デバイスにより撮像される輝度分布データやその輝度分布データに基づく撮像画像データを蓄積したり送信したりすることで、画像を切り替えて再生することが可能となる。
その一方で、実用性のある高い解像度の切り出し画像を得るためには、上述するように、高画素数の撮像デバイスを採用する必要がある。高画素数の撮像デバイスが生成する輝度分布データやその輝度分布データに基づく撮像画像データのデータ量は、膨大である。したがって、魚眼レンズなどの広角レンズを用い、撮像する画像の一部を切出して再生することが可能な監視装置が蓄積したり、送信したりしなければならないデータ量は、非常に大きなものとなってしまう。
本発明は、魚眼レンズなどの広角レンズを用いて撮像される画像のデータ量を効果的に減らすことができる、広角レンズによる撮像データの圧縮方法、圧縮装置、広角カメラ装置およびモニタシステムを得ることを目的とする。
本発明に係る広角レンズによる撮像データの圧縮方法は、広角レンズにより撮像された円形画像を含む四角形の撮像画像に基づいて、その所定の円形範囲内の複数の画素データが割り付けられ且つ四角形の撮像画像より画素数が少ない四角形の縮小画像を生成するステップと、四角形の縮小画像を圧縮するステップと、を有するものである。
この方法を採用すれば、広角レンズを用いて撮像される四角形の撮像画像は、それよりも画素数が少ない縮小画像に変換された上で圧縮される。したがって、圧縮後のデータ量は、撮像画像そのものを圧縮した場合にくらべて削減される。
しかも、この方法では、四角形の撮像画像の、所定の円形範囲内の画素データは、縮小画像に割り付けられる。したがって、円形画像の複数の画素データによる情報量は、撮像画像をそのまま圧縮する場合と同等に維持されている。広角レンズを用いて撮像される画像のデータ量を効果的に減らすことができる。
本発明に係る広角レンズによる撮像データの圧縮装置は、広角レンズにより撮像された円形画像を含む四角形の撮像画像に基づいて、その所定の円形範囲内の複数の画素データが割り付けられ且つ四角形の撮像画像より画素数が少ない四角形の縮小画像を生成する変換手段と、四角形の縮小画像を圧縮する圧縮手段と、を有するものである。
この構成を採用すれば、円形画像の複数の画素データによる情報量を、撮像画像をそのまま圧縮する場合と同等に維持しつつ、圧縮後のデータ量を、撮像画像そのものを圧縮した場合にくらべて削減することができる。広角レンズを用いて撮像される画像のデータ量を効果的に減らすことができる。
本発明に係る広角レンズによる撮像データの圧縮装置は、上述した発明の構成に加えて、変換手段が、撮像画像の所定の円形範囲内の複数の画素データを、画素単位あるいは複数の画素によるブロック単位で、四角形の縮小画像に割り付けるものである。
この構成を採用すれば、撮像画像の所定の円形範囲内の複数の画素データを、画素単位あるいは複数の画素によるブロック単位で、四角形の縮小画像に割り付けることができる。
本発明に係る広角レンズによる撮像データの圧縮装置は、上述した発明の各構成に加えて、変換手段が、撮像画像の所定の円形範囲内の複数の画素データを、その円形範囲の中央部分のブロックの画素数がその円形範囲の周縁部分のブロックの画素数より多くなるように、画素数が揃っていない複数のブロック単位で、四角形の縮小画像に割り付けるものである。
この構成を採用すれば、円形範囲の周縁不部分の画像は、少ない画素数毎に細かくブロック化される。広角レンズで撮像した円形画像は、画像の周縁部分が大きく歪み、且つ、解像度が低い。そのため、この構成のように、円形画像の周縁部分を、中央部分より少ない画素数のブロックにより細かいブロック単位で切出すようにすることで、歪みが多く且つ解像度が相対的に画像の周縁部分の画像の情報量の減りを抑えつつ、画像全体としての情報量のより一層の削減を図ることができる。
本発明に係る広角レンズによる撮像データの圧縮装置は、上述した発明の各構成に加えて、変換手段が、四角形の縮小画像において、撮像画像の画素データを割り付けていない画素データを所定の略均一な色のものとし、圧縮手段が、縮小画像を、ブロック符号化により直流成分と交流成分とに分離して符号化したり、あるいは、画素の配列に基づくランレングス符号化により符号化したりするものである。
この構成を採用すれば、縮小画像において、撮像画像の画素データを割り付けていない画素データによる圧縮後のデータ量は、その画素データを所定の略均一な色としなかった場合に比べて削減される。その結果、縮小画像の画素数が、撮像画像の所定の範囲内の画素数より多い場合であっても、撮像画像の所定の範囲内の画素数と略同じ画素数である場合と同等のデータ量とすることができる。
本発明に係る広角カメラ装置は、広角レンズと、広角レンズにより集光された光による円形の像が結像し、その円形画像を含む四角形の撮像画像を撮像する撮像手段と、撮像手段により撮像された円形画像を含む四角形の撮像画像に基づいて、その所定の円形範囲内の複数の画素データが割り付けられ且つ四角形の撮像画像より画素数が少ない四角形の縮小画像を生成する変換手段と、変換手段により生成された四角形の縮小画像を圧縮する圧縮手段と、を有するものである。
この構成を採用すれば、撮像手段により撮像される円形画像の複数の画素データによる情報量を、撮像画像をそのまま圧縮する場合と同等に維持しつつ、圧縮後のデータ量を、撮像画像そのものを圧縮した場合にくらべて削減することができる。広角レンズを用いて撮像される画像のデータ量を効果的に減らすことができる。
本発明に係る他の広角カメラ装置は、広角レンズと、広角レンズにより集光された光による円形の像が結像し、その円形画像を含む四角形の撮像画像から、所定の円形範囲内の複数の画素データが割り付けられ且つ四角形の撮像画像より画素数が少ない四角形の縮小画像を生成する撮像手段と、撮像手段により生成された四角形の縮小画像を圧縮する圧縮手段と、を有するものである。
この構成を採用すれば、撮像手段が、所定の円形範囲内の複数の画素データが割り付けられ且つ四角形の撮像画像より画素数が少ない四角形の縮小画像を生成する。その結果、円形画像の複数の画素データによる情報量を、撮像画像をそのまま圧縮する場合と同等に維持しつつ、圧縮後のデータ量を、撮像画像そのものを圧縮した場合にくらべて削減することができる。広角レンズを用いて撮像される画像のデータ量を効果的に減らすことができる。
本発明に係る広角カメラ装置は、上述した発明の各構成に加えて、撮像手段が、300万画素以上のものであり、しかも、圧縮手段により圧縮された画像の画像データを記憶する記憶手段と、記憶手段に記憶される圧縮された画像の画像データを伸長する伸長手段と、伸長手段により伸長された画像の一部を切り出してVGAサイズ以上で拡大表示する切出し画像を生成する表示画像生成手段を有するものである。
この構成を採用すれば、広角レンズを用いて撮像される画像のデータ量を効果的に減らし、記憶手段の記憶容量を減らすことができる。しかも、撮像時より後に、記憶手段に圧縮した格納した画像データを伸長し、所望の範囲を切出し、VGAサイズ以上の、実用性のある高い解像度の拡大された表示画像を得ることができる。
本発明に係るモニタシステムは、上述した発明に係る広角カメラ装置と、広角カメラ装置から通信により拡大処理された切出し画像あるいは拡大処理される前の切出し画像を表示画像として受信し、受信した表示画像を表示する表示手段を有する閲覧装置と、を有するものである。
この構成を採用すれば、撮像時より後に、広角カメラ装置により撮像された画像から所望の範囲を切出し、VGAサイズ以上の、実用性のある高い解像度の拡大された切出し画像を得ることができる。
本発明に係る他のモニタシステムは、広角レンズを有し、この広角レンズにより撮像された円形画像を含む四角形の撮像画像を生成する広角カメラ装置と、広角カメラ装置により生成される四角形の撮像画像あるいはその一部の画像を表示する表示手段を有する閲覧装置と、を有するモニタシステムである。そして、撮像された円形画像を含む四角形の撮像画像に基づいて、その所定の円形範囲内の複数の画素データが割り付けられ且つ四角形の撮像画像より画素数が少ない四角形の縮小画像を生成する変換手段と、変換手段により生成された四角形の縮小画像を圧縮する圧縮手段と、圧縮手段により圧縮された画像を記憶する記憶手段もしくは圧縮手段により圧縮された画像を広角カメラ装置から閲覧装置へ伝送する伝送手段と、記憶手段に記憶される圧縮された画像あるいは伝送手段により伝送される圧縮された画像を伸長する伸長手段と、伸長手段により伸長された画像を拡縮あるいは伸長手段により伸長された画像の一部を切出して表示手段に拡大表示させる表示画像を生成する表示画像生成手段と、を有するものである。
この構成を採用すれば、記憶手段に記憶される画像あるいは伝送手段により伝送される画像は、広角レンズを用いて撮像される四角形の撮像画像を、それよりも画素数が少ない縮小画像へ変換した上で、圧縮したものとなる。したがって、記憶手段に記憶される画像のデータ量あるいは伝送手段により伝送される画像のデータ量は、撮像画像そのもを圧縮する場合に比べて、削減される。しかも、この構成では、四角形の撮像画像の所定の円形範囲内の複数の画素データは、縮小画像に割り付けられる。円形画像の複数の画素データによる情報量を、撮像画像をそのまま圧縮する場合と同等に維持することができる。
本発明では、魚眼レンズなどの広角レンズを用いて撮像される画像のデータ量を効果的に減らすことができる。
以下、本発明の実施の形態に係る広角レンズによる撮像データの圧縮方法、圧縮装置、広角カメラ装置およびモニタシステムを、図面に基づいて説明する。広角カメラ装置は、モニタシステムの一部となる超小型広角カメラ装置を例として説明する。圧縮装置は、超小型広角カメラ装置の一部として説明する。圧縮方法は、超小型広角カメラ装置の動作の一部として説明する。
実施の形態1.
図1は、本発明の実施の形態1に係る超小型広角カメラ装置1を示す斜視図である。
超小型広角カメラ装置1は、本体ユニット2と、本体ユニット2と信号線3で接続されるカメラユニット4と、を有する。超小型広角カメラ装置1は、ポケットに入れて気軽に携帯することができる。なお、カメラユニット4は、無線通信路としての無線通信により本体ユニット2と接続されていても、本体ユニット2の一部に組み込まれていてもよい。
本体ユニット2は、携帯音楽再生装置と同程度の大きさの略長方形の板形状を有する。携帯音楽再生装置は、HDD(ハードディスクドライブ)や半導体メモリなどをコンテンツデータの記録に使用する。本体ユニット2には、LCD(液晶表示デバイス)5、入力デバイス22(図2参照)の複数の操作キー6、USB(Universal Serial Connector)コネクタ7などが露出して配設される。図1の本体ユニット2は、図1の上側となる上面に、LCD5および複数の操作キー6が並べて配設される。また、図1の右下側となる側面に、USBコネクタ7が配設される。USBコネクタ7は、通信路としてのUSBケーブルが接続可能である。USBケーブルは、電源用の配線と、信号用の配線とを有する。USBコネクタ7としては、たとえばミニBタイプのものが小型であり好ましい。
カメラユニット4は、たとえば略立方体形状のハウジング8を有する。カメラユニット4は、図1の上側となる上面に、広角レンズとしての魚眼レンズ9が露出して配設される。また、魚眼レンズ9の露出位置の隣には、マイク27用の通気孔10が形成される。この魚眼レンズ9は、通常の魚眼レンズと比べて突出量が少なく、より平面的な被写体対向面を有するものとなっている。
図2は、図1の超小型広角カメラ装置1に内蔵される撮影機能を示すブロック図である。図2中には、超小型広角カメラ装置1の他にも、この超小型広角カメラ装置1とUSBケーブル11により接続される、閲覧装置としてのパーソナルコンピュータ12が図示されている。超小型広角カメラ装置1およびパーソナルコンピュータ12により、モニタシステム13が実現される。
図3は、超小型広角カメラ装置1の光学系の説明図である。超小型広角カメラ装置1は、撮像手段としてのCMOS(Complementary Metal Oxide Semiconductor)撮像デバイス21を有する。CMOS撮像デバイス21は、アスペクト比が4:3(横:縦)である受光面22を有する。なお、受光面22の縦横のアスペクト比は、16:9などであってもよい。CMOS撮像デバイス21の受光面22には、図示外の複数の受光素子が縦横に並べて配設される。受光面22には、たとえば300万画素分の複数の受光素子が配設される。
図4は、図3中の受光面22における複数の受光素子の配列状態を模式的に示す説明図である。図4において、点線升目は、複数の受光素子の配列である。各マス内に記載される番号は、受光素子の受光光量を読み出すときに使用するアドレス値である。図4では、受光面22に、300個の受光素子が、縦20列×横15列に配列されている。
図3に示すように、CMOS撮像デバイス21は、その受光面22の略垂直方向に魚眼レンズ9が位置する姿勢で配設される。魚眼レンズ9は、180度以上(略200度)の広い視野角を有する。CMOS撮像デバイス21の受光面22には、魚眼レンズ9により集光された光による像が結像する。
図5は、CMOS撮像デバイス21の受光面22に結像する像の一例を示す説明図である。図5に示すように、魚眼レンズ9により集光される被写体光は、受光面22の中央部分に投射される。受光面22の中央部分には、この光により、円形の輪郭を有する円形画像が結像する。円形画像は、魚眼レンズ9を通過する被写体光の映像で、画像内の外周側となるほど画像の歪みが大きくなる画像である。なお、受光面22のこの円形画像の範囲外となる周縁部(図5において斜線を付した部分)には、カメラユニット4から漏れた光や回折などにより回り込んだ光などにより若干の濃淡が生じる。周縁部の受光光量は、均一な黒の値とはならない。
CMOS撮像デバイス21は、この受光面22に配列される複数の受光素子の受光光量を読込み、受光面22と同じ縦横比の四角形の画像の輝度画像データを生成する。CMOS撮像デバイス21が生成する輝度画像データは、たとえば受光面22に配列される受光素子と同数の複数の画素データを有する。図4の例でいえば、輝度画像データは、300の画素データを有する。なお、図4中の円は、円形画像の輪郭に相当する。この輪郭内の画素データは、円形画像による輝度情報を有する。輪郭外の画素データは、漏れた光などによる輝度情報を有する。
なお、CMOS撮像デバイス21に替えて、CCD(Charge Coupled Device)を使用してもよい。但し、CMOS撮像デバイス21では、受光面22に配列される複数の受光素子の受光光量を、一列毎に読み込むことができる。CMOS撮像デバイス21では、たとえば図4において画素番号の1から20番までの複数の受光素子の受光光量をアドレスラインで指定して一度に読み込むことができる。これに対して、CCDでは、受光素子毎にアドレスを指定し、受光光量を読み込む。そのため、CCDは、CMOS撮像デバイス21に比べて、1つの輝度画像データを生成するために時間がかかる傾向にある。
超小型広角カメラ装置1は、これらのLCD5、複数の操作キー6を有する入力デバイス22、USBコネクタ7、魚眼レンズ9、CMOS撮像デバイス21の他にも、カスタムIC(Integrated Circuit)23、ASIC(Application Specific IC)24、DSP(Digital Signal Processor)25、データを記憶する記憶手段としてのHDD26、マイク27、ADコンバータ28、バッテリ29、電源回路30などを有する。なお、これらの回路構成要素の中、たとえば魚眼レンズ9、CMOS撮像デバイス21、カスタムIC23、マイク27などがカメラユニット4に配設され、且つ、その他の回路構成要素が本体ユニット2に配設されればよい。
マイク27は、超小型広角カメラ装置1の周囲の音を拾う。マイク27は、音声などの音信号を生成する。音信号の波形は、マイク27が拾う音に応じて変化する。ADコンバータ28は、音信号をサンプリングし、音声などの音データを生成する。
バッテリ29は、電気を蓄電する。電源回路30は、バッテリ29あるいはUSBケーブル11の電源用の配線から供給される電力を、超小型広角カメラ装置1の各構成要素へ直流電圧により供給する。
カスタムIC23は、マイクロコンピュータの一種であり、図示外のI/O(入出力)ポート、タイマ、CPU(中央処理装置)、RAM(ランダムアクセスメモリ)、EEPROM(Electronically Erasable and Programmable Read Only Memory)、およびこれらを接続するシステムバスなどを有する。
カスタムIC23のI/Oポートには、CMOS撮像デバイス21やASIC24などが接続される。I/Oポートは、システムバスから供給されるデータを、CMOS撮像デバイス21やASIC24などへ供給したり、CMOS撮像デバイス21やASIC24などから供給されるデータを、システムバスに接続されるCPUなどへ供給したりする。
カスタムIC23中のタイマは、時間を計測する。なお、タイマが計測する時間には、たとえば時刻などの絶対的な時間や、所定のタイミングからの経過時間などがある。
カスタムIC23中のEEPROMは、データを記憶する。カスタムIC23のEEPROMに記憶されるデータとしては、たとえば図示外の色変換処理プログラムや、その色変換処理において使用するデータなどがある。色変換処理において使用するデータとしては、たとえば色変換テーブルなどがある。
色変換テーブルは、CMOS撮像デバイス21が生成する輝度画像データから、撮像静止画データ52を生成するために使用するデータを有する。色変換テーブルでは、たとえば受光光量の値と、色の値とが対応付けられている。
カスタムIC23中のCPUは、EEPROMに記憶される色変換処理プログラムをRAMに読み込んで実行する。これにより、カスタムIC23には、図2に示すように、置換え手段および撮像画像生成手段としての色変換処理部31が実現される。
色変換処理部31は、輝度画像データから、撮像静止画データ52を生成する。色変換処理部31は、EEPROMに記憶される色変換テーブルを用いて撮像静止画データ52を生成する。
DSP25は、マイクロコンピュータの一種であり、図示外のI/Oポート、タイマ、CPU、RAM、EEPROM、これらを接続するシステムバスなどを有する。DSP25のI/Oポートには、ASIC24などが接続される。DSP25のCPUは、EEPROMに記憶される図示外の表示画像生成プログラムをRAMに読み込んで実行する。これにより、DSP25には、図2に示すように、表示画像生成手段としての表示画像生成部32が実現される。
表示画像生成部32には、ASIC24から静止画データが供給される。表示画像生成部32は、供給された静止画データから、所定の表示デバイスに表示するための表示静止画データを生成する。表示画像生成部32は、たとえば各種のピクセル数(画素数)の静止画データから、所定の表示デバイスの解像度の表示静止画データを生成する。なお、表示画像生成部32は、たとえば各種のピクセル数(画素数)の静止画データから、所定の表示デバイスの一部に表示する表示静止画データなどを生成することができるものであってもよい。
図6は、図2中のASIC24のハードウェア構成を示すブロック図である。ASIC24は、マイクロコンピュータの一種であり、I/Oポート61、タイマ62、CPU63、RAM64、EEPROM65、これらを接続するシステムバス66などを有する。
ASIC24のI/Oポート61には、カスタムIC23、DSP25、入力デバイス22、LCD5、ADコンバータ28、HDD26、USBコネクタ7などが接続される。ASIC24のEEPROM65は、たとえばカメラ制御プログラム67や、そのプログラムの実行の際に使用するデータなどがある。プログラムの実行の際に使用するデータとしては、たとえば変換ルールデータ68がある。
変換ルールデータ68は、撮像静止画データ52から、その画像の画素数より少ない画素数の四角形の画像データ(以下、縮小サイズ静止画データ53と呼ぶ)を生成するための画素配列の変換ルールのデータを有する。
図7は、図6中の変換ルールデータ68による画素配列の変換ルールの一例を示す説明図である。図7において点線升目は、撮像静止画データ52の画像における画素配列を示す。撮像静止画データ52は、たとえば図4に示すCMOS撮像デバイス21の複数の受光素子の配列と1対1に対応する複数の画素を有する。図7において実線四角枠は、縮小サイズ静止画データ53の画像の枠である。図7において実線丸は、撮像静止画データ52の画像における円形画像の枠である。図7において斜線ハッチングで示す円形画像内の一部の画素は、縮小サイズ静止画データ53の画像の枠より、図7において左右および下において飛び出している。
図7の画素配列の変換ルールは、「20×15」画素の撮像静止画データ52の画像を、「14×14」画素の縮小サイズ静止画データ53の画像へ変換するものである。図7の画素配列の変換ルールは、円形画像の画素を「14×14」画素の配列に並べ変えるものであり、具体的には、図7において左右および下にはみ出している画素を、縮小サイズ静止画データ53の画像の四隅の角部分へ移動するものである。
CPU63は、EEPROM65に記憶されるカメラ制御プログラムをRAM64に読み込んで実行する。これにより、ASIC24には、図2に示すように、カメラ保存処理部33、変換手段としての画像変換部34、処理管理部35、圧縮手段および伸長手段としてのJPEG(Joint Photographic Experts Group)エンジン36、カメラ表示制御部37、およびデバイス通信部38などが実現される。
カメラ保存処理部33は、カスタムIC23からASIC24へ供給される撮像静止画データ52を、HDD26に保存する。
画像変換部34は、EEPROM65に記憶される変換ルールデータ68にしたがって、HDD26に保存されている撮像静止画データ52から、縮小サイズ静止画データ53を生成する。また、画像変換部34は、EEPROM65に記憶される変換ルールデータ68にしたがって、HDD26に保存されている伸長静止画データ55から、原サイズ再生静止画データ56を生成する。
JPEGエンジン36は、JPEG方式で縮小サイズ静止画データ53を圧縮し、圧縮静止画データを生成する。JPEG方式では、たとえば、まず、圧縮対象の画像を、所定の画素数(たとえば8×8画素)毎のブロック単位で離散コサイン変換(DCT)処理および量子化処理することで、画像のブロック単位での空間周波数成分を得る。画像のブロック単位での空間周波数成分は、ブロック単位の直流成分と、ブロック単位の複数の交流成分とで構成される。次に、JPEG方式では、画像の周波数成分毎のエントロピー符号化処理をして、画像のデータ量を減らす。なお、エントロピー符号化処理において、画像の直流成分は、ハフマン符号化などの予測符号化により符号化し、画像の各交流成分は、算術符号化などのランレングス符号化により符号化する。
なお、JPEGエンジン36は、以上の圧縮処理を逆順に実行し、伸長処理をすることもできる。JPEGエンジン36は、以上の圧縮処理を逆順に実行することで、JPEG方式で圧縮された画像データ(圧縮静止画データ)から、伸長静止画データ55を得ることができる。伸長静止画データ55は、縮小サイズ静止画データ53と同じ画素配列を有し、縮小サイズ静止画データ53による画像と略同じ品質の画像である。
カメラ表示制御部37は、表示画像生成部32が生成した表示静止画データを、LCD5へ供給する。これにより、LCD5には、表示静止画データによる画像が表示される。
デバイス通信部38は、USBコネクタ7を用いて、USB規格に基づくデータ通信を実行する。デバイス通信部38は、ホスト通信部46(図2では、パーソナルコンピュータ12のホスト通信部46)との間で通信データを送受する。デバイス通信部38は、たとえばSIC(スティルイメージクラス)やMSC(マスストレージクラス)などのクラス処理部39を有する。クラス処理部39は、クラスに応じたエンドポイントなどの各種の通信バッファを有する。クラス処理部39は、デバイス通信部38により通信バッファに通信データが記録されると、その通信データをホスト通信部46へ送信する。また、クラス処理部39は、ホスト通信部46から通信データを受信すると、受信した通信データを通信バッファに保存し、デバイス通信部38に通知する。
処理管理部35は、超小型広角カメラ装置1の動作を管理する。処理管理部35は、具体的にはたとえばASIC24に実現されるカメラ保存処理部33、画像変換部34、JPEGエンジン36、デバイス通信部38、カメラ表示制御部37、およびDSP25に実現される表示画像生成部32を管理する。
図2のモニタシステム13を構成するパーソナルコンピュータ12は、マイクロコンピュータ41を有する。マイクロコンピュータ41は、図示外のI/Oポート、タイマ、CPU、RAM、これらを接続するシステムバスなどを有する。マイクロコンピュータ41のI/Oポートには、キーボードやポインティングデバイスなどの入力デバイス42、表示手段としての大型のLCD43、USBコネクタ44、HDD45などが接続される。マイクロコンピュータ41のCPUは、HDD45に記憶される図示外のクライアントプログラムをRAMに読み込んで実行する。これにより、マイクロコンピュータ41には、図2に示すように、ホスト通信部46、PC表示制御部47、PC保存処理部48などが実現される。また、USBコネクタ44の電源用の配線には、給電回路49が接続される。
ホスト通信部46は、USBコネクタ44を用いて、デバイス通信部38との間で通信データを送受する。ホスト通信部46は、たとえばSICやMSCなどのクラス処理部50を有する。
PC保存処理部48は、ホスト通信部46が受信する表示静止画データなどの各種の通信データを、受信データ51としてパーソナルコンピュータ12のHDD45へ保存する。
PC表示制御部47は、パーソナルコンピュータ12のHDD45に記憶される表示静止画データを、大型のLCD43へ供給する。これにより、パーソナルコンピュータ12のLCD43には、表示静止画データによる画像が表示される。
なお、超小型広角カメラ装置1のカスタムIC23に内蔵されるEEPROM、DSP25に内蔵されるEEPROM、ASIC24に内蔵されるEEPROM65など、パーソナルコンピュータ12のHDD45などの記憶デバイスに記憶される各種のプログラムおよびデータは、これらの装置の出荷前にこれらの記憶デバイスに記憶されているものであっても、出荷後にインストールされてこれらの記憶デバイスに記憶されているものであってもよい。出荷後にインストールするプログラムやデータは、たとえば図示外のCD−ROMなどの記録媒体に記憶されていたものであっても、図示外のインターネットなどの通信媒体を介して取得したものであってもよい。
また、各種のプログラムおよびデータの中の一部が、出荷後にインストールされたものであってもよい。パーソナルコンピュータ12のHDD45に記憶されるクライアントプログラムは、オペレーティングシステムプログラムと、アプリケーションプログラムとの組合せなどとして記憶されていてもよい。さらに、クライアントプログラムは、オペレーティングシステムプログラムと、ブラウザ(閲覧)プログラムと、そのブラウザプログラムの一部として動作するプラグインプログラムとの組合せなどとして記憶されていてもよい。そして、たとえばこのブラウザプログラムやプラグインプログラムなどが、パーソナルコンピュータ12の出荷後にインストールされるものであってもよい。
次に、以上の構成を有するモニタシステム13の動作を説明する。
超小型広角カメラ装置1の魚眼レンズ9は、180度以上の広い視野角により被写体光を集光する。CMOS撮像デバイス21は、魚眼レンズ9により集光された被写体光を受光面22で受け、その受光面22に結像する画像の輝度画像データを生成する。CMOS撮像デバイス21は、その受光面22に図5に示す画像が結像すると、中央部に結像された円形画像を有する四角形の画像の輝度画像データを生成する。輝度画像データにおいて円形画像の範囲外となる周縁部には、カメラユニット4から漏れた光や回折などにより回り込んだ光などにより若干の明るい部分がある。円形画像の範囲外となる周縁部には、濃淡が生じる。
図8は、図2中の超小型広角カメラ装置1による撮像動作の流れを示すフローチャートである。
CMOS撮像デバイス21により輝度画像データが生成されると、カスタムIC23の色変換処理部31は、輝度画像データを読込み(ステップST1)、撮像静止画データ52を生成するための色変換処理を開始する(ステップST2)。色変換処理部31は、まず、カスタムIC23中のEEPROMの色変換テーブルからそれぞれの画素の輝度に対応する色の値を読込み、読み込んだ値をその画素に割り当てる。
色変換処理部31は、生成した撮像静止画データ52を、ASIC24のカメラ保存処理部33へ供給する。カメラ保存処理部33は、供給された撮像静止画データ52を、超小型広角カメラ装置1のHDD26に保存する(ステップST3)。これにより、超小型広角カメラ装置1のHDD26には、撮像された最新の円形画像を有する撮像静止画データ52が記憶される。
カメラ保存処理部33は、最新の撮像静止画データ52をHDD26に保存するとともに、そのことを処理管理部35へ通知する。カメラ保存処理部33から保存の通知があると、処理管理部35は、画像変換部34へ変換処理を指示し、JPEGエンジン36へ圧縮処理を指示する。
最新の撮像静止画データ52のHDD26への保存により変換が指示されると、画像変換部34は、その最新の撮像静止画データ52を読込み、縮小サイズ静止画データ53の生成処理を開始する。具体的にはたとえば、画像変換部34は、まず、図7中に四角形の実線枠として示す、所定の少ない画素数の画像データを生成する。なお、この画像データの各画素データの初期値は、たとえば黒色などの単一色であればよい。
図7中に四角形の実線枠として示す画像データを生成した後、画像変換部34は、生成した少ない画素数の画像データの各画素に、EEPROM65に記憶される変換ルールデータ68に基づいて、撮像静止画データ52中の円形画像の複数の画素データを割り付ける。この実施の形態では、図7に示すように、画像変換部34は、撮像静止画データ52中の円形画像の情報を減らすことなく、撮像静止画データ52より画素数が少ない縮小サイズ静止画データ53を生成する。画像変換部34は、生成した縮小サイズ静止画データ53を、HDD26に保存する(ステップST4)。
縮小サイズ静止画データ53がHDD26に保存されると、JPEGエンジン36は、HDD26に保存されている縮小サイズ静止画データ53を読込み、縮小サイズ静止画データ53の圧縮処理を開始する(ステップST5)。
圧縮処理において、JPEGエンジン36は、具体的にはたとえば、HDD26に保存されている縮小サイズ静止画データ53の複数の画素データをブロック単位で読込み、ブロック単位でDCT処理、エントロピー符号化処理を実行する。これにより、JPEGエンジン36は、縮小サイズ静止画データ53をJPEG方式で圧縮した静止画データを生成する。
JPEGエンジン36は、生成した圧縮静止画データに、タイマが計測する時刻情報などを付加した後、超小型広角カメラ装置1のHDD26に保存する(ステップST6)。これにより、超小型広角カメラ装置1のHDD26には、最新の縮小サイズ静止画データ53を圧縮した圧縮静止画データが保存される。
CMOS撮像デバイス21は、輝度画像データを所定の撮像周期毎に生成する。超小型広角カメラ装置1は、輝度画像データが生成される度に、図8の撮像動作を実行する。これにより、超小型広角カメラ装置1のHDD26には、CMOS撮像デバイス21により生成される輝度画像データに基づく、複数の圧縮静止画データが保存される。超小型広角カメラ装置1のHDD26には、複数の圧縮静止画データで構成される蓄積動画データ54が生成される。蓄積動画データ54は、JPEGエンジン36が新しい圧縮静止画データを生成する度にそのデータが追加されることで更新される。
なお、HDD26に生成される蓄積動画データ54は、この他にもMPEG(Moving Picture Experts Group)方式の動画データなどであってもよい。MPEG方式の動画データは、たとえばHDD26に複数の縮小サイズ静止画データ53を蓄積した後、たとえば図示外のMPEGエンジンにより圧縮して生成するようにすればよい。
以上のような図8に基づく動画の撮像および記録処理が超小型広角カメラ装置1において実行される一方で、パーソナルコンピュータ12の入力デバイス42は、ユーザのキー操作に基づいて入力データを生成する。
図9は、図2のモニタシステム13における再生動作の流れを示すフローチャートである。パーソナルコンピュータ12の入力デバイス42は、生成した入力データを、マイクロコンピュータ41のPC表示制御部47へ供給する。PC表示制御部47は、入力データに基づいて表示指定コマンドを生成する(ステップST11)。
図10は、図2中のPC表示制御部47が入力データに基づいて生成する表示指定コマンドの一例を示す説明図である。PC表示制御部47は、図10に示すように、2種類の画像パターン切替コマンド、4種類の切出しリング位置調整コマンド、切出しリングサイズ調整コマンド、表示設定保存コマンドなどを生成する。PC表示制御部47は、図10に示すものの他にもたとえば、表示開示指示コマンド、時刻指定コマンド、表示終了指定コマンドなどを生成する。
図11は、図2中のパーソナルコンピュータ12の大型のLCD43に表示される表示画面の組合せの一例を示す図である。図11(A)は、超小型広角カメラ装置1が撮像するアスペクト比4:3の広角画面の一例である。図11(B)は、図11(A)中の実線枠の範囲内を切出したアスペクト比4:3の切出し画面の一例である。以下において、図11(A)中の実線枠を切出しリングとよぶ。図11(C)は、図11(B)の切出し画面と同じ切出し画像の左上隅に、画素が間引かれることで縮小した広角画面が割り付けられたアスペクト比4:3の二重画面の一例である。
そして、PC表示制御部47が入力データに基づいて生成する表示指定コマンドの中、表示開示指示コマンドは、図11(A)の円形画像となる広角画面の表示開始を指示するコマンドである。時刻指定コマンドは、表示を開始する画像の時刻を指定するコマンドである。表示終了指定コマンドは、画面の表示終了を指示するコマンドである。表示設定保存コマンドは、その時点の表示設定を超小型広角カメラ装置1へ保存させるコマンドである。
また、図10に示す画像パターン切替コマンドは、表示画面を、図11(A)の広角画面、図11(B)の切出し画面および図11(C)の二重画面の3つの画面の中で切り替えることを指示するコマンドである。PC表示制御部47は、二種類の画像パターン切替コマンドにより、3つの画面を所定の順番で順送りで切り替えることを指示したり、3つの画面をそれとは逆の順番で逆送りで切り替えることを指示したりすることができる。
切出しリング位置調整コマンドは、切出し画像を移動することを指示するコマンドである。PC表示制御部47は、四種類の切出しリング位置調整コマンドにより、広角画面から切り出す画像の範囲を、上下左右(広角画面で言えば中心方向、外周方向、時計回り方向および反時計回り方向)に切り替えることを指示することができる。
切出しリングサイズ調整コマンドは、切出し画像の大きさを拡大縮小することを指示するコマンドである。PC表示制御部47は、二種類の切出しリングサイズ調整コマンドにより、広角画面から切り出す画像の大きさを小さくし、後述する拡大倍率を大きくしたり(ズームイン)、広角画面から切り出す画像の大きさを大きくし、後述する拡大倍率を小さくしたり(ズームアウト)することを指示することができる。
PC表示制御部47は、生成した表示指定コマンドを、ホスト通信部46へ供給する。ホスト通信部46は、供給された表示指定コマンドを、クラス処理部50の通信バッファに格納する。ホスト通信部46のクラス処理部50は、パーソナルコンピュータ12のUSBコネクタ44、USBケーブル11および超小型広角カメラ装置1のUSBコネクタ7を介して、デバイス通信部38のクラス処理部39へ、通信バッファに格納されている表示指定コマンドを送信する。超小型広角カメラ装置1のデバイス通信部38の通信バッファには、表示指定コマンドが格納される(ステップST12)。
超小型広角カメラ装置1のデバイス通信部38は、通信バッファにより受信した表示指定コマンドを、ASIC24の処理管理部35へ供給する。処理管理部35の指示に基づいて、超小型広角カメラ装置1は、表示静止画データの生成処理を開始する(ステップST13)。
図12は、超小型広角カメラ装置1による表示静止画データの生成処理の流れを示すフローチャートである。超小型広角カメラ装置1のASIC24の処理管理部35は、まず、表示指定コマンドを取得したか否かを判断する(ステップST31)。そして、表示指定コマンドを取得すると、処理管理部35は、取得した表示指定コマンドをASIC24のRAM64やHDD26などに保存する(ステップST32)。
また、表示指定コマンドを取得していない場合、処理管理部35は、次の表示静止画データの生成の要否を判断する(ステップST33)。処理管理部35は、たとえば、蓄積動画データ54が更新されたり、タイマにより所定の表示更新周期が計測されたりすると、次の表示静止画データの生成が要であると判断する。処理管理部35は、それ以外の場合は、次の表示静止画データの生成が不要であると判断する。次の表示静止画データの生成が不要である場合、処理管理部35は、ステップST31に戻って、表示指定コマンドを取得したか否かを判断する。なお、蓄積動画データ54は、JPEGエンジン36が、撮像静止画データ52を圧縮する度にそのデータが追加されることで更新される。処理管理部35は、蓄積動画データ54が更新されたか否かを判断することに替えて、撮像静止画データ52が更新されたか否かなどを判断するようにしてもよい。
このように処理管理部35は、表示指定コマンドの取得や、蓄積動画データ54などの更新や表示更新周期の経過を待つ(ステップST31〜ST33)。このような状況で、図9に示すように、超小型広角カメラ装置1のデバイス通信部38が表示指定コマンドを受信すると、処理管理部35は、その受信した表示指定コマンドをRAM64などに保存する。
受信した表示指定コマンドをRAM64などに保存した後、処理管理部35は、RAM64に記憶される表示指定コマンドの組合せに基づいて、表示静止画データの生成を指示する(ステップST34)。
たとえば、RAM64に記憶される表示指定コマンドの組合せに基づいて、リアルタイムの広角画面の画像の表示が指示されていると判断すると、処理管理部35は、表示画像生成部32に、HDD26に記憶される撮像静止画データ52に基づく、広角画面の表示静止画データの生成を指示する。
表示画像生成部32は、ASIC24を介してHDD26に記憶される撮像静止画データ52を取得する。表示画像生成部32は、取得した撮像静止画データ52の画像から、四角形の広角画面の表示静止画データを生成する。表示画像生成部32は、たとえば、取得した撮像静止画データ52の画像から複数の画素を間引いてデータ量が少なくなった、所定のアスペクト比および解像度を有する広角画面の表示静止画データを生成すればよい。なお、広角画面の表示静止画データのアスペクト比および解像度は、たとえばLCD43のアスペクト比および解像度とすればよい。
この他にもたとえば、RAM64に記憶される表示指定コマンドの組合せに基づいて、リアルタイムの切出し画面の画像の表示が指示されていると判断すると、処理管理部35は、表示画像生成部32に、HDD26に記憶される撮像静止画データ52に基づく、切出し画面の表示静止画データの生成を指示する。
表示画像生成部32は、ASIC24を介してHDD26に記憶される撮像静止画データ52を取得する。表示画像生成部32は、RAM64に記憶される表示指定コマンドの組合せに基づいて、切出しリングの位置およびサイズを特定し、取得した撮像静止画データ52の画像から、特定した切出しリングの位置およびサイズの範囲内の画像を切出す。表示画像生成部32は、切出した画像の輪郭および解像度が所定のアスペクト比および解像度の四角形の画像となるように、画像の外形補正処理や歪み補正処理(たとえば歪曲収差の補正処理)や補間処理など実行する。以上の処理により、表示画像生成部32は、たとえばパーソナルコンピュータ12の大型のLCD43に表示する所定のサイズに合うように拡大処理された切出し画面の表示静止画データを生成する。
この他にもたとえば、RAM64に記憶される表示指定コマンドの組合せに基づいて、過去の広角画面の画像の表示が指示されていると判断すると、処理管理部35は、JPEGエンジン36に、表示指定コマンドにより指定された過去の時刻の圧縮静止画データの伸長を指示し、画像変換部34に、伸長により生成される伸長静止画データ55の逆変換処理を指示し、さらに、表示画像生成部32に、画像変換部34が逆変換処理により生成する原サイズ再生静止画データ56に基づく、広角画面の表示静止画データの生成を指示する。
JPEGエンジン36は、過去の所定の時刻の圧縮静止画データの伸長が指示されると、HDD26に記憶される蓄積動画データ54から指定された時刻の圧縮静止画データを読込み、それを伸長する。JPEGエンジン36は、具体的にはたとえば、読み込んだ圧縮静止画データを解析し、エントロピー複合化処理、ブロック単位での逆DCT変換処理などを実行し、伸長静止画データ55を生成する。JPEGエンジン36は、生成した伸長静止画データ55をHDD26に保存する。
画像変換部34は、逆変換処理が指示されると、HDD26に記憶される伸長静止画データ55を読込み、それを逆変換する。画像変換部34は、具体的にはたとえば、まず、撮像静止画データ52と同じ画素数および同じ画素配列の画像データを生成する。この画像データの複数の画素データの初期値は、たとえば黒色などの単一色の値とする。
縮小サイズ静止画データ53と同じ画素数および同じ画素配列の画像データを生成した後、画像変換部34は、EEPROM65に記憶される変換ルールデータ68に基づいて、伸長静止画データ55中の各画素データを、生成した画像データの複数の画素に割り付ける。画像変換部34は、たとえば図7中の矢印で示す移動方向とは逆の移動処理により、伸長静止画データ55の画像中の四隅の角部分の画素データを、伸長静止画データ55の左右および下へ移動する。
以上の処理により、画像変換部34は、原サイズ再生静止画データ56を生成する。原サイズ再生静止画データ56は、撮像静止画データ52と同じ画素数および同じ画像配列を有し、且つ、その中心部分に円形画像を有する。この原サイズ再生静止画データ56の円形画像の画素数および画像配列は、撮像静止画データ52における画素数および画像配列と同じである。また、原サイズ再生静止画データ56の円形画像の画質は、撮像静止画データ52の円形画像の画質と略同等あるいは若干悪い品質となる。画像変換部34は、生成した原サイズ再生静止画データ56を、HDD26に保存する。
表示画像生成部32は、ASIC24を介してHDD26に記憶される原サイズ再生静止画データ56を取得する。表示画像生成部32は、取得した原サイズ再生静止画データ56の画像から複数の画素を間引いてデータ量が少なくなった、所定のアスペクト比および解像度を有する広角画面の表示静止画データを生成する。
以上のように、表示画像生成部32は、RAM64に記憶される表示指定コマンドの組合せに応じた表示静止画データを生成する。新たな表示指定コマンドの受信により、RAM64に記憶される表示指定コマンドの組合せが更新されると、表示画像生成部32は、その更新された組合せに基づく表示静止画データを生成する。超小型広角カメラ装置1は、図9のステップST13での表示静止画データの生成処理を終了する。
表示画像生成部32が表示静止画データを生成すると、超小型広角カメラ装置1のデバイス通信部38は、図9に示すように、表示画像生成部32が生成した表示静止画データを、パーソナルコンピュータ12のホスト通信部46へ送信する(ステップST14)。
表示静止画データは、具体的には、デバイス通信部38の通信バッファ、超小型広角カメラ装置1のUSBコネクタ7、USBケーブル11、パーソナルコンピュータ12のUSBコネクタ44、およびホスト通信部46の通信バッファを介して、ホスト通信部46へ送信される。
ホスト通信部46は、受信した表示静止画データを、PC保存処理部48へ供給する。PC保存処理部48は、ホスト通信部46から表示静止画データなどの受信データが供給されると、供給された受信データを、パーソナルコンピュータ12のHDD45に保存する。これにより、パーソナルコンピュータ12のHDD45には、表示静止画データが受信データ51として保存される。
また、PC保存処理部48は、表示静止画データをHDD45へ保存したことを、PC表示制御部47へ通知する。PC表示制御部47は、パーソナルコンピュータ12のHDD45から、表示静止画データを読込み、パーソナルコンピュータ12の大型のLCD43へ表示データとして供給する。
これにより、パーソナルコンピュータ12の大型のLCD43には、PC表示制御部47が生成した表示指定コマンドに応じた画像が表示される(ステップST15)。
たとえば、PC表示制御部47が、広角画面(円形画像)の表示を指示する画像パターン切替コマンドを生成した場合、パーソナルコンピュータ12のLCD43には、図11(A)の広角画面が表示される。広角画面において、円形画像の外側となる周縁部は、均一な黒色により表示される。
また、PC表示制御部47が、切出し画面の表示を指示する画像パターン切替コマンドを生成した場合、パーソナルコンピュータ12のLCD43には、円形画像(撮像静止画データ52など)から一部が切出され、その切出された部分が拡大処理された図11(B)の切出し画面が表示される。
また、PC表示制御部47が、二重画面の表示を指示する画像パターン切替コマンドを生成した場合、パーソナルコンピュータ12のLCD43には、縮小されデータ量が少なくなった円形画像と、円形画像(撮像静止画データ52など)から一部が切出され、その切出された部分が拡大処理された拡大画像とからなる二重画面、すなわち図11(C)の二重画面が表示される。
この他にもたとえば、PC表示制御部47が、切出し画面を移動する切出しリング位置調整コマンドを生成した場合、パーソナルコンピュータ12のLCD43には、画像の中心がたとえば図11(B)より若干上下左右方向へ移動した切出し画面が表示される。この切出し画面も上述のように拡大処理されているものである。
また、PC表示制御部47が、切出し画面を拡大縮小する切出しリングサイズ調整コマンドを生成した場合、パーソナルコンピュータ12のLCD43には、画像の切出し範囲がたとえば図11(B)より小さいあるいは大きい切出し画面が表示される。
このようにパーソナルコンピュータ12の大型のLCD43に表示静止画データに基づく画面が表示される。その一方で、超小型広角カメラ装置1は、図12による表示静止画データの生成処理を繰り返し実行する。
そして、図9に示すように、超小型広角カメラ装置1のHDD26に記憶される蓄積動画データ54などが更新されたり、あるいは表示更新周期が経過したりすると(ステップST16)、処理管理部35は、RAM64に記憶される表示指定コマンドの組合せに基づいて、次の表示静止画データの生成を指示する(ステップST17)。JPEGエンジン36および表示画像生成部32は、処理管理部35からの次の表示静止画データの生成指示に基づいて、次の表示静止画データを生成する。デバイス通信部38は、生成された表示静止画データを、パーソナルコンピュータ12のホスト通信部46へ送信する(ステップST18)。PC保存処理部48は、受信した表示静止画データをHDD45へ保存する。PC表示制御部47は、パーソナルコンピュータ12のHDD45から、表示静止画データを読込み、パーソナルコンピュータ12の大型のLCD43へ表示データとして供給する。これにより、パーソナルコンピュータ12の大型のLCD43には、次の表示静止画データによる画面が表示される(ステップST19)。
この2つ目の表示静止画データは、超小型広角カメラ装置1がRAM64に記憶する表示指定コマンドの組合せに基づくものであり、最初の表示静止画データと同じ表示指定コマンドに基づくものである。したがって、最初の表示静止画データによる表示画面と、この2つ目の表示静止画データによる表示画面との間に、魚眼レンズ9に写る風景内で変化があると、たとえば人が移動すると、その変化が、パーソナルコンピュータ12の大型のLCD43に画面変化として表示されることになる。
その後も、超小型広角カメラ装置1の処理管理部35は、図9に示すように、HDD26に記憶される蓄積動画データ54などが更新されたり、あるいは表示更新周期が経過したりする度に(ステップST20)、次の表示静止画データの生成および送信処理を繰り返し実行する(ステップST21、ST22)。パーソナルコンピュータ12の大型のLCD43は、新たに受信した静止画を表示する(ステップST23)。
これにより、パーソナルコンピュータ12の大型のLCD43には、超小型広角カメラ装置1により連続的に撮像される複数の静止画による動画が表示される(ステップST15、ST19、ST23)。
なお、このように超小型広角カメラ装置1が、指定された表示指定コマンドに基づいて連続的に撮像される複数の表示静止画データをパーソナルコンピュータ12へ送信する間にも、それとは無関係に、パーソナルコンピュータ12のPC表示制御部47は、入力デバイス42から新たな入力データが供給されると、その新たな入力データに基づいて新たな表示指定コマンドを生成し、超小型広角カメラ装置1へ送信する。
そして、超小型広角カメラ装置1のRAM64に記憶される表示指定コマンドの組合せは更新される。たとえば、RAM64に記憶される表示指定コマンドの組合せは、広角画面の表示を指定するものから、切出し画面の表示を指定するものへ更新される。超小型広角カメラ装置1のRAM64に記憶される表示指定コマンドの組合せが更新されると、処理管理部35は、その後の指示を、それに応じて変化させる。これにより、パーソナルコンピュータ12のLCD43に表示される動画は、たとえば図11(A)に示す広角画面での動画から、図11(B)に示す切出し画面での動画へと切り替わる。
なお、上述したモニタシステム13の動作は、パーソナルコンピュータ12の入力デバイス42の操作に基づき、超小型広角カメラ装置1が撮像した動画あるいはそれに基づく動画を、パーソナルコンピュータ12の大型のLCD43に表示する場合のものである。この他にもたとえば、この実施の形態1に係るモニタシステム13は、超小型広角カメラ装置1の入力デバイス22の操作に基づき、超小型広角カメラ装置1が撮像する広角画面の動画あるいはそれに基づく切出し画面の動画を、超小型広角カメラ装置1のLCD5に表示することもできる。この場合、超小型広角カメラ装置1の入力デバイス22は、表示指定コマンドを生成し、表示画像生成部32は、超小型広角カメラ装置1のLCD5用の表示静止画データを生成し、超小型広角カメラ装置1のLCD5は、表示画像生成部32により生成された表示静止画データによる画像を表示するようにすればよい。
また、上述したモニタシステム13の動作は、動画の撮像処理と、撮像した動画に基づく画像をLCD43に表示する表示処理とを説明している。超小型広角カメラ装置1は、この他にもマイク27を有する。マイク27は、音信号を生成する。ADコンバータ28は、音信号をサンプリングし、音データをASIC24のカメラ保存処理部33へ供給する。カメラ保存処理部33は、供給された音データを超小型広角カメラ装置1のHDD26に保存する。これにより、超小型広角カメラ装置1のHDD26には、蓄積音データ57が保存される。超小型広角カメラ装置1は、表示画像生成部32が生成する表示静止画データとともにこの蓄積音データ57を、パーソナルコンピュータ12へ送信し、パーソナルコンピュータ12は図示外のスピーカから蓄積音データ57に基づく音声などの音を出力するようにしてもよい。これにより、パーソナルコンピュータ12は、超小型広角カメラ装置1がモニタする動画および音を再生することができる。
以上のように、この実施の形態1に係るモニタシステム13は、超小型広角カメラ装置1と、パーソナルコンピュータ12とがUSBケーブル11により接続されている。そして、超小型広角カメラ装置1のCMOS撮像デバイス21は、円形画像を含む輝度画像データを生成する。色変換処理部31は、円形画像を含む四角形の撮像静止画データ52を生成する。画像変換部34は、円形画像を構成する複数の画素データを有する、撮像静止画データ52よりも画素数が小さい縮小サイズ静止画データ53を生成する。JPEGエンジン36は、縮小サイズ静止画データ53をJPEG方式で圧縮する。HDD26は、圧縮された複数の静止画データからなる蓄積動画データ54を記憶する。JPEGエンジン36は、HDD26に記憶されている圧縮された静止画データを伸長する。画像変換部34は、JPEGエンジン36により伸長された静止画データ(伸長静止画データ55)から、円形画像を構成する複数の画素データを有する、撮像静止画データ52と同じ画素数および画像サイズを有する原サイズ再生静止画データ56を生成する。表示画像生成部32は、原サイズ再生静止画データ56から、パーソナルコンピュータ12のLCD43や自身のLCD5に表示する表示画像データを生成する。
したがって、この実施の形態1に係るモニタシステム13では、超小型広角カメラ装置1により撮像した撮像静止画データ52の画素数を減らした上でJPEG方式で圧縮し、後からそれを伸長した上で元のサイズへ戻し、その戻した静止画データ(原サイズ再生静止画データ56)から所望の任意の範囲を切出し、その部分のみを拡大処理した切出し画像を、パーソナルコンピュータ12のLCD43に表示したり、超小型広角カメラ装置1のLCD5に表示したりすることができる。
しかも、画像変換部34は、撮像静止画データ52の画像中の、魚眼レンズ9により撮像された円形画像部分を、四角形の画像の縮小サイズ静止画データ53へ変換し、JPEGエンジン36は、その縮小サイズ静止画データ53をJPEG方式で圧縮する。縮小サイズ静止画データ53の画素数は、撮像静止画データ52の画素数より少ない。したがって、JPEGエンジン36が生成する圧縮静止画データのデータ量は、撮像静止画データ52をJPEG方式で圧縮する場合に比べて格段に削減される。
たとえば撮像静止画データ52のアスペクト比4:3であり、撮像静止画データ52による撮像静止画が円形画像と同じ高さを有するものとすると、その撮像静止画データ52における円形画像の画素の割合は、0.589(=3.14×r/(2r×(2r×4/3)))となる。この式でrは、円形画像の半径である。したがって、図4の画素配列の変換ルールによる縮小サイズ静止画データ53のデータ量は、撮像静止画データ52をJPEG方式で圧縮する場合のデータ量のおよそ0.589倍とすることが可能である。
その結果、この実施の形態1に係るモニタシステム13での圧縮方法を採用することで、圧縮後の撮像画像のデータ量は、魚眼レンズ9の撮像に基づく撮像静止画データ52をそのままJPEG方式で圧縮する場合に比べて、格段に削減される。
しかも、四角形の撮像静止画中の、円形画像の複数の画素データは、縮小サイズ静止画データ53の各画素データとして残されている。そのため、円形画像をJPEG方式で圧縮し、さらにJPEG方式で伸長した後の円形画像の画質は、魚眼レンズ9の撮像に基づく撮像静止画データ52をそのままJPEG方式で圧縮する場合と同等の画質に維持することができる。円形画像の画質を落とすことなく、保存するデータ量を効果的に減らすことができる。
なお、この実施の形態では、JPEGエンジン36は、CMOS撮像デバイス21が連続的に撮像する度に更新される複数の撮像静止画データ52をすべてJPEG方式で圧縮し、蓄積動画データ54として保存している。この他にもたとえば、JPEGエンジン36は、CMOS撮像デバイス21による連続的な撮像により更新される複数の撮像静止画データ52の中の一部を、たとえば1つおきにJPEG方式で圧縮して保存することで、蓄積動画データ54として蓄積するデータ量を減らすようにしてもよい。1つおきにJPEG方式で圧縮して保存した場合、蓄積動画データ54のフレームレートは、CMOS撮像デバイス21による撮像でのフレームレートの半分となる。
また、この実施の形態1において、CMOS撮像デバイス21は、300万画素のものである。したがって、圧縮された静止画データをJPEGエンジン36で伸長し、画像変換部34により原画像のサイズへ戻し、さらに、その原画像のサイズに戻された画像の一部を表示画像生成部32により、VGAサイズ以上で切出すことができる。
したがって、HDD26の蓄積動画データ54の保存のための記憶領域を効果的に減らしつつ、HDD26に記憶される静止画データから所望の範囲を切出し、その切出した範囲を拡大処理することで、VGAサイズ以上の、実用性のある高い解像度の表示画像を得ることができる。
図13は、実施の形態1およびその変形例における画素変換ルールを示す説明図である。図13(A)は、この実施の形態1における円形画像の画素の変換ルールである。図13(B)は、この実施の形態1の第一の変形例における円形画像の画素の変換ルールである。図13(C)は、この実施の形態1の第二の変形例における円形画像の画素の変換ルールである。図13(D)は、この実施の形態1の第三の変形例における円形画像の画素の変換ルールである。
この実施の形態1では、画像変換部34は、変換ルールデータ68の変換ルールに基づいて、図13(A)に示すように、撮像静止画データ52の画像の中の円形画像について、縮小サイズ静止画データ53の四角形の画像からはみ出す画素データを、縮小サイズ静止画データ53の四角形の四隅の角部分の画素に移動するように割り付けることで、小さい画像へ変換している。
この他にもたとえば、画像変換部34は、変換ルールデータ68の他の変換ルールに基づいて、図13(B)に示すように、突出する4つの円弧部分をそれぞれ二分割し、4つの角部に割り当てるようにしたりしてもよい。
また、図13(C)に示すように、画像変換部34は、撮像静止画データ52の画像の中の円形画像について、行毎にまとめて複数の画素データを割り付けることで、小さい画像へ変換するようにしてもよい。
さらに他にもたとえば、画像変換部34は、変換ルールデータの変換ルールに基づいて、図13(D)に示すように、撮像静止画データ52の画像の中の円形画像について、円形画像の中心の画素を中心とする円状に並ぶ複数の画素データを円単位でまとめて割り付けることで、小さい画像へ変換するようにしてもよい。
この実施の形態1では、画像変換部34は、変換ルールデータ68の変換ルールに基づいて、図7に示すように、撮像静止画データ52の円形画像の画素数と同数の四角形の画像の縮小サイズ静止画データ53を生成している。
この他にもたとえば、画像変換部34は、変換ルールデータ68の他の変換ルールに基づいて、図14に示すように、撮像静止画データ52の円形画像の画素数より多い数の四角形の画像の縮小サイズ静止画データ53を生成するようにしてもよい。図14の例では、撮像静止画データ52の円形画像の画素数に比べて、縮小サイズ静止画データ53の画像の画素数は、その1列分だけ画素数が多くなっている。
なお、この変形例では、縮小サイズ静止画データ53の画像の画素数が、撮像静止画データ52の円形画像の画素数より多いため、縮小サイズ静止画データ53の画像中には、円形画像の画素データが割り付けられない画素(図14中で、番号が記載されていない画素)が存在する。そして、このような円形画像の画素データが割り付けられない画素には、画像変換部34は、たとえば黒色などの単一色あるいは略均一な色の画素データを割り付けるようにするとよい。
JPEG方式で圧縮するブロックの複数の画素の色が同一色あるいは略同一色である場合、そのブロックをDCT変換したとき、空間周波数の交流成分が生成されない。あるいは、空間周波数の交流成分がほとんど生成されない。そのブロックは、略直流成分のみとなる。また、同一色あるいは略同一色の複数の画素からなるブロックが連続するとき、ランレングス符号化により、データ量が減る。
そして、縮小サイズ静止画データ53において、円形画像の画素データが割り付けられない画素は、画像の四隅の角部分にまとめて存在することとなる。
したがって、この円形画像の画素データが割り付けられない画像の四隅の複数の画素に、同一色あるいは略同一色の画素データを割り付けることで、縮小サイズ静止画データ53の画像の画素数が、撮像静止画データ52の円形画像の画素数より多いのにもかかわらず、圧縮した場合、撮像静止画データ52の円形画像と、縮小サイズ静止画データ53の画像とは、略同じデータ量となることを期待することができる。
実施の形態2.
図15は、本発明の実施の形態2に係るモニタシステム13の機能構成を示すブロック図である。実施の形態2に係るモニタシステム13は、超小型広角カメラ装置1と、これとUSBケーブル11により接続されるパーソナルコンピュータ12とを有する。
実施の形態2に係る超小型広角カメラ装置1は、結像する円形画像の複数の画素を並べ替えた画像からなる輝度画像データを生成する撮像手段としてのCMOS撮像デバイス71と、伸長処理のみを実行する変換手段としての画像変換部73と、を有する。
これ以外の実施の形態2に係るモニタシステム13の構成要素は、実施の形態1に係るモニタシステム13の同名の構成要素と同じ機能を奏するものであり、実施の形態1と同一の符号を付してその説明を省略する。
そして、CMOS撮像デバイス71が円形画像が結像される複数の受光素子の受光光量に基づく輝度画像データを生成し、すなわち、この実施の形態2では、画像変換部73によって画像の縮小変換はなされない。
図16は、図15中のCMOS撮像デバイス71での、複数の受光素子の配列と、アドレスとの対応関係を示す図である。このCMOS撮像デバイス71では、CMOS撮像デバイス71の受光面に配列される複数の受光素子の中、円形画像が結像する範囲内の複数の受光素子についてのみ、1〜196のアドレス値が割り当てられている。なお、実施の形態1のCMOS撮像デバイス21では、図4に示すように、その受光面に配列される複数の受光素子に、1〜300のアドレス値が割り当てられている。
CMOS撮像デバイス71は、アドレス値が割り当てられている複数の受光素子の受光光量を読込み、四角形の画像の輝度画像データを生成する。
図17は、図15中のCMOS撮像デバイス71が生成する輝度画像データによる画像における画素配列を示す説明図である。CMOS撮像デバイス71は、図17に示すように、たとえば「14×14」画素からなる四角形の画像の輝度画像データを生成する。図17において、画像の各画素に対応するマスには、図16の各受光素子のアドレスが記載されている。輝度画像データの画像の複数の画素には、円形画像が結像する複数の画素の画素データが割り当てられている。
CMOS撮像デバイス71により円形画像の輝度が割り付けられた輝度画像データが生成されると、カスタムIC23の色変換処理部31は、輝度画像データの各画素にその輝度に対応する色の値を割り当てて、撮像静止画データ72を生成する。ASIC24のカメラ保存処理部33は、色変換処理部31が生成する撮像静止画データ72を、HDD26に保存する。
また、カメラ保存処理部33は、撮像静止画データ72をHDD26に保存すると、それを処理管理部35へ通知する。処理管理部35は、JPEGエンジン36へ圧縮処理を指示する。JPEGエンジン36は、HDD26に保存されている撮像静止画データ72を読込み、JPEG方式で圧縮する。JPEGエンジン36は、JPEG方式の圧縮処理により生成した圧縮静止画データにより、HDD26に保存される蓄積動画データ54を更新する。
その後、処理管理部35は、たとえばパーソナルコンピュータ12から新たに受信した表示指定コマンドをRAM64に保存した後、このRAM64に記憶される表示指定コマンドの組合せに基づいて、過去の広角画面の画像の表示が指示されていると判断する。処理管理部35は、JPEGエンジン36に、表示指定コマンドにより指定された過去の時刻の圧縮静止画データの伸長を指示し、画像変換部73に、伸長により生成される伸長静止画データ55の逆変換処理を指示し、さらに、表示画像生成部32に、画像変換部34が逆変換処理により生成する原サイズ再生静止画データ56に基づく、広角画面の表示静止画データの生成を指示する。
JPEGエンジン36により伸長された伸長静止画データ55がHDD26に保存されると、画像変換部73は、EEPROM65に記憶される変換ルールデータ68にしたがって、HDD26に保存されている伸長静止画データ55から、原サイズ再生静止画データ56を生成する。画像変換部73は、図16に示すCMOS撮像デバイス21がその受光面22に配列されるすべての受光素子に基づいて生成する四角形の画像と同じ画素数およびサイズを有する画像の原サイズ再生静止画データ56を生成する。画像変換部73は、画像の中央部に円形画像を有し、且つ、その円形画像の外側の周縁部が均一な色(たとえば黒色)に塗られた画像の原サイズ再生静止画データ56を生成する。画像変換部73は、生成した原サイズ再生静止画データ56を、HDD26に保存する。表示画像生成部32は、ASIC24を介してHDD26に記憶される原サイズ再生静止画データ56を取得し、広角画面(円形画像)の表示静止画データを生成する。
以上のように、この実施の形態2によれば、CMOS撮像デバイス72は、円形画像が結像する複数の受光素子の受光光量に基づく輝度情報を有する四角形の画像の輝度画像データを生成し、JPEGエンジン36は、その輝度画像データに基づく四角形の画像の撮像静止画データ72を圧縮する。したがって、ASIC24に実現される画像変換部73は、実施の形態1の画像変換部34のように、圧縮処理前に、撮像静止画データ72の画素数を減らす必要がない。ASIC24におけるソフトウェア処理により、撮像静止画データ72の画素数を減らす必要がなく、その分、短時間で、輝度画像データから圧縮静止画データを生成することができる。
実施の形態3.
図18は、本発明の実施の形態3に係るモニタシステム13の機能構成を示すブロック図である。実施の形態3に係るモニタシステム13は、超小型広角カメラ装置1と、これとUSBケーブル11により接続されるパーソナルコンピュータ12とを有する。
実施の形態3に係る超小型広角カメラ装置1は、CMOS撮像デバイス21が生成する輝度画像データの画像の中の、円形画像外の画素については、色変換するのではなく黒色の画素データに置き換える色変換処理部81と、画像の縮小変換処理において画素単位ではなく、複数の画素からなるブロック単位で置換えルールを有する変換ルールデータ82と、その変換ルールデータ82にしたがって画像の変化処理と逆変換処理とを実行する変換手段としての画像変換部83と、を有する。
これ以外の実施の形態3に係るモニタシステム13の構成要素は、実施の形態1に係るモニタシステム13の同名の構成要素と同じ機能を奏するものであり、実施の形態1と同一の符号を付してその説明を省略する。
図19は、図18中の超小型広角カメラ装置1による撮像動作の流れを示すフローチャートである。図20は、超小型広角カメラ装置1における撮像動作中の撮像から圧縮までの各画像変換段階での画像構成を示す説明図である。
CMOS撮像デバイス21により輝度画像データが生成されると、カスタムIC23の色変換処理部81は、輝度画像データを読込み(ステップST41)、撮像静止画データ84を生成するための色変換処理を開始する(ステップST42)。
色変換処理において、具体的にはたとえば、色変換処理部81は、まず、カスタムIC23の図示外のEEPROMから置換え領域データを読込み、CMOS撮像デバイス21が生成する輝度分布データの画像を円形範囲内の部分と、円形範囲外の部分とに分ける。置換え領域データは、色変換テーブルを用いて色変換を行う領域を示すデータである。置換え領域データは、たとえば図4中の円形画像の範囲内を、色変換テーブルを用いて色変換を行う領域として記憶する。
なお、所定の円形範囲としては、漏れ光や回折光などを含まない本来の被写体部分とするのが好ましいが、本来の被写体部部分に加え、わずかにそれらの周辺、すなわちわずかに径を大きくした円形範囲としてもよい。また、写される画像が楕円形となるような場合は、所定の円形範囲とは、その楕円形の範囲となる。
次に、色変換処理部81は、輝度分布データの画像における円形範囲内の画素については、カスタムIC23のEEPROMの色変換テーブルからその画素の受光光量に対応する色の値を読込み、読み込んだ値をその画素に割り当てる。また、色変換処理部は、輝度分布データの画像における円形範囲外の画素については、所定の色(たとえば黒色など)の値をその画素に割り当てる。
これにより、色変換処理部81は、置換え領域データにより特定される円形範囲内の画像として、輝度分布データに基づく所定の色分布を有し、且つ、置換え領域データにより特定される円形範囲外の画像として、所定の一定の色(たとえば均一な黒色)を有する撮像静止画データ84を生成する。色変換処理部81は、たとえば図20(A)に示すように、円形画像の周囲が黒色に均一に塗りつぶされた画像の撮像静止画データ84を生成する。
カメラ保存処理部33は、色変換処理部81が生成した撮像静止画データ84を、超小型広角カメラ装置1のHDD26に保存する(ステップST43)。
HDD26に撮像静止画データ84が保存されると、画像変換部83は、処理管理部35の指示に基づいて、撮像静止画データ84を縮小サイズ静止画データ85へ変換する処理を開始する。
具体的にはたとえば、画像変換部83は、まず、図20(B)に示すように、撮像静止画データ84の画像をたとえば8×8の画素のまとまり毎に、複数のブロックに分割する。図20(B)では、撮像静止画データ84の画像を、B1からB48までの48個のブロックに分割している。
そして、画像変換部83は、分割により得られる複数のブロックの中の、円形画像を含む複数のブロックを割り付けた縮小画像を生成し、その縮小画像の画像データを、縮小サイズ静止画データ85として、HDD26に保存する(ステップST44)。図20(C)は、画像変換部83が、図20(B)でのブロック分けにしたがって生成する縮小画像の一例を示す図である。
これにより、画像変換部83は、撮像静止画データ84中の円形画像の情報を減らすことなく、撮像静止画データ84より画素数が少ない縮小サイズ静止画データ85を生成し、HDD26に保存する。
画像変換部83により生成された撮像静止画データ84がHDD26に保存されると、JPEGエンジン36は、HDD26に保存されている縮小サイズ静止画データ85を読込み、縮小サイズ静止画データ85を圧縮し(ステップST45)、HDD26に保存する。これにより、HDD26に保存される蓄積動画データ54は、更新される(ステップST46)。
その後、処理管理部35は、たとえばパーソナルコンピュータ12から新たに受信した表示指定コマンドをRAM64に保存した後、このRAM64に記憶される表示指定コマンドの組合せに基づいて、過去の広角画面の画像の表示が指示されていると判断する。処理管理部35は、JPEGエンジン36に、表示指定コマンドにより指定された過去の時刻の圧縮静止画データの伸長を指示し、画像変換部83に、伸長により生成される伸長静止画データ55の逆変換処理を指示し、さらに、表示画像生成部32に、画像変換部83が逆変換処理により生成する原サイズ再生静止画データ56に基づく、広角画面の表示静止画データの生成を指示する。
JPEGエンジン36により伸長された伸長静止画データ55がHDD26に保存されると、画像変換部83は、EEPROM65に記憶される変換ルールデータ82にしたがって、HDD26に保存されている伸長静止画データ55から、原サイズ再生静止画データ56を生成する。画像変換部83は、図20(A)と同じ画素数およびサイズを有する画像の原サイズ再生静止画データ56を生成し、HDD26に保存する。画像変換部83は、画像の中央部に円形画像を有し、且つ、その円形画像の外側の周縁部が均一な色(たとえば黒色)に塗られた画像の原サイズ再生静止画データ56を生成する。表示画像生成部32は、ASIC24を介してHDD26に記憶される原サイズ再生静止画データ56を取得し、広角画面(円形画像)の表示静止画データを生成する。
以上のように、この実施の形態3によれば、画像変換部83は、撮像静止画データ84の画像を複数のブロックに分け、その複数のブロックの中の円形画像を含むブロックを割り付けた縮小サイズ静止画データ85を生成する。この縮小サイズ静止画データ85の画素数は、撮像静止画データ84の画素数より少なくなる。その上で、JPEGエンジン36は、その縮小サイズ静止画データ85を圧縮する。HDD26に記憶させる圧縮された静止画データのデータ量を削減することができる。
しかも、色変換処理部81は、撮像静止画データ84の円形画像外の部分を黒色に均一に塗りつぶす。したがって、円形画像の部分とともに円形画像外の部分を有するブロックは、JPEG方式で圧縮されると、空間周波数の高周波成分が少なく、しかも、エントロピー符号化の際のランレングスが長くなることを期待することができる。空間周波数の高周波成分が少なくなったり、エントロピー符号化の際のランレングスが長くなったりすると、その分、圧縮後のデータ量は削減されることになる。
なお、この実施の形態3では、画像変換部83は、図20に示すように、円形画像を含むブロックをそのままの配列で変換して、縮小サイズ静止画データ85の画像を生成している。この他にもたとえば、実施の形態1の図13において画素単位での割付での変形例で示すように、画像変換部83は、たとえば円形画像の中心側のものから順番に、縮小サイズ静止画データ85の画像の左上から右下へ並べるようにしてもよい。
この他にもたとえば、画像変換部83は、円形画像を含む複数のブロックの輪郭とは異なる画像形状の縮小サイズ静止画データ85を生成するようにしてもよい。この他の変形例の場合、画像変換部83は、たとえば円形画像を含む複数のブロックを順番に、縮小サイズ静止画データ85の画像に割り当てるようにすればよい。
また、画像変換部83は、円形画像を含む複数のブロックのブロック数より多いブロック数の、縮小サイズ静止画データ85を生成するようにしてもよい。この場合、画像変換部83は、円形画像を含むブロックを割り付けない余分なブロックを、黒色などの所定の均一な色のみからなる画像のブロックとすればよい。これにより、余分なブロックのデータ量を最小限に抑えることかでき、データ量削減の効果を損なわないようにすることができる。
また、画像変換部83は、円形画像を含む複数のブロックとして、画素数が揃っていない複数のブロックを使用するようにしてもよい。
図21は、画素数が揃っていない複数のブロックにより、撮像静止画データ84の画像から、円形画像を含む複数のブロックを切出す場合の一例を示す説明図である。図21の例は、円形画像の中心部分は、「4×4」画素のブロックにより切出し、円形画像の周縁部分は、「2×2」画素のブロックにより切出し、その間の部分は、「3×3」画素のブロックにより切出すものである。
魚眼レンズ9で撮像した円形画像は、図3に魚眼レンズ9を用いた光学系を図示するように、画像の周縁部分が大きく歪む。これに対して、円形画像の中心部分における、画像の歪みは殆ど発生しない。また、画角で考えた場合、円形画像の中心部分の実質的な解像度は、画像の周縁部分の解像度より高い。そして、図21に示すように、円形画像の周縁部分を、中央部分より少ない画素数のブロックにより細かいブロック単位で切出すようにすることで歪みが多く且つ解像度が相対的に画像の周縁部分の画像の情報量の減りを抑えつつ、画像全体としての情報量のより一層の削減を図ることができる。後に、円形画像の一部を切出して生成する切出し画像の画質の低下を抑えつつ、蓄積する静止画データのデータ量を削減することが可能となる。
以上の本発明の各実施の形態は、本発明の好適な実施の形態の例であるが、本発明は、これらに限定されるものではなく、発明の要旨を逸脱しない範囲において種々の変形、変更が可能である。
上記各実施の形態では、JPEG方式で圧縮された静止画データ(蓄積動画データ54)を記憶するHDD26と、その圧縮された静止画データを伸長するJPEGエンジン36と、伸長された静止画データから原サイズ再生静止画データ56を生成する画像変換部34,73,83と、原サイズ再生静止画データ56から表示静止画データを生成する表示画像生成部32とは、超小型広角カメラ装置1に設けられている。これらの構成要素は、その中のすべてあるいは一部がパーソナルコンピュータ12に設けられていてもよい。
そして、たとえばこれらの構成要素のすべてがパーソナルコンピュータ12に設けられている場合、超小型広角カメラ装置1のデバイス通信部38は、JPEGエンジン36により圧縮された静止画データを、USBケーブル11を介して、パーソナルコンピュータ12のホスト通信部46へ送信すればよい。この場合、仮にたとえばJPEGエンジン36により圧縮されていない撮像静止画データ52そのものを超小型広角カメラ装置1のデバイス通信部38がパーソナルコンピュータ12のホスト通信部46へ送信する場合に比べて、送信する画像のデータ量を減らすことができる。
上記各実施の形態では、超小型広角カメラ装置1とパーソナルコンピュータ12とは、伝送手段を構成するデバイス通信部38、USBケーブル11およびホスト通信部46により、互いに通信データを送受している。この他にもたとえば、超小型広角カメラ装置1とパーソナルコンピュータ12とは、IEEE(the Institute of Electrical and Electronic Engineers)802.3規格などに基づく通信ケーブルにより接続されたり、IEEE802.11規格などのワイヤレス通信により接続されたりしていてもよい。また、超小型広角カメラ装置1とパーソナルコンピュータ12とは、互いに直接に通信するのではなく、LAN(Local Area Network)やインターネットなどによりネットワーク接続され、そのネットワーク上のたとえばハブ機器、ルータ機器などの通信中継機器やサーバ装置などを介して、所定の通信データを送受するものであってもよい。
上記各実施の形態では、1台の超小型広角カメラ装置1と、1台のパーソナルコンピュータ12とがUSBケーブル11により接続されている。この他にもたとえば、1台の超小型広角カメラ装置1と、複数台のパーソナルコンピュータ12とをネットワーク接続したり、複数台の超小型広角カメラ装置1と、1台のパーソナルコンピュータ12とをネットワーク接続したり、複数台の超小型広角カメラ装置1と、複数台のパーソナルコンピュータ12とをネットワーク接続したりしてもよい。これらの変形例の場合において、各パーソナルコンピュータ12は、モニタする超小型広角カメラ装置1を、IPアドレスなどのネットワーク上の機器識別情報を用いて特定し、表示指定コマンドを送信すればよい。また、各超小型広角カメラ装置1は、表示静止画データに、送信先のパーソナルコンピュータ12の機器識別情報を付加して送信すればよい。
上記各実施の形態では、超小型広角カメラ装置1で撮像した広角画像は、そのHDD26に記憶され、パーソナルコンピュータ12へ供給されている。このほかにたとえば、超小型広角カメラ装置1で撮像した広角画像を、インターネット、LANなどのネットワークに接続されるサーバ装置の記憶デバイスに保存し、このサーバ装置から、記憶する広角画像あるいはその一部を切出した画像を、そのネットワークに接続されたパーソナルコンピュータ12へ送信するようにしてもよい。
この変形例においても、上記各実施の形態のように、広角画像の画素数を削減することで画像データを効率良く圧縮して削減することができ、その画像データを記憶するためのHDD26の記憶領域を削減したり、その画像データを送受信するためのネットワークの通信負荷を削減したりすることができる。
また、この画像データとともに、たとえば魚眼レンズ9の像の歪みに関するパラメータを、超小型広角カメラ装置1のHDD26あるいはネットワークなどに接続されるサーバ装置の記憶デバイスに保存し、サーバ装置は、このパラメータを画像のデータとともにパーソナルコンピュータ12へ送信するようにしてもよい。パーソナルコンピュータ12に設けられた表示画像生成部は、受信した部分的な画像のデータによる画像の歪みを受信したパラメータを用いて補正して表示画像を生成し、パーソナルコンピュータ12のLCD43は、この表示画像を表示することができる。
このようにネットワークなどに接続されたパーソナルコンピュータなどにおいて、超小型カメラ広角カメラ装置1により撮像された円形画像を含む画像を閲覧できるようにするためには、たとえば、パーソナルコンピュータなどに、その画像を閲覧するための専用の閲覧ソフトウェアプログラムなどを実行させればよい。また、このパーソナルコンピュータなどが実行する専用の閲覧ソフトウェアプログラムなどを無料で提供するとともに、超小型カメラ広角カメラ装置1により撮像された円形画像を含む画像を、ネットワークを介してアクセス可能なサーバ装置などに無料サンプルなどとしてダウンロード可能に保存しておくことで、誰でも自由に、超小型カメラ広角カメラ装置1により撮像された円形画像から切出された部分的な画像を閲覧することができる。たとえば超小型カメラ広角カメラ装置1の購入を検討している人などにあっては、その購入前に、無料配布される閲覧ソフトウェアプログラムなどを自分のパーソナルコンピュータに実行させ、ネットワーク上のサンプルを閲覧することで、切出し画像が十分に高品質のものであることを確認することができる。超小型カメラ広角カメラ装置1の販売促進の効果を期待することができる。
本発明は、家庭やビルなどのセキュリティシステム、各種の監視システム、犬などのペットや観光地などのリモートモニタリングシステム、テレビ電話システム、テレビ会議システム、離れた空間同士を接続するためのシステム、パーソナルビデオ放送システム、人や車の行動記録システムなどとして、広く利用することができる。
図1は、本発明の実施の形態1に係る超小型広角カメラ装置を示す斜視図である。 図2は、図1の超小型広角カメラ装置に内蔵される撮影機能を示すブロック図である。 図3は、超小型広角カメラ装置の光学系の説明図である。 図4は、図3中の受光面における複数の受光素子の配列状態を模式的に示す説明図である。 図5は、CMOS撮像デバイスの受光面に結像する像の一例を示す説明図である。 図6は、図2中のASICのハードウェア構成を示すブロック図である。 図7は、図6中の変換ルールデータによる画素配列の変換ルールの一例を示す説明図である。 図8は、図2中の超小型広角カメラ装置による撮像動作の流れを示すフローチャートである。 図9は、図2のモニタシステムにおける再生動作の流れを示すフローチャートである。 図10は、図2中のPC表示制御部が入力データに基づいて生成する表示指定コマンドの一例を示す説明図である。 図11は、図2中のパーソナルコンピュータの大型のLCDに表示される表示画面の組合せの一例を示す図である。 図12は、超小型広角カメラ装置による表示静止画データの生成処理の流れを示すフローチャートである。 図13は、実施の形態1およびその変形例における画素変換ルールを示す説明図である。 図14は、実施の形態1の更に別の変形例における画素変換ルールを示す説明図である。 図15は、本発明の実施の形態2に係るモニタシステムの機能構成を示すブロック図である。 図16は、図15中のCMOS撮像デバイスでの、複数の受光素子の配列と、アドレスとの対応関係を示す図である。 図17は、図15中のCMOS撮像デバイスが生成する輝度画像データによる画像における画素配列を示す説明図である。 図18は、本発明の実施の形態3に係るモニタシステムの機能構成を示すブロック図である。 図19は、図18中の超小型広角カメラ装置による撮像動作の流れを示すフローチャートである。 図20は、超小型広角カメラ装置における撮像動作中の撮像から圧縮までの各画像変換段階での画像構成を示す説明図である。 図21は、画素数が揃っていない複数のブロックにより、撮像静止画データ84の画像から、円形画像を含む複数のブロックを切出す場合の一例を示す説明図である。
符号の説明
1 超小型広角カメラ装置(広角カメラ装置)
9 魚眼レンズ(広角レンズ)
11 USBケーブル(伝送手段の一部)
12 パーソナルコンピュータ(閲覧装置)
13 モニタシステム
21,71 CMOS撮像デバイス(撮像手段)
26 HDD(記憶手段)
34,73,83 画像変換部(変換手段)
32 表示画像生成部(表示画像生成手段)
36 JPEGエンジン(圧縮手段、伸長手段)
37 デバイス通信部(伝送手段の一部)
43 LCD(表示手段)
46 ホスト通信部(伝送手段の一部)

Claims (10)

  1. 広角レンズにより撮像された円形画像を含む四角形の撮像画像に基づいて、その所定の円形範囲内の複数の画素データが割り付けられ且つ上記四角形の撮像画像より画素数が少ない四角形の縮小画像を生成するステップと、
    上記四角形の縮小画像を圧縮するステップと、
    を有することを特徴とする広角レンズによる撮像データの圧縮方法。
  2. 広角レンズにより撮像された円形画像を含む四角形の撮像画像に基づいて、その所定の円形範囲内の複数の画素データが割り付けられ且つ上記四角形の撮像画像より画素数が少ない四角形の縮小画像を生成する変換手段と、
    上記四角形の縮小画像を圧縮する圧縮手段と、
    を有することを特徴とする広角レンズによる撮像データの圧縮装置。
  3. 前記変換手段は、前記撮像画像の所定の円形範囲内の複数の画素データを、画素単位あるいは複数の画素によるブロック単位で、前記四角形の縮小画像に割り付けることを特徴とする請求項2記載の広角レンズによる撮像データの圧縮装置。
  4. 前記変換手段は、前記撮像画像の所定の円形範囲内の複数の画素データを、その円形範囲の中央部分のブロックの画素数がその円形範囲の周縁部分のブロックの画素数より多くなるように、画素数が揃っていない複数のブロック単位で、前記四角形の縮小画像に割り付けることを特徴とする請求項2記載の広角レンズによる撮像データの圧縮装置。
  5. 前記変換手段は、前記四角形の縮小画像において、前記撮像画像の画素データを割り付けていない画素データを所定の略均一な色のものとし、
    前記圧縮手段は、上記縮小画像を、ブロック符号化により直流成分と交流成分とに分離して符号化したり、あるいは、画素の配列に基づくランレングス符号化により符号化したりすること、
    を特徴とする請求項2記載の広角レンズによる撮像データの圧縮装置。
  6. 広角レンズと、
    上記広角レンズにより集光された光による円形の像が結像し、その円形画像を含む四角形の撮像画像を撮像する撮像手段と、
    上記撮像手段により撮像された円形画像を含む四角形の撮像画像に基づいて、その所定の円形範囲内の複数の画素データが割り付けられ且つ上記四角形の撮像画像より画素数が少ない四角形の縮小画像を生成する変換手段と、
    上記変換手段により生成された上記四角形の縮小画像を圧縮する圧縮手段と、
    を有することを特徴とする広角カメラ装置。
  7. 広角レンズと、
    上記広角レンズにより集光された光による円形の像が結像し、その円形画像を含む四角形の撮像画像から、所定の円形範囲内の複数の画素データが割り付けられ且つ上記四角形の撮像画像より画素数が少ない四角形の縮小画像を生成する撮像手段と、
    上記撮像手段により生成された上記四角形の縮小画像を圧縮する圧縮手段と、
    を有することを特徴とする広角カメラ装置。
  8. 前記撮像手段は、300万画素以上のものであり、
    前記圧縮手段により圧縮された画像の画像データを記憶する記憶手段と、
    上記記憶手段に記憶される上記圧縮された画像の画像データを伸長する伸長手段と、
    上記伸長手段により伸長された画像の一部を切り出してVGAサイズ以上で拡大表示する切出し画像を生成する表示画像生成手段を有することを特徴とする請求項6または7記載の広角カメラ装置。
  9. 請求項8記載の広角カメラ装置と、
    前記広角カメラ装置から通信により前記拡大処理された切出し画像あるいは前記拡大処理される前の切出し画像を表示画像として受信し、受信した表示画像を表示する表示手段を有する閲覧装置と、
    を有することを特徴とするモニタシステム。
  10. 広角レンズを有し、この広角レンズにより撮像された円形画像を含む四角形の撮像画像を生成する広角カメラ装置と、上記広角カメラ装置により生成される上記四角形の撮像画像あるいはその一部の画像を表示する表示手段を有する閲覧装置と、を有するモニタシステムにおいて、
    上記撮像された円形画像を含む四角形の撮像画像に基づいて、その所定の円形範囲内の複数の画素データが割り付けられ且つ上記四角形の撮像画像より画素数が少ない四角形の縮小画像を生成する変換手段と、
    上記変換手段により生成された上記四角形の縮小画像を圧縮する圧縮手段と、
    上記圧縮手段により圧縮された画像を記憶する記憶手段もしくは上記圧縮手段により圧縮された画像を上記広角カメラ装置から上記閲覧装置へ伝送する伝送手段と、
    上記記憶手段に記憶される圧縮された画像あるいは上記伝送手段により伝送される圧縮された画像を伸長する伸長手段と、
    上記伸長手段により伸長された画像を拡縮あるいは上記伸長手段により伸長された画像の一部を切出して上記表示手段に拡大表示させる表示画像を生成する表示画像生成手段と、
    を有することを特徴とするモニタシステム。
JP2006147871A 2006-05-29 2006-05-29 広角レンズによる撮像データの圧縮方法、圧縮装置、広角カメラ装置およびモニタシステム Pending JP2007318597A (ja)

Priority Applications (5)

Application Number Priority Date Filing Date Title
JP2006147871A JP2007318597A (ja) 2006-05-29 2006-05-29 広角レンズによる撮像データの圧縮方法、圧縮装置、広角カメラ装置およびモニタシステム
CNA2007800286948A CN101496410A (zh) 2006-05-29 2007-05-14 利用广角镜头的摄像数据的压缩方法、压缩装置、广角摄像装置以及监视系统
PCT/JP2007/059836 WO2007138845A1 (ja) 2006-05-29 2007-05-14 広角レンズによる撮像データの圧縮方法、圧縮装置、広角カメラ装置およびモニタシステム
US12/302,109 US20090268046A1 (en) 2006-05-29 2007-05-14 Method for compressing imaging data by wide-angle lens, compression device, wide-angle camera device, and monitor system
EP07743271A EP2037685A4 (en) 2006-05-29 2007-05-14 METHOD FOR COMPRESSOR OF IMAGE DATA USING A WIDE-ANGLE LENS, COMPRESSION DEVICE, WIDE-ANGLE CAMERA DEVICE, AND MONITOR SYSTEM

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2006147871A JP2007318597A (ja) 2006-05-29 2006-05-29 広角レンズによる撮像データの圧縮方法、圧縮装置、広角カメラ装置およびモニタシステム

Publications (1)

Publication Number Publication Date
JP2007318597A true JP2007318597A (ja) 2007-12-06

Family

ID=38778365

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2006147871A Pending JP2007318597A (ja) 2006-05-29 2006-05-29 広角レンズによる撮像データの圧縮方法、圧縮装置、広角カメラ装置およびモニタシステム

Country Status (5)

Country Link
US (1) US20090268046A1 (ja)
EP (1) EP2037685A4 (ja)
JP (1) JP2007318597A (ja)
CN (1) CN101496410A (ja)
WO (1) WO2007138845A1 (ja)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2011027483A1 (ja) 2009-09-03 2011-03-10 パナソニック株式会社 画像処理装置及び画像処理方法
JP2013003756A (ja) * 2011-06-15 2013-01-07 Panasonic Corp 撮像データ生成装置、撮像データ復号装置および撮像データ生成方法
JP2014060553A (ja) * 2012-09-14 2014-04-03 Ricoh Co Ltd 画像処理装置およびプログラム
CN104079829A (zh) * 2014-06-30 2014-10-01 联想(北京)有限公司 一种图像处理方法、装置和电子设备
JP2016081425A (ja) * 2014-10-21 2016-05-16 キヤノン株式会社 画像処理装置、画像処理方法およびプログラム
US10672180B2 (en) 2016-05-02 2020-06-02 Samsung Electronics Co., Ltd. Method, apparatus, and recording medium for processing image

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB2449631B (en) * 2007-05-21 2012-02-15 Doo Technologies Fze Method and system for processing of images
US9883101B1 (en) * 2014-07-23 2018-01-30 Hoyos Integrity Corporation Providing a real-time via a wireless communication channel associated with a panoramic video capture device
CN104994285A (zh) * 2015-06-30 2015-10-21 广东欧珀移动通信有限公司 一种广角摄像头的控制方法及电子终端
US10043237B2 (en) 2015-08-12 2018-08-07 Gopro, Inc. Equatorial stitching of hemispherical images in a spherical image capture system
CN107305681B (zh) * 2016-04-22 2020-09-18 北京仿真中心 一种用于光学场景图像的快速扩充方法
JP2018005389A (ja) * 2016-06-29 2018-01-11 株式会社リコー 画像変形回路、画像処理装置、及び画像変形方法
WO2018077446A1 (en) * 2016-10-31 2018-05-03 Nokia Technologies Oy A multi-image sensor apparatus
WO2018176399A1 (zh) * 2017-03-31 2018-10-04 中控智慧科技股份有限公司 图像采集方法和设备
JP6472864B1 (ja) * 2017-11-29 2019-02-20 株式会社近江デジタルファブリケーションズ 画像配信システム、及び配信画像生成方法
US11882368B1 (en) * 2021-04-27 2024-01-23 Apple Inc. Circular image file

Family Cites Families (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH07504285A (ja) * 1992-11-24 1995-05-11 フランク・データ・インターナショナル・ナムローゼ・フェンノートシャップ パノラマ画像の形成方法及び装置並びにパノラマ画像探索方法及び装置
US5691765A (en) * 1995-07-27 1997-11-25 Sensormatic Electronics Corporation Image forming and processing device and method for use with no moving parts camera
US6331869B1 (en) * 1998-08-07 2001-12-18 Be Here Corporation Method and apparatus for electronically distributing motion panoramic images
US5960108A (en) * 1997-06-12 1999-09-28 Apple Computer, Inc. Method and system for creating an image-based virtual reality environment utilizing a fisheye lens
JPH11205772A (ja) * 1998-01-16 1999-07-30 Matsushita Joho System Kk 全方位撮像画像伝送システム及び全方位撮像画像伝送方法
US6934461B1 (en) * 1999-01-05 2005-08-23 Interval Research Corporation Low attention recording, with particular application to social recording
JP2001298652A (ja) * 2000-04-17 2001-10-26 Sony Corp 画像圧縮方法及び画像圧縮装置、並びにソフトウェア記憶媒体
JP3804766B2 (ja) * 2001-03-15 2006-08-02 シャープ株式会社 画像通信装置および携帯型電話機
FR2827680B1 (fr) * 2001-07-20 2003-10-10 Immervision Internat Pte Ltd Procede de capture d'une image panoramique au moyen d'un capteur d'image de forme rectangulaire
JP2003061048A (ja) * 2001-08-20 2003-02-28 Canon Inc 電子カメラ、撮像方法、プログラムおよび記憶媒体
WO2003019471A2 (en) * 2001-08-25 2003-03-06 Eyesee360,Inc. Method and apparatus for encoding photogrraphic images
JP2003141562A (ja) * 2001-10-29 2003-05-16 Sony Corp 非平面画像の画像処理装置及び画像処理方法、記憶媒体、並びにコンピュータ・プログラム
US6833843B2 (en) * 2001-12-03 2004-12-21 Tempest Microsystems Panoramic imaging and display system with canonical magnifier
JP3957156B2 (ja) 2002-03-20 2007-08-15 富士フイルム株式会社 画像補正方法および装置並びにプログラム
JP3875133B2 (ja) 2002-03-27 2007-01-31 富士フイルムホールディングス株式会社 画像送信方法および装置並びにプログラム
US20090046953A1 (en) * 2004-04-29 2009-02-19 Koninklijke Philips Electronics N V Image Processing Apparatus And Method
JP2005339313A (ja) * 2004-05-28 2005-12-08 Toshiba Corp 画像提示方法及び装置
JP4475643B2 (ja) * 2004-06-29 2010-06-09 キヤノン株式会社 画像符号化装置及び方法
US7856137B2 (en) * 2004-07-13 2010-12-21 Glory Ltd. Apparatus and method for verifying image by comparison with template image
US7747095B2 (en) * 2004-10-08 2010-06-29 Nvidia Corporation Methods and systems for rate control in image compression
US7894531B1 (en) * 2005-02-15 2011-02-22 Grandeye Ltd. Method of compression for wide angle digital video
US8723951B2 (en) * 2005-11-23 2014-05-13 Grandeye, Ltd. Interactive wide-angle video server
KR100826571B1 (ko) * 2006-10-24 2008-05-07 주식회사 나노포토닉스 광각 렌즈

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2011027483A1 (ja) 2009-09-03 2011-03-10 パナソニック株式会社 画像処理装置及び画像処理方法
US8639045B2 (en) 2009-09-03 2014-01-28 Panasonic Corporation Image processing device and image processing method
JP2013003756A (ja) * 2011-06-15 2013-01-07 Panasonic Corp 撮像データ生成装置、撮像データ復号装置および撮像データ生成方法
JP2014060553A (ja) * 2012-09-14 2014-04-03 Ricoh Co Ltd 画像処理装置およびプログラム
CN104079829A (zh) * 2014-06-30 2014-10-01 联想(北京)有限公司 一种图像处理方法、装置和电子设备
JP2016081425A (ja) * 2014-10-21 2016-05-16 キヤノン株式会社 画像処理装置、画像処理方法およびプログラム
US10672180B2 (en) 2016-05-02 2020-06-02 Samsung Electronics Co., Ltd. Method, apparatus, and recording medium for processing image
US11348306B2 (en) 2016-05-02 2022-05-31 Samsung Electronics Co., Ltd. Method, apparatus, and recording medium for processing image

Also Published As

Publication number Publication date
WO2007138845A1 (ja) 2007-12-06
US20090268046A1 (en) 2009-10-29
EP2037685A1 (en) 2009-03-18
EP2037685A4 (en) 2009-12-16
CN101496410A (zh) 2009-07-29

Similar Documents

Publication Publication Date Title
JP2007318597A (ja) 広角レンズによる撮像データの圧縮方法、圧縮装置、広角カメラ装置およびモニタシステム
JP2007318596A (ja) 広角レンズによる撮像データの圧縮方法、伸長表示方法、圧縮装置、広角カメラ装置およびモニタシステム
US8665943B2 (en) Encoding device, encoding method, encoding program, decoding device, decoding method, and decoding program
US8254707B2 (en) Encoding device, encoding method, encoding program, decoding device, decoding method, and decoding program in interlace scanning
TWI723849B (zh) 圖像解碼裝置、方法及電腦可讀取記錄媒體
JP4641892B2 (ja) 動画像符号化装置、方法、及びプログラム
CA3022221A1 (en) Apparatus and method for image processing for suppressing a reduction of coding efficiency
WO2011018965A1 (ja) 画像処理装置および方法
JP2007306353A (ja) 動画の表示方法、動画表示システムおよび広角動画撮像装置
JP4578197B2 (ja) 画像表示装置
TW201907722A (zh) 圖像處理裝置及方法
JP4067281B2 (ja) 画像処理方法とその方法を利用可能な画像符号化装置および画像復号装置
JP2011151682A (ja) 画像処理装置および方法
WO2008010345A1 (fr) Système de photographie d'image panoramique et procédé de photographie d'image panoramique
KR20100018998A (ko) 전방위 감시 카메라 시스템 및 그를 이용한 영상처리방법
JP2007288354A (ja) カメラ装置、画像処理装置および画像処理方法
JPWO2010101063A1 (ja) 画像処理装置および方法
JP2010074241A (ja) 動画再生装置、動画再生方法、プログラム及び記録媒体
US7254274B2 (en) Image processing apparatus and method for efficiently compressing and encoding still images and motion pictures
JP2001333430A (ja) 画像処理装置、方法、及びコンピュータ読み取り可能な記憶媒体
JP2015195526A (ja) 画像処理装置、および画像処理方法
JP2006074130A (ja) 画像復号方法、画像復号装置および撮像装置
KR20060023418A (ko) 하드웨어 mpeg4 코덱 및 v2oip 프로토콜을이용한 실시간 팬/틸트/줌 제어가 가능한 네트워크 카메라시스템
JP2011023928A (ja) 撮像装置、画像処理装置および画像処理方法
JP2007259372A (ja) 書画撮影装置、画像出力装置、撮像装置、および、プログラム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20090430

A072 Dismissal of procedure [no reply to invitation to correct request for examination]

Free format text: JAPANESE INTERMEDIATE CODE: A073

Effective date: 20100907