JP2006295850A - 画像処理システム，撮像装置，撮像方法，画像再生装置および画像再生方法 - Google Patents

Abstract

【課題】 データの総処理容量を増やすことなく，ユーザの要求に応じた画質および撮像レートによる撮像もしくは再生が可能となる。
【解決手段】 撮像装置３００と，画像再生装置４００とからなる画像処理システムであって，上記撮像装置は，撮像によって画像を得る撮像部３１０と，上記撮像部の撮像レートを段階的に変更する撮像レート制御部３１２と，上記撮像された画像から複数のラインを削減するライン削減部３１４と，上記複数のラインが削減された削減画像を記憶媒体に記憶する画像記憶部３１８と，を備え，上記画像再生装置は，上記記憶媒体に記憶された画像を読み出す画像読み出し部４１０と，読み出した上記画像をアップコンバートするアップコンバータ４１４と，上記アップコンバートされた画像を表示する再生表示部４１６と，を備えることを特徴とする，画像処理システムが提供される。
【選択図】 図３

Description

本発明は，画像処理システム，撮像装置，撮像方法，画像再生装置および画像再生方法に関する。

被写体を撮像して記憶媒体に記憶する撮像装置は，画像処理能力，例えばＣＰＵやその他のデバイスの性能向上により高度かつ用途の広い撮像を行えるようになった。

例えば，解像度の高い画像を得ようとした場合，単純に撮像する画素数を増やすことで対応でき，時間分解能の高いスローモーション画像を得ようとした場合，単純に垂直走査周波数や水平走査周波数を上げることで対応できる。

ここで，各フレームにおける垂直走査周波数を整数倍にし，撮像レートが高い高速撮像を行うことによって，後者のスローモーション画像を得る技術（例えば，特許文献１）が知られている。

しかし，かかる技術は，撮像装置の処理能力に頼って力任せに高速撮像を行っているに過ぎず，ハードウェア資源の何れか，例えば，画像の転送経路の周波数帯域，エンコーダの能力，もしくは，記憶媒体の容量に何かしらの制限があった場合，高速撮像自体ができなくなるといった問題点があった。

特開平９−１０７５１６号公報

本発明は，従来の撮像装置が有する上記問題点に鑑みてなされたものであり，本発明の目的は，データの総処理容量の上限値を超すことなく，ユーザの要求に応じた画質および撮像レートによる撮像もしくは再生が可能な，新規かつ改良された画像処理システム，撮像装置，撮像方法，画像再生装置および画像再生方法を提供することである。

本発明は，ハードウェア資源の何れか，例えば，画像の転送経路の周波数帯域，エンコーダの能力，もしくは，記憶媒体の容量に何かしらの制限がある場合においても，処理されるデータの総処理容量の上限値を超すことなく，画質および撮像レートを調整可能としたことを特徴としている。即ち，ユーザの要求に応じて，画質を多少犠牲にしても高速撮像を実現でき，または低速撮像であっても画質を高くすることが可能となる。

上記課題を解決するために，被写体を撮像する撮像装置と，該撮像装置で撮像された画像を再生する画像再生装置とからなる画像処理システムであって：上記撮像装置は，撮像によって画像を得る撮像部と；上記撮像部の撮像レートを段階的に変更する撮像レート制御部と；上記撮像された画像から複数のラインを削減するライン削減部と；上記複数のラインが削減された削減画像を記憶媒体に記憶する画像記憶部と；を備え，上記画像再生装置は，上記記憶媒体に記憶された画像を読み出す画像読み出し部と；読み出した上記画像をアップコンバートするアップコンバータと；上記アップコンバートされた画像を表示する再生表示部と；を備えることを特徴とする，画像処理システムが提供される。

ここで，上記撮像レートは，撮像する時間的な比率を言い，例えば１フレームの画像サンプリングタイムである１／３０秒（３０ｐ）等を表す。本発明では，この撮像レートを，例えば，１／３０，１／３１，１／３２…１／６０秒といった具合に段階的に（徐々に）上げている。上記ラインは，画像のうち水平方向に走査される画素の集合を言う。かかるラインを削減すると解像度が下がるので画質が落ち，撮像するラインを増やすと解像度が上がるので画質が高くなる。

当該画像処理システムでは，ライン数を削減し画質を多少犠牲にしても，撮像レートを高くすることができるので高速撮像を実現することができる。

上記課題を解決するために，本発明の別の観点によれば，撮像によって画像を得る撮像部と；上記撮像部の撮像レートを段階的に変更する撮像レート制御部と；上記撮像された画像から複数のラインを削減するライン削減部と；上記複数のラインが削減された削減画像を記憶媒体に記憶する画像記憶部と；を備えることを特徴とする，撮像装置が提供される。

かかる撮像装置でも，上述の画像処理システム同様，ライン数を削減し画質を多少犠牲にしても，撮像レートを高くすることができるので高速撮像を実現することができる。

また，撮像レートを，例えば，１／３０，１／３１，１／３２…１／６０秒といった具合に段階的に上げることにより，再生時には滑らかにスローモーションに移行する画像を視聴することが可能となる。

上記撮像レート制御部は，撮像レートをＮ／Ｍ倍（Ｎ≧Ｍ，Ｎ，Ｍは整数）に段階的に変更し，上記ライン削減部は，画像毎のライン数がＭ／Ｎ倍になるようにラインを削減するとしても良い。

かかる構成では，例えば，撮像レートを少しずつ上げて２倍にし，ライン数を１／２倍に削減することによって，データの総処理容量を増やすことなく高速撮像を実現することができる。上記Ｎは，１フレームの画像に含まれる例えば１０８０といったライン数であっても良い。

上記ＮがＭの整数倍であれば，上記ライン削減部は，上記ラインを等間隔に間引いて削減することができる。

かかる条件の下では，Ｎ／Ｍが整数Ｌとなり，Ｌ本のライン毎にＬ−１本のラインを削除すれば良い。従って，Ｌ本置きに等間隔でラインを間引くことができ，均一な画質を保持することが可能となる。

上記画像記憶部は，上記削減画像と共にＮ，Ｍの数値情報を，上記撮像レートが変更される毎に記憶媒体に記憶するとしても良い。

かかる構成により，Ｎ，Ｍの数値が撮像最中に時々刻々と変化したとしても，撮像された画像を再生する画像再生装置において正確にアップコンバートすることが可能となる。

上記複数のラインが削減された削減画像を圧縮処理するエンコーダをさらに含み，上記画像記憶部は，上記圧縮処理された画像を記憶媒体に記憶することもできる。

かかる構成により，記憶容量に限度がある記憶媒体に対して長時間の画像を記憶することが可能となる。

上記ライン削減部は，上記エンコーダの圧縮処理量が所定値を超えた場合にのみ動作するとしても良い。

上記エンコーダの圧縮処理に制限がある場合，当該撮像装置におけるデータの総処理容量の上限がエンコーダによって定まることがある。本発明では撮像レートを上げることにより画質を下げざるを得ないが，上記の構成により，データの総処理容量の上限まで，画質を下げずに撮像レートのみを上げることができ，エンコーダの能力を十分に活用することが可能となる。

また，このようなハードウェア資源の制限は，画像の転送経路の周波数帯域もしくは記憶媒体の容量であっても良い。

上記記憶媒体は，ディスク形態であり，上記画像記憶部は，上記削減画像を一旦保持し，上記記憶媒体へのアクセスタイミングで出力するディスクバッファを備えるとしても良い。

かかるディスクバッファは，書き込み位置もしくは読み出し位置が回転移動するディスク形態の記憶媒体へのデータの書き込みタイミングと，上記削減画像の受信タイミングのずれを吸収し，削減画像を受信しつつ，並行して，記憶媒体への書き込みを行う。

また，上記撮像装置において撮像を行う，撮像によって画像を得る撮像ステップと；上記撮像ステップにおける撮像レートを段階的に変更するレート制御ステップと；上記撮像された画像から複数のラインを削減するライン削減ステップと；上記複数のラインが削減された削減画像を記憶媒体に記憶する画像記憶ステップと；を含むことを特徴とする，撮像方法も提供される。

上記課題を解決するために，本発明の別の観点によれば，撮像によって画像を得る撮像部と；上記撮像部の撮像レートを制御する撮像レート制御部と；上記撮像部の撮像ラインを段階的に追加するライン追加部と；上記複数の撮像ラインが追加された追加画像を記憶媒体に記憶する画像記憶部と；を備えることを特徴とする，撮像装置が提供される。ここで撮像ラインは，撮像部において実際に撮像する画像のラインである。従って，撮像部の性能によって撮像ラインの上限が定まる。

かかる撮像装置では，撮像レートを落として低速撮像になったとしても，撮像ラインを増やして高画質の画像を得ることが可能となる。

また，撮像ライン数を，例えば，５４０，６７５，８１０，９４５，１０８０といった具合に段階的に（徐々に）上げることにより，再生時には滑らかに画質が上がる画像を視聴することが可能となる。

上記撮像レート制御部は，撮像レートをＮ／Ｍ倍（Ｎ≦Ｍ，Ｎ，Ｍは整数）に制御し，上記ライン追加部は，撮像ライン数がＭ／Ｎ倍になるように段階的に撮像ラインを追加するとしても良い。

かかる構成では，例えば，撮像レートを１／２倍に下げ，撮像ライン数を少しずつ上げて２倍にすることによって，データの総処理容量を増やすことなく高画質の画像取得を実現することができる。上記Ｍは，上記撮像部における撮像可能ライン数（上限値）であっても良い。

上記画像記憶部は，上記追加画像と共にＮ，Ｍの数値情報を，上記撮像ラインが追加される毎に記憶媒体に記憶するとしても良い。

かかる構成により，Ｎ，Ｍの数値が撮像最中に時々刻々と変化したとしても，撮像された画像を再生する画像再生装置において正確に再生レートを制御することが可能となる。

上記複数の撮像ラインが追加された追加画像を圧縮処理するエンコーダをさらに含み，上記画像記憶部は，上記圧縮処理された画像を記憶媒体に記憶することもできる。

上記撮像レート制御部は，上記エンコーダの圧縮処理量が所定値を超えた場合にのみ動作するとしても良い。

上述したように，当該撮像装置におけるデータの総処理容量の上限がエンコーダによって定まることがある。本発明では画質を上げることにより撮像レートを下げざるを得ないが，上記の構成により，データの総処理容量の上限まで，撮像レートを下げずに画質のみを上げることができ，エンコーダの能力を十分に活用することが可能となる。

上記記憶媒体は，ディスク形態であり，上記画像記憶部は，上記追加画像を一旦保持し，上記記憶媒体へのアクセスタイミングで出力するディスクバッファを備えるとしても良い。

また，上記撮像装置において撮像を行う，撮像によって画像を得る撮像ステップと；上記撮像ステップにおける撮像レートを制御するレート制御ステップと；上記撮像ステップにおける撮像ラインを段階的に追加するライン追加ステップと；上記複数の撮像ラインが追加された追加画像を記憶媒体に記憶する画像記憶ステップと；を含むことを特徴とする，撮像方法も提供される。

上記課題を解決するために，本発明の別の観点によれば，記憶媒体に記憶された画像を読み出す画像読み出し部と；上記画像読み出し部で読み出された，圧縮処理されている画像を解凍処理するデコーダと；上記解凍処理された画像のライン数をＮ／Ｍ倍（Ｎ≧Ｍ，Ｎ，Ｍは整数）にアップコンバートするアップコンバータと；上記アップコンバートされた画像を表示する再生表示部と；を備えることを特徴とする，画像再生装置が提供される。上記アップコンバータは，隣接するラインに形成された各画素間をＬＰＦ，線形補間等により補間し，上記ライン間に新たなラインを追加することである。

かかる画像再生装置では，ライン数が削減され画質は多少犠牲になっているが，撮像レートが高い画像を再生することができる。

上記ＮがＭの整数倍であれば，上記アップコンバータは，上記画像のラインを等間隔に補間することができる。

かかる条件の下では，Ｎ／Ｍが整数Ｌとなり，１本のライン毎にＬ−１本のラインを補間すれば良い。従って，等間隔にＬ−１本のラインを挿入することができ，均一な画質を保持することが可能となる。

上記画像読み出し部は，上記記憶媒体から上記画像と共にＮ，Ｍの数値情報を読み出し，上記アップコンバータに伝達するとしても良い。

かかる構成により，再生時にＮ，Ｍの数値が変化したとしても，正確にアップコンバートすることが可能となる。かかる数値変化は，記憶媒体の再生最中に行われるとしても良く，その場合，数値変換のタイミングで新たな数値情報が読み出される。

上記デコーダは，処理可能なライン数が異なる複数のデコーダからなり，該複数のデコーダは，圧縮処理されている上記画像を，処理可能なそれぞれのライン数で解凍処理し，上記画像読み出し部において，上記記憶媒体から上記画像と共に読み出されたＮ，Ｍの数値情報に応じて，上記複数のデコーダからアップコンバータへの出力を切り換えるとしても良い。

上記デコードは，再生中にライン数が変化する画像には対応していない場合がある。変更される可能性のあるライン数にそれぞれ対応したデコーダを準備し，それぞれのデコーダで常に解凍処理を行い，その出力を切り換える構成により，ライン数の変化に拘わらず，安定した出力を得ることができる。

上記記憶媒体は，書き込み位置もしくは読み出し位置が回転移動するディスク形態であり，上記画像読み出し部は，上記記憶媒体へのアクセスタイミングで読み出された画像を一旦保持し，上記再生表示部に出力する表示バッファを備えるとしても良い。

かかる表示バッファは，ディスク形態の記憶媒体へのデータの読み出しタイミングと，再生表示部への出力タイミングのずれを吸収し，記憶媒体から画像を読み出しつつ，並行して，再生表示部への出力を行う。

また，画像再生装置において画像を再生する，記憶媒体に記憶された画像を読み出す画像読み出しステップと；上記画像読み出し部で読み出された，圧縮処理されている画像を解凍処理するデコードステップと；上記解凍処理された画像のライン数をＮ／Ｍ倍（Ｎ≧Ｍ，Ｎ，Ｍは整数）にアップコンバートするアップコンバータステップと；上記アップコンバートされた画像を表示する表示ステップと；を含むことを特徴とする，画像再生方法も提供される。

上記課題を解決するために，本発明の別の観点によれば，記憶媒体に記憶された画像を読み出す画像読み出し部と；上記画像読み出し部で読み出された，圧縮処理されている画像を解凍処理するデコーダと；上記解凍処理された画像間を補間して再生レートをＭ／Ｎ倍（Ｎ≦Ｍ，Ｎ，Ｍは整数）に制御する再生レート制御部と；上記再生レートが制御された画像を表示する再生表示部と；を備えることを特徴とする，画像再生装置が提供される。上記再生レートの制御は，所望の再生レートを達成するため，隣接する画像からＬＰＦ，線形補間，単純コピー等により，その間の画像を生成することである。

かかる画像再生装置では，撮像レートが落とされ動特性が多少犠牲になっているが，ライン数が追加されて高画質の画像を再生することができる。

上記ＭがＮの整数倍であれば，上記再生レート制御部は，上記画像間を等間隔に補間することができる。

かかる条件の下では，Ｍ／Ｎが整数Ｌとなり，１つの画像に対してＬ−１個の画像を補間すれば良い。従って，等間隔にＬ−１個の画像を挿入することができ，均一な画像の流れを保持することが可能となる。

上記画像読み出し部は，上記記憶媒体から上記画像と共にＮ，Ｍの数値情報を読み出し，上記再生レート制御部に伝達するとしても良い。

上記デコーダは，処理可能なライン数が異なる複数のデコーダからなり，該複数のデコーダは，圧縮処理されている上記画像を，処理可能なそれぞれのライン数で解凍処理し，上記画像読み出し部において，上記記憶媒体から上記画像と共に読み出されたＮ，Ｍの数値情報に応じて，上記複数のデコーダから再生レート部への出力を切り換えるとしても良い。

上記デコードは，再生中にライン数が変化する画像には対応していない場合がある。変更される可能性のあるライン数にそれぞれ対応したデコーダを準備し，それぞれのデコーダで常に解凍処理を行い，その出力を切り換える構成により，ライン数の変化に拘わらず，安定した出力を得ることができる。

上記記憶媒体は，ディスク形態であり，上記画像読み出し部は，上記記憶媒体へのアクセスタイミングで読み出された画像を一旦保持し，上記再生表示部に出力する表示バッファを備えるとしても良い。

また，画像再生装置において画像を再生する，記憶媒体に記憶された画像を読み出す画像読み出しステップと；上記画像読み出し部で読み出された，圧縮処理されている画像を解凍処理するデコードステップと；上記解凍処理された画像間を補間して再生レートをＭ／Ｎ倍（Ｎ≦Ｍ，Ｎ，Ｍは整数）に制御する再生レート制御ステップと；上記再生レートが制御された画像を表示する表示ステップと；を含むことを特徴とする，画像再生方法も提供される。

かかる撮像装置と画像再生装置は一体形成されるとしても良い。また，上記の高速撮像を目的とした撮像装置と高画質撮像を目的とした撮像装置を一体形成することも可能である。同様にして画像再生装置を一体形成することもできる。さらに，撮像装置や画像再生装置における各構成要素を各々独立した複数の装置で構成することも可能である。

以上説明したように本発明によれば，データの総処理容量の上限値を超すことなく，ユーザの要求に応じた画質および撮像レートによる撮像もしくは再生ができるようになる。従って，ハードウェア資源に何かしらの制限がある場合において，処理されるデータの総処理容量を増やすことなく，画質および撮像レートを調整することが可能となり，ユーザの要求に応じて，画質を多少犠牲にしても高速撮像を実現したり，また，低速撮像であっても画質を高くしたりすることが可能となる。

以下に添付図面を参照しながら，本発明の好適な実施の形態について詳細に説明する。なお，本明細書及び図面において，実質的に同一の機能構成を有する構成要素については，同一の符号を付することにより重複説明を省略する。

（第１の実施形態：撮像装置）
まず，本願発明を適用することが可能な撮像装置について詳細に説明する。なお，以下では，本実施形態にかかる撮像装置として静止画像及び／又は動画像をカラー撮像可能なビデオカメラの例を挙げて説明するが，当該実施形態に限定されるものではない。

図１は，第１の実施形態における撮像装置１００を概略的に示したブロック図である。かかる撮像装置１００は，レンズ部１１０と，プリズム部１１２と，ＣＣＤ部１１４と，Ａ／Ｄコンバータ部１１６と，リニアマトリクス回路１１８と，イメージ強調部１２０と，加算器１２２と，ニー回路１２４と，ガンマ回路１２６と，クリップ回路１２８と，Ｙマトリクス回路１３０と，ＭＰＥＧエンコーダ１３２と，バッファメモリ１３４と，フォーマッタ１３６と，ディスク部１３８と，ＭＰＥＧデコーダ１４０と，再生表示部１４２とを含んで構成される。

上記レンズ部１１０は，被写体の光学像を撮像デバイスの感光面上に結像させる光学部品を含んで構成される。当該撮像装置１００において，被写体からの光がレンズ部１１０を通して入射され，例えば光学ローパスフィルタ（ＬＰＦ），赤外カットフィルタ及びカラーフィルタ（いずれも図示せず。）などを通じて，プリズム部１１２に出力される。また，マイクロコントローラ（図示せず）は，レンズ部１１０の絞りを制御して入射光量を調整する。

上記プリズム部１１２は，例えば三角柱のガラス等により形成され，レンズに入射された入射光を，波長毎の単色光に分解する。この単色光は他のプリズム部１１２を使ったとしても，さらに多くの光に分解することはできない。ここでは，特に，Ｒｅｄ，Ｇｒｅｅｎ，Ｂｌｕｅといった光の３原色に分解される。かかるプリズム部１１２を通過した後，色信号毎にＤＣクランプ，ゲイン調整を行うとしても良い。

上記ＣＣＤ部１１４は，レンズ部１１０によって結像された光学像を電気信号に変換するための撮像デバイスである。かかるＣＣＤ部１１４は，タイミングジェネレータ（図示せず。）により駆動され，光電変換された電気信号である画像信号を随時読み出す。このタイミングジェネレータのシャッタースピードは，上述したマイクロコントローラによって制御される。また，本実施形態では，上記プリズム部１１２によって分光された３原色それぞれにＣＣＤ部１１４が準備され，各原色に関して光電変換が行われる。

上記レンズ部１１０，プリズム部１１２，ＣＣＤ部１１４は，本実施形態における撮像部として機能するが，撮像部はかかる構成に限られず，例えば，撮像デバイスとして補色単板ＣＣＤを用いるとしても良いし，ＣＭＯＳを利用しても良い。

上記Ａ／Ｄ（アナログ／デジタル）コンバータ１１６は，ＣＣＤ部１１４により得られたアナログ電気信号を，デジタル処理するためのデジタル信号に変換し，変換したデジタル信号を後段の回路に伝達する。

上記リニアマトリクス回路１１８は，Ａ／Ｄコンバータ部１１６から得られた光学系の３原色に分解した後の色信号の漏れを，リニア領域におけるマトリクス演算によって補正する。

上記イメージ強調部１２０は，リニアマトリクス回路１１８の前段，即ち，Ａ／Ｄコンバータ部１１６から得られた光学系の３原色の細かい部分を強調して各色信号に関するディテイル信号を生成する。

上記加算器１２２は，リニアマトリクス回路１１８からの色信号とイメージ強調部１２０からのディテイル信号を加算し，後段の回路に伝達する。

上記ニー回路１２４は，最終的な映像の表示における高輝度領域の再現性を高めるため，ニーカーブの特性を利用して高輝度域を圧縮する。かかるニーカーブにおいては，高輝度領域の信号レベルを制限する変換を行うことによって，映像の高輝度領域における再現性を確保している。

上記ガンマ回路１２６は，逆ガンマ特性によりブラウン管モニタ等の映像再生表示部の映像が変化するのを，ガンマ特性を利用して防止し，最終的な映像のリニアな表示を実現する。ガンマ特性を有するガンマカーブにおいては，任意領域の信号レベルを非線形に増幅する変換を行っている。

上記クリップ回路１２８は，後段の回路において，処理することができない，もしくは無視される領域の信号レベルをカットする。上記の領域は，取扱可能な信号レベルの最大値以上，もしくは最小値以下の信号であり，上記カットは，例えば，バンドパスフィルタ（ＢＰＦ）等により実現可能である。

上記Ｙマトリクス回路１３０は，クリップ回路１２８を通過した３つの色信号からＹ（輝度）信号を生成する。このとき，同時にＰｂ／Ｐｒ（色差）信号を生成するとしても良い。

上記ＭＰＥＧエンコーダ１３２は，画像を圧縮処理するエンコーダの一つであり，Ｙマトリクス回路１３０で生成されたＹ信号およびＰｂ／Ｐｒ信号を受信し，情報量を圧縮する手段としてのＭＰＥＧエンコード処理を行い，１つのＭＰＥＧストリーム信号を生成する。

上記バッファメモリ１３４は，ＳＲＡＭ，ＤＲＡＭ，ＤＰＲＡＭ，ＥＥＰＲＯＭ等のスタティックなメモリで構成され，ＭＰＥＧエンコーダ１３２によるＭＰＥＧストリーム信号を一旦保持する。

上記フォーマッタ１３６は，バッファメモリ１３４に保持されたＭＰＥＧストリーム信号を，ディスク部１３８に格納されるディスク形態の記憶媒体に記憶するためのフォーマットに変換し，変換後のＭＰＥＧストリーム信号を，ディスク部１３８のアクセスタイミングに応じてディスク部１３８に出力する。

上記ディスク部１３８は，回転により記憶位置が移動するディスク形態の記憶媒体，例えば光ディスク，磁気ディスク，ブルーレイディスクといったディスクを回転支持して，その記憶媒体にフォーマッタ１３６でフォーマットされたＭＰＥＧストリーム信号を書き込みおよび／または読み出しする。

上記ＭＰＥＧデコーダ１４０は，ディスク部１３８の記憶媒体に記憶されたＭＰＥＧストリーム信号をディスク部１３８のアクセスタイミングで読み出し，フォーマット変換を行い，その信号からＹ信号およびＰｂ／Ｐｒ信号を生成して再生表示部１４２に伝送する。

上記再生表示部１４２は，液晶等の表示装置で形成することができ，ＭＰＥＧデコーダ１４０から受信したＹ信号およびＰｂ／Ｐｒ信号によって，記憶媒体に記憶された画像を表示（再生）することができる。

上述した撮像装置により，本発明を実施するための基本的な機能が実現可能となる。以下に，本発明による実施形態の具体的な機能を説明する。

上述した撮像装置１００による撮像の一方法として，単純に垂直走査周波数や水平走査周波数を上げて高速撮像し，画質を維持したままスローモーションのような画像を得ることができる。上記スローモーション画像は，例えば，徒競走におけるゴールの瞬間や，投げた球の軌跡を取得する等の用途に利用される。

図２Ａ，Ｂは，高速撮像を説明するためのタイムチャートである。かかるタイムチャートでは，図の左から右に向かう時間軸によって時間の経過が示される。かかる図中においてＮはライン数を示している。

図２Ａの上段には，通常撮像における撮像された画像と時間の関係が表されている。即ち，通常撮像においては，例えば１／３０秒毎に被写体の画像が取り込まれ，逐次画像データとして磁気テープもしくは光，磁気ディスクに記憶される。従って，動特性の高い，例えば画面左から右に向かって飛んでいる球を撮像する場合，隣接するフレーム同士の画像２１０間で，差分の大きい，即ち球の位置が大きくずれた状態となる。

また，図２Ａの下段には高速撮像における撮像された画像と時間の関係が表されている。高速撮像においては，通常撮像より高い撮像レート例えば１／６０秒毎に被写体の画像が取り込まれ，逐次画像データとして磁気テープもしくは光，磁気ディスクに記憶される。この高速撮像は，上述したような動特性の高い例えば飛んでいる球を撮像したとしても，フレーム同士の画像２２０間で，通常撮像と比較してより詳細な位置変位をとらえることができる。

図２Ｂは，図２Ａで説明した通常撮像と高速撮像をそれぞれ再生する場合の再生画像と時間の関係が表されている。図２Ｂの上段には通常撮像した画像の通常再生が示されている。ここでは，通常撮像において１／３０秒毎に取り込まれた被写体の画像を，磁気テープもしくは光，磁気ディスクから同じ１／３０秒のタイミングで読み出して再生している。通常撮像による画像の通常再生は，自然時間に基づいた再生であり，動きの激しい画像に関しては画像間情報が欠落する。

図２Ｂの下段に示される高速撮像の再生では，１／６０秒ごとに撮像された画像を１／３０秒毎に再生するため，時間の流れが自然時間の２倍，即ちスローモーションとなり，かつ，かかる通常撮像の再生と比較して滑らかに動作する細かい変化を確認することができる。このスローモーション画像は，通常撮像した画像を単にコマ送りすることによって達成できるが，総画像数は等しいので，滑らかかつ細かい変化を確認することはできない。ここでは，通常撮像として１／３０秒毎（３０ｐ）に，高速撮像として１／６０秒毎（６０ｐ）に撮像しているが，かかる場合に限られず，撮像装置の画像処理が許す範囲で様々なサンプリングタイムを適用することができる。

上記の高速撮像では，比較的変動が大きい被写体の動きをとらえるのに効果があるが，撮像装置の画像処理負担は，高速にした分だけ（上記の例では２倍）単純に増加する。従って，ハードウェア資源の何れか，例えば，画像の転送経路の周波数帯域，エンコーダの能力，もしくは，記憶媒体の容量に何かしらの制限があった場合，高速撮像自体ができなくなる。

本実施形態では，このようなハードウェア資源に何かしらの制限がある場合においても，処理されるデータの総処理容量を増やすことなく，画質および撮像レートを調整することを特徴としている。即ち，ユーザの要求に応じて，（１）画質を多少犠牲にしても高速撮像を実現でき，または（２）低速撮像であっても高画質の画像を得ることが可能である。

以下の第２の実施形態における画像処理システムでは，（１）画質を多少犠牲にしても高速撮像を実現する場合を，第３の実施形態における画像処理システムでは，（２）低速撮像であっても高画質の画像を得る場合を説明する。その説明においては，Ｎ，Ｍ，Ｌは整数であり，例えばＮ／Ｍは約分した値も含む。

（第２の実施形態：画像処理システム）
（撮像装置３００）
図３は，第２の実施形態における撮像装置３００を概略的に示したブロック図である。かかる撮像装置３００は，撮像部３１０と，撮像レート制御部３１２と，ライン削減部３１４と，エンコーダ３１６と，画像記憶部３１８と，撮像表示部３２０とを含んで構成される。

上記撮像部３１０は，第１の実施形態で説明したレンズ部１１０，プリズム部１１２，ＣＣＤ部１１４等を含んで構成され，被写体を撮像することによって画像を得る。この撮像された画像は画素単位でシリアル転送される。また，必要に応じて，第１の実施形態で説明したＡ／Ｄコンバータ部，リニアマトリクス回路，イメージ強調部，加算器，ニー回路，ガンマ回路，クリップ回路，Ｙマトリクス回路等を含んで構成することもできる。

上記撮像レート制御部３１２は，撮像部３１０へ撮像レート信号を送信し撮像レートを調整する。この撮像レート制御部３１２は，被写体の撮像レートを例えば，Ｎ／Ｍ倍になるように制御する。このときＮ≧Ｍの関係が成り立つ。ここで撮像レートをＮ／Ｍ倍増やしたとしても後述するライン削減部３１４によって画像毎のライン数がＭ／Ｎ倍に減じられるのでデータの総処理容量は変化しない。

上記ライン削減部３１４は，撮像部３１０に撮像された画像から複数のラインを削減する。例えば，撮像レート制御部３１２において撮像レートがＮ／Ｍ倍になった場合，ライン削減部３１４は，画像毎のライン数がＭ／Ｎ倍になるようにラインを削減するとしても良い。例えば，上記Ｎは１フレームの画像に含まれるライン数１０８０とし，撮像レートを２倍に上げると，ライン数は１／２（５４０／１０８０）倍，即ち５４０に削減される。その結果，データの総処理容量を維持したままで，高速撮像を実現することができる。

このようにＮがＭの整数倍，例えばＮが１０８０でＭが５４０であれば，ライン削減部３１４は，１フレームに含まれるラインを等間隔に間引いて削減することができる。かかる条件の下では，Ｎ／Ｍが整数Ｌとなり，Ｌ本のライン毎にＬ−１本のラインを削除すれば良い。従って，Ｌ本置きに等間隔でラインを間引くことができ，均一な画質を保持することが可能となる。例えば，Ｎが１０８０でＭが５４０の時は，１本置きにラインを削除することができる。

図４は，ライン削減部３１４の動作を説明するための説明図である。ここでは，理解を容易にするために，８ライン×８画素による１フレームの画像を利用して説明する。勿論，本実施形態はかかるライン数や画素数に限られない。

図４上段における１フレームの画像３５０では，１ラインに８つの画素３５２が形成され，それが８ライン３５４設けられている。従って，画素数は全部で８×８＝６４となる。ライン削減部３１４は，かかるラインを１／２倍に削減する。上記でいうところのＮがＭの整数倍（２倍）にあたるので，２本毎に１本ずつ等間隔にラインが間引かれる。従って，ドットで示された複数のライン３５６が削減され，画像３５０は，図４下段に示された画像３６０に変換される。ここでは，ライン数３６２が４となるので，画素数が全部で３２となり，画像全体のデータ容量も１／２倍となっている。

上記エンコーダ３１６は，ライン削減部３１４によって複数のラインが削減された削減画像を圧縮処理する。かかる削減画像は，画素単位でシリアルに伝送されたデータを一旦フレーム単位で組み立てて処理される。このような圧縮処理によって，記憶容量に限度がある記憶媒体に対して長時間の画像を記憶することが可能となる。かかる圧縮処理は，ＭＰＥＧ，ＪＰＥＧ，ＧＩＦ等，従来から知られている様々な圧縮方法を利用することができる。

上記画像記憶部３１８は，エンコーダ３１６に圧縮処理された削減画像を外部から挿入されたもしくは既存の記憶媒体３３０に記憶する。ここで，記憶媒体３３０は，書き込み位置もしくは読み出し位置が回転移動するディスク形態であるとしても良く，画像記憶部３１８は，削減画像を一旦保持し，記憶媒体３３０へのアクセス（書き込みもしくは読み出し）タイミングで出力するディスクバッファ３３２を備えることもできる。

このディスクバッファ３３２は，記憶媒体３３０へのデータの書き込みタイミングと，削減画像の受信タイミングのずれ（例えば，転送レートや転送プロトコルの違い）を吸収し，削減画像を受信しつつ，並行して，記憶媒体３３０への書き込みを行う。例えば，エンコーダ３１６からはほぼ一定の周期で画像データが送信されるが，画像記憶部３１８では，記憶媒体３３０としてのディスクの回転およびピックアップの移動等の理由により，一定の周期で画像データを受信することができない。そこで，ディスクバッファ３３２では，一定周期で送信される画像データを逐次保持して，ディスク部のアクセスタイミングに従ってその保持したデータを吐き出している。

また，画像記憶部３１８は，削減画像と共にＮ，Ｍの数値情報を記憶媒体３３０に記憶するとしても良い。画像と共にかかる数値情報を記憶することにより，Ｎ，Ｍの数値が撮像毎に変化したとしても，撮像された画像を再生する画像再生装置４００において正確にアップコンバートすることが可能となる。

上記撮像表示部３２０は，撮像部３１０による撮像中の画像確認のため，液晶ディスプレイ等の表示装置に，撮像部３１０で撮像されている画像を直接表示する。かかる撮像表示部３２０によって被写体のピント合わせや露光調整等も行うことができる。

かかる撮像装置３００では，ライン数を削減し画質を多少犠牲にしても，撮像レートを高くすることができるので高速撮像を実現することができる。

上記に示した撮像装置３００により画像が記憶された記憶媒体３３０を以下に示す画像再生装置４００で再生する。

（画像再生装置４００）
図５は，第２の実施形態における画像再生装置４００を概略的に示したブロック図である。かかる画像再生装置４００は，画像読み出し部４１０と，デコーダ４１２と，アップコンバータ４１４と，再生表示部４１６とを含んで構成される。

上記画像読み出し部４１０は，撮像装置３００で書き込まれた記憶媒体３３０やその他の記憶媒体に記憶された画像を読み出す。この画像読み出し部４１０は，記憶媒体３３０からの画像と共にＮ，Ｍの数値情報を読み出し，後述するアップコンバータ４１４に伝達するとしても良い。かかる数値情報を伝達することにより，再生表示部４１６の再生時にＮ，Ｍの数値が変化したとしても，正確にアップコンバートすることが可能となる。かかる数値変化は，記憶媒体３３０の再生最中に行われるとしても良く，その場合，数値変換のタイミングで新たな数値情報が読み出される。

また，画像読み出し部４１０は，記憶媒体３３０へのアクセスタイミングで読み出された画像を一旦保持し，再生表示部４１６に出力する表示バッファ４２０を備えるとしても良い。かかる表示バッファ４２０は，ディスク形態の記憶媒体３３０へのデータの読み出しタイミングと，再生表示部４１６への出力タイミングのずれを吸収し，記憶媒体３３０から画像を読み出しつつ，並行して，再生表示部４１６への出力を行う。

上記デコーダ４１２は，画像読み出し部４１０で読み出された，圧縮処理されている画像を解凍処理する。

上記アップコンバータ４１４は，画像読み出し部４１０が読み出した画像もしくは，デコーダ４１２により解凍処理された画像をアップコンバートする。上述した撮像装置３００では，撮像レートを上げて，画像のライン数を減じているため，画像中のラインが欠落している。アップコンバータ４１４は，隣接するラインに形成された各画素間をＬＰＦ，線形補間等により補間し，欠落しているラインを追加する。かかるアップコンバータ処理は，従来から知られる様々な方法を利用して実現するこができ，ここではその記載を省略する。

アップコンバータ４１４は，ライン数をＮ／Ｍ倍（Ｎ≧Ｍ）にアップコンバートするとしても良い。また，上記ＮがＭの整数倍であれば，アップコンバータ４１４は，上記画像のラインを等間隔に補間することができる。かかる条件の下では，Ｎ／Ｍが整数Ｌとなり，１本のライン毎にＬ−１本のラインを補間すれば良い。従って，等間隔にＬ−１本のラインを挿入することができ，均一な画質を保持することが可能となる。

図６は，アップコンバータ４１４の動作を説明するための説明図である。ここでは，理解を容易にするために，４ライン×８画素による１フレームの画像を利用して説明する。勿論，本実施形態はかかるライン数や画素数に限られない。

図６上段における１フレームの画像４５０では，１ラインに８つの画素４５２が形成され，それが４ライン４５４設けられている。従って，画素数は全部で８×４＝３２となる。アップコンバータ４１４は，かかるラインを２倍にアップコンバートする。上記でいうところのＮがＭの整数倍（２倍）にあたるので，１本のライン毎に１本ずつ等間隔にラインを補間する。

従って，画像４５０は，図６下段に示された画像４６０に変換される。ここでは，ライン４６４とライン４６６との間にドットで示されたライン４６８が補間される。また，ラインの端部に追加されるライン４７０のみ１つのライン４７２から形成している。こうして画像４６０のライン数４６２は８，画素数は全部で６４となり，画像全体のデータ容量も２倍となっている。従って，所望の画質に近い形で，高速撮像による再生を視聴することが可能となる。

上記再生表示部４１６は，液晶ディスプレイ等の表示装置でアップコンバータ４１４によりアップコンバートされた画像を表示する。このとき再生表示部４１６は，再生している画像の撮像された時間および現在時刻やタイムバーも併せて表示するとしても良い。こうして，表示されている画像がいつ頃撮像されているかを直感的に把握することが可能となる。

上述した画像再生装置４００では，ライン数が削減され画質は多少犠牲になっているが，撮像レートが高い画像を再生することができる。

（画像処理システム）
図７Ａ，Ｂ，Ｃは，本実施形態における高速撮像を説明するための説明図である。特に図７Ｂ，Ｃはタイムチャートとなっており，図の左から右に向かう時間軸によって時間の経過が示される。

図７Ａは，高速撮像を説明するための確認ポイントの位置を示したブロック図である。ここでは撮像装置３００の撮像部３１０におけるポイント（Ａ），ライン削減部３１４におけるポイント（Ｂ）および画像再生装置４００のアップコンバータ４１４における（Ｃ）を示す。即ち，（Ａ）では撮像中の画像，（Ｂ）ではラインが削減された画像，（Ｃ）ではアップコンバートされた最終的な画像を表している。

図７Ｂでは，高速撮像と比較するための通常撮像のタイムチャートを示している。ここで撮像レートは通常の１／３０秒に設定され，ライン削減部３１４によるラインの削減もアップコンバータ４１４によるアップコンバータも行われない。従って，図７Ｂにおける（Ａ），（Ｂ），（Ｃ）のいずれのポイントにおいても同様の画像推移を得ることができる。図中のＮは，ライン数を示し，図７Ｂにおいてそのライン数は変化しない。

図７Ｃでは，本実施形態における高速撮像を行った場合のタイムチャートが示される。ここでは，撮像レート制御部３１２によって，撮像レートが例えば２倍の１／６０秒に設定される。従って，ポイント（Ａ）では，単位時間における通常のライン数Ｎで撮像された画像の数が図７Ｂのポイント（Ａ）と比較して２倍存在する。このままでは，データの総処理容量が単純に２倍になってしまうため，ライン削減部３１４によってラインがＮ／２に削減される。従って，ポイント（Ｂ）では，Ｎ／２ラインの画像が，通常撮像の２倍存在することになる。図７Ｂのポイント（Ｂ）と図７Ｃのポイント（Ｂ）とを比較すると，撮像レートは高速になっているにも拘わらず，データの総処理容量は等しいことが理解される。

次に，かかる高速撮像された画像をアップコンバートして図７Ｃのポイント（Ｃ）のようにライン数をＮに再形成する。そして，通常の１／３０秒の再生レートで再生が行われる。このようにして，画像再生装置４００では，画質が少し落ちた，スローモーションのような画像を再生することができる。

（第３の実施形態：画像処理システム）
次に（２）低速撮像であっても高画質の画像を得る場合の画像処理システムを説明する。

（撮像装置５００）
図８は，第３の実施形態における撮像装置５００を概略的に示したブロック図である。かかる撮像装置５００は，撮像部３１０と，撮像レート制御部５１２と，ライン追加部５１４と，エンコーダ３１６と，画像記憶部３１８と，撮像表示部３２０とを含んで構成される。

第２の実施形態における構成要素として既に述べた撮像部３１０と，エンコーダ３１６と，画像記憶部３１８と，撮像表示部３２０とは，実質的に機能が同一なので重複説明を省略し，ここでは，新たな機能を有す撮像レート制御部５１２と，ライン追加部５１４とを主に説明する。

上記撮像レート制御部５１２は，第２の実施形態同様，撮像部３１０へ撮像レート信号を送信し撮像レートを調整する。この撮像レート制御部５１２は，被写体の撮像レートを例えば，Ｎ／Ｍ倍になるように制御する。ここでは，第２の実施形態と違い，Ｎ≦Ｍの関係が成り立つ。ここで撮像レートをＮ／Ｍ倍落としたとしても後述するライン追加部５１４によって画像毎のライン数がＭ／Ｎ倍に増やされるのでデータの総処理容量は変化しない。

上記ライン追加部５１４は，撮像部３１０の撮像ラインを追加する。例えば，撮像レート制御部５１２において撮像レートがＮ／Ｍ倍になった場合，ライン追加部５１４は，画像毎のライン数がＭ／Ｎ倍になるように撮像ラインを追加するとしても良い。例えば，撮像レートを１／２倍に下げると，ライン数は２（１０８０／５４０）倍，即ち５４０本の撮像ラインが追加される。その結果，データの総処理容量を維持したままで，高画質の画像を得ることができる。

かかる撮像装置５００では，撮像レートを落として低速撮像になったとしても，撮像ラインを増やして画質を上げることが可能となる。

上記に示した撮像装置５００により画像が記憶された記憶媒体３３０を以下に示す画像再生装置５５０で再生する。

（画像再生装置５５０）
図９は，第３の実施形態における画像再生装置５５０を概略的に示したブロック図である。かかる画像再生装置５５０は，画像読み出し部４１０と，デコーダ４１２と，再生レート制御部５６４と，再生表示部４１６とを含んで構成される。

第２の実施形態における構成要素として既に述べた画像読み出し部４１０と，デコーダ４１２と，再生表示部４１６とは，実質的に機能が同一なので重複説明を省略し，ここでは，新たな機能を有す再生レート制御部５６４を主に説明する。

上記再生レート制御部５６４は，画像読み出し部４１０が読み出した画像もしくは，デコーダ４１２により解凍処理された画像の隣接する画像間を補間して再生レートを制御する。上述した撮像装置５００では，撮像ライン数を上げて，撮像レートを減じているため，通常の画像と比較して単位時間当たりの画像数が少ない。再生レート制御部５６４は，このように欠落している画像を自動的に生成する。この欠落画像は，隣接する２つの画像をＬＰＦ，線形補間等で加工し生成するとしても良いが，単に，１つの画像を重複して利用することにより生成するとしても良い。かかる画像の生成処理は，従来から知られる様々な方法を利用して実現するこができ，ここではその記載を省略する。

再生レート制御部５６４は，再生レートをＭ／Ｎ倍（Ｎ≦Ｍ）に制御するとしても良い。また，上記ＭがＮの整数倍であれば，再生レート制御部５６４は，上記画像間を等間隔に補間することができる。かかる条件の下では，Ｍ／Ｎが整数Ｌとなり，１つの画像毎にＬ−１個の画像を補間すれば良い。従って，等間隔にＬ−１個の画像を挿入することができ，均一な画像の流れを保持することが可能となる。

図１０は，再生レート制御部５６４の動作を説明するための説明図である。ここでは，理解を容易にするために，再生レートを２倍，即ち，１つの画像に対してさらに１つの画像を追加する処理を行っている。しかし，本実施形態はかかる画素数に限られるものではない。

図１０上段においては，１／１５秒の撮像レート（１５ｐ）で撮像された画像が表示される。このまま１／３０秒の通常の再生レートで再生した場合，早回し（早送り）のような画像となり好ましくない。再生レート制御部５６４は，かかる画像の数を２倍に増やし，再生レートを通常の１／３０秒（３０ｐ）に上げる。

画像を追加する方法として，ここでは，単に直前の画像を次の画像として利用している。従って，図１０下段に示されるように，再生レート制御部５６４に入力された画像５７０を複製して１／３０秒後に再生される画像５７２を生成する。その結果，所望の再生速度で，高画質による再生を視聴することが可能となる。本実施形態では，直前の画像のみを参照しているが，かかる場合に限られず，隣接する画像もしくは，さらにその画像に隣接する画像を利用して従来から知られる方法で補間することもできる。

（画像処理システム）
図１１Ａ，Ｂ，Ｃは，本実施形態における高画質撮像を説明するための説明図である。特に図１１Ｂ，Ｃはタイムチャートとなっており，図の左から右に向かう時間軸によって時間の経過が示される。

図１１Ａは，高速撮像を説明するための確認ポイントの位置を示したブロック図である。ここでは撮像装置５００の撮像部３１０におけるポイント（Ａ）および画像再生装置５５０の再生レート制御部５６４における（Ｂ）を示す。即ち，（Ａ）では撮像中の画像，（Ｂ）では再生レートが調整された最終的な画像を表している。

図１１Ｂでは，高画質撮像と比較するための通常撮像のタイムチャートを示している。かかる通常撮像に関しては，第２の実施形態において，図７Ｂを参照することにより既に説明しているのでここでは詳細な説明を省略する。

図１１Ｃでは，高画質撮像を行った場合のタイムチャートが示される。ここでは，撮像レート制御部５１２によって，撮像レートが例えば１／２倍の１／１５秒に設定される。従って，ポイント（Ａ）では，図１１Ｂと比較して，単位時間あたりの画素数が１／２倍になっている。その代わり，ライン追加部５１４によって撮像ラインが２倍の２Ｎ本に増やされ高画質の画像を得ることができる。図１１Ｂのポイント（Ａ）と図１１Ｃのポイント（Ａ）とを比較すると画像が高画質になっているにも拘わらず，データの総処理容量は等しいことが理解できる。

次に，かかる高画質撮像された画像の再生レートを制御し，図１１Ｃのポイント（Ｂ）のような新たな画像を生成して，画像数を２倍に増やす。このようにして，画像再生装置５５０では，画像の推移は多少落ちるが１つ１つが高画質である画像を再生することができる。

（第４の実施形態：撮像装置）
第４の実施形態にかかる撮像装置は，第２の実施形態で述べた撮像装置３００の各構成要素にさらに機能が追加されたものである。従って，以下に示した新規な機能以外は撮像装置３００と同等の機能を有す。

本実施形態における撮像レート制御部３１２は，撮像部３１０の撮像レートを単に調整するだけでなく，その撮像レートを段階的に（徐々に）変更する機能を有す。従って，撮像レート制御部３１２は，被写体の撮像レートを例えば，１／３０，１／３１，１／３２…１／６０秒といった具合に段階的に上げることにより，再生時には滑らかにスローモーションに移行する画像を視聴することが可能となる。かかる撮像レートの増加は，リニアな単純増加でも良いし，任意の関数による増加であっても良い。

図１２は，上記のように撮像レートを段階的に上げた場合の撮像を説明するためのタイムチャートである。かかるタイムチャートでは，図の左から右に向かう時間軸によって時間の経過が示される。かかる図中においてＮはライン数を示している。

図１２においては，１／３０秒毎に被写体の画像を取り込む通常撮像から段階的に撮像レートを上げて，最終的には１／６０秒毎に被写体の画像を取り込む高速撮像に移行している。従って，かかる画像を再生すると通常の再生速度から段階的に（徐々に）スローモーションに変化する。例えば，動特性の高い，飛んでいる球を撮像する場合，最初は隣接するフレーム同士の画像６００間で球の位置変化が大きいが，その後の画像を見ると徐々に密になっていくのが確認される。

このように，撮像レート制御部３１２は，撮像レートをＮ／Ｍ倍（Ｎ≧Ｍ，Ｎ，Ｍは整数）に段階的に変更することができる。

このとき，画像記憶部３１８は，上記削減画像と共にＮ，Ｍの数値情報を，上記撮像レートが変更される毎に記憶媒体３３０に記憶するとしても良い。かかる数値変化は，撮像最中にリアルタイムで行われるので，数値変換のタイミングでその都度新たな数値情報を記憶媒体３３０に記憶する。例えば，図１２の例では，（Ｎ，Ｍ）＝（３０，３０），（３１，３０），（３２，３０）…（５９，３０），（６０，３０）となる。

また，本実施形態におけるライン削減部３１４は，エンコーダ３１６の圧縮処理量が所定値を超えた場合にのみ動作するとしても良い。エンコーダ３１６の圧縮処理に制限がある場合，撮像装置３００におけるデータの総処理容量の上限がエンコーダ３１６によって定まることがある。本実施形態においては撮像レートを上げることにより画質を下げざるを得ないが，所定値を超えたときのみライン削減部３１４が動作する構成により，データの総処理容量の上限まで，画質を下げずに撮像レートのみを上げることができ，エンコーダ３１６の能力を十分に活用することが可能となる。また，このようなハードウェア資源の制限は，画像の転送経路の周波数帯域もしくは記憶媒体の容量であっても良い。

図１３は，上記エンコーダの総処理容量が閾値として設けられた所定値を超える場合の撮像を説明するためのタイムチャートである。かかるタイムチャートでは，図の左から右に向かう時間軸によって時間の経過が示される。

図１３においては，図１２同様，１／３０秒毎に被写体の画像を取り込む通常撮像から段階的に撮像レートを上げて，最終的には１／６０秒毎に被写体の画像を取り込む高速撮像に移行している。撮像レートが５８／３０倍の時点で，ライン削減部３１４は，エンコーダ３１６の圧縮処理量が所定値を超えると判断し，ライン数を１／２倍に削減する。従って，画像６０２から後の画像は全てＮ／２のライン数となる。

撮像レート制御部３１２は，撮像レートを段階的に上げることも下げることも可能である。例えば，撮像レートを下げている途中で，ライン数をＮに戻したとしてもエンコーダ３１６の圧縮処理量が所定値を超えないと判断された場合，ライン削減部３１４は，ラインの削減を止め通常のライン数Ｎに戻すことができる。

（第５の実施形態：撮像装置）
第５の実施形態にかかる撮像装置は，第３の実施形態で述べた撮像装置５００の各構成要素にさらに機能が追加されたものである。従って，以下に示した新規な機能以外は撮像装置５００と同等の機能を有す。

本実施形態におけるライン追加部５１４は，撮像部３１０の撮像ラインを単に追加するだけでなく，その撮像ラインを段階的に追加する機能を有す。従って，ライン追加部５１４は，被写体の撮像ライン数を，例えば，５４０，６７５，７１０，９４５，１０８０といった具合に徐々に上げることにより，再生時には滑らかに画質が上がる画像を視聴することが可能となる。

図１４は，上記のように撮像ラインを段階的に上げた場合の撮像を説明するためのタイムチャートである。かかるタイムチャートでは，図の左から右に向かう時間軸によって時間の経過が示される。かかる図中において画像右側に示された数字はその画像のライン数を示している。

図１４においては，全ての画像が１／３０秒毎に被写体の画像を取り込む通常撮像で撮像されている。その中でライン数が５４０，６７５，７１０，９４５，１０８０と段階的に増やされ，画質が徐々に高くなっている。従って，かかる画像を再生すると，時間の経過に従って，徐々にくっきりした鮮明な画像を視聴することができるようになる。かかるライン数の増加は，リニアな単純増加でも良いし，任意の関数による増加であっても良い。

このように，ライン追加部５１４は，撮像ラインをＭ／Ｎ倍（Ｎ≦Ｍ，Ｎ，Ｍは整数）に段階的に追加することができる。

このとき，画像記憶部３１８は，上記削減画像と共にＮ，Ｍの数値情報を，上記撮像レートが変更される毎に記憶媒体３３０に記憶するとしても良い。かかる数値変化は，撮像最中にリアルタイムで行われるので，数値変換のタイミングでその都度新たな数値情報を記憶媒体３３０に記憶する。例えば，図１４の例では，（Ｎ，Ｍ）＝（５４０，５４０），（６７５，５４０），（７１０，５４０），（９４５，５４０），（１０８０，５４０）となる。

また，本実施形態における撮像レート制御部５１２は，エンコーダ３１６の圧縮処理量が所定値を超えた場合にのみ動作するとしても良い。エンコーダ３１６の圧縮処理に制限がある場合，撮像装置５００におけるデータの総処理容量の上限がエンコーダ３１６によって定まることがある。本実施形態においては画質を上げることにより撮像レートを下げざるを得ないが，所定値を超えたときのみ撮像レート制御部５１２が動作する構成により，データの総処理容量の上限まで，撮像レートを下げずに画質のみを上げることができ，エンコーダ３１６の能力を十分に活用することが可能となる。また，このようなハードウェア資源の制限は，画像の転送経路の周波数帯域もしくは記憶媒体の容量であっても良い。

図１５は，上記エンコーダの総処理容量が閾値として設けられた所定値を超える場合の撮像を説明するためのタイムチャートである。かかるタイムチャートでは，図の左から右に向かう時間軸によって時間の経過が示される。

図１５においては，図１４同様，撮像時の撮像ライン数を５４０から段階的に上げて最終的には１０８０に移行している。撮像ラインが７１０になった時点で，撮像レート制御部５１２は，エンコーダ３１６の圧縮処理量が所定値を超えると判断し，撮像レートを１／２倍（１／１５秒）に変更する。従って，画像６１０から後の画像は全て１／１５秒の撮像レートで撮像が行われる。

ライン追加部５１４は，撮像ラインを段階的に増やすことも減らすことも可能である。例えば，撮像ラインを減らしている途中で，撮像レートが１／３０秒に戻ったとしてもエンコーダ３１６の圧縮処理量が所定値を超えないと判断された場合，撮像レート制御部５１２は，撮像レートの変更を止め通常の撮像レート１／３０秒に戻すことができる。
（第６の実施形態：画像再生装置）

第６の実施形態にかかる画像再生装置は，第２の実施形態で述べた画像再生装置４００の各構成要素にさらに機能が追加されたものである。従って，以下に示した新規な機能以外は画像再生装置４００と同等の機能を有す。

図１６は，第６の実施形態における画像再生装置を概略的に示したブロック図である。本実施形態におけるデコーダ６５０は，処理可能なライン数が異なる２つのデコーダ６５２，６５４からなり，２つのデコーダ６５２，６５４は，圧縮処理されている画像を処理可能なそれぞれのライン数で解凍処理し，画像読み出し部４１０において，記憶媒体３３０から画像と共に読み出されたＮ，Ｍの数値情報に応じて，２つのデコーダ６５２，６５４からアップコンバータ４１４への出力を切り換えるとしても良い。

かかるデコーダ６５０は，再生中にライン数が変化する画像には対応していない場合がある。変更される可能性のあるライン数にそれぞれ対応したデコーダ６５２，６５４を準備する。例えば，デコーダ６５２は５４０ラインの画像に対応しており，デコーダ６５４は，１０８０ラインの画像に対応している。それぞれのデコーダ６５２，６５４で常に解凍処理を行い，記憶媒体３３０から読み出されたライン数の情報に応じてその出力を切り換える。例えば，画像のライン数が１０８０であればデコーダ６５４を選択する。こうして，ライン数の変化に拘わらず，安定した出力を得ることができる。

上述した画像処理システムと合わせて，以下に示す第７の実施形態における撮像方法および画像再生方法では，（１）画質を多少犠牲にしても高速撮像を実現する場合を，第８の実施形態における撮像方法および画像再生方法では，（２）低速撮像であっても高画質の画像を得る場合を説明する。

（第７の実施形態：撮像方法および画像再生方法）
（撮像方法）
次に，上記撮像装置３００を利用して高速画像を撮像する撮像方法を詳説する。

図１７は，本実施形態における撮像方法の流れを示したフローチャートである。かかるフローチャートでは，撮像装置３００においてどのように高速撮像が行われるかが示される。

ここでは，先ず，撮像装置３００の撮像部３１０を利用して，被写体の画像を得る（Ｓ７００）。かかる撮像部３１０は上述したようにレンズ部，プリズム部，ＣＣＤ部を含んで構成される。そして，ユーザから撮像レートの変更，即ち，高速撮像の要求の有無がチェックされる（Ｓ７０２）。そこで，撮像レートの変更要求があった場合，撮像ステップ（Ｓ７００）における撮像レートを制御する（Ｓ７０４）。変更要求がない場合は，次の処理に移る。

次に，変更された撮像レートと１画像におけるライン数との積をとって単位時間当たりの処理容量を予測し，エンコーダ３１６の圧縮処理量が所定値を超えるかどうかを判断する（Ｓ７０６）。ここで所定値を超える場合，上記撮像された画像から複数のラインを削減する（Ｓ７０８）。所定値を超えていない場合は，かかるラインの削減は行われない。

このようにして得られた画像は，エンコーダ３１６により圧縮処理され（Ｓ７１０），画像記憶部３１８の例えば光ディスク等の記憶媒体に記憶される（Ｓ７１２）。

（画像再生方法）
次に，上記画像再生装置４００を利用して高速画像を再生する画像再生方法を詳説する。

図１８は，本実施形態における画像再生方法の流れを示したフローチャートである。かかるフローチャートでは，画像再生装置４００において，高速撮像された画像がどのように再生されるかが示される。

先ず，画像再生装置４００の画像読み出し部４１０は，撮像装置３００で書き込まれた記憶媒体に記憶された画像を読み出す（Ｓ７５０）。その読み出した画像に圧縮処理がされている場合，その画像をデコーダ４１２によって解凍処理する（Ｓ７５２）。続いてアップコンバータ４１４において解凍処理した画像をアップコンバートし，最終的な画像を生成して（Ｓ７５４），その画像を再生表示部４１６に表示する（Ｓ７５６）。

上記の撮像方法および画像再生方法によれば，画質を多少犠牲にしても高速撮像を実現することができる。

（第８の実施形態：撮像方法および画像再生方法）
（撮像方法）
次に，上記撮像装置５００を利用して高画質画像を撮像する撮像方法を詳説する。

図１９は，本実施形態における撮像方法の流れを示したフローチャートである。かかるフローチャートでは，撮像装置５００においてどのように高速撮像が行われるかが示される。

ここでは，先ず，撮像装置５００の撮像部３１０を利用して，被写体の画像を得る（Ｓ８００）。そして，ユーザから撮像ラインの変更，即ち，高画質撮像の要求の有無がチェックされる（Ｓ８０２）。そこで，撮像ラインの変更要求があった場合，撮像ステップ（Ｓ８００）における撮像ラインを追加する（Ｓ８０４）。変更要求がない場合は，次の処理に移る。

次に，変更された撮像レートと１画像におけるライン数との積をとって単位時間当たりの処理容量を予測し，エンコーダ３１６の圧縮処理量が所定値を超えるかどうかを判断する（Ｓ８０６）。ここで所定値を超える場合，撮像ステップ（Ｓ８００）における撮像レートを制御する（Ｓ８０８）。所定値を超えていない場合は，かかる撮像レートの制御は行われない。

このようにして得られた画像は，エンコーダ３１６により圧縮処理され（Ｓ８１０），画像記憶部３１８の例えば光ディスク等の記憶媒体に記憶される（Ｓ８１２）。

（画像再生方法）
次に，上記画像再生装置５５０を利用して高速画像を再生する画像再生方法を詳説する。

図２０は，本実施形態における画像再生方法の流れを示したフローチャートである。かかるフローチャートでは，画像再生装置５５０において，高速撮像された画像がどのように再生されるかが示される。

先ず，画像再生装置５５０の画像読み出し部４１０は，撮像装置３００で書き込まれた記憶媒体に記憶された画像を読み出す（Ｓ８５０）。その読み出した画像に圧縮処理がされている場合，その画像をデコーダ４１２によって解凍処理する（Ｓ８５２）。続いて再生レート制御部５６４において解凍処理した画像の再生レートを制御し，最終的な画像を生成し（Ｓ８５４），その画像を再生表示部４１６に表示する（Ｓ８５６）。

上記の撮像方法および画像再生方法によれば，低速撮像であっても画質を高くすることができる。

当該撮像方法や画像再生方法における各ステップは，必ずしもフローチャートとして記載された順序に沿って時系列に処理する必要はなく，並列的あるいは個別に実行される処理（例えば，並列処理あるいはオブジェクトによる処理）も含むとしても良い。

以上，添付図面を参照しながら本発明の好適な実施形態について説明したが，本発明は係る例に限定されないことは言うまでもない。当業者であれば，特許請求の範囲に記載された範疇内において，各種の変更例または修正例に想到し得ることは明らかであり，それらについても当然に本発明の技術的範囲に属するものと了解される。

例えば，上記の実施形態においては，ディスク部におけるディスク形態の記憶媒体への画像の記憶を基本に説明したが，かかる場合に限られず，ストレージやＨＤＤ等他の記憶媒体を用いることもできる。

また，上記の実施形態では，１／３０秒（３０ｐ）から１／６０（６０ｐ）秒へ段階的に推移する例を挙げて説明しているが，逆方向へ段階的に推移する撮像を行うことも可能である。

また，上記の実施形態における撮像装置では，水平ラインを追加，削減しているが，画素や垂直方向のラインを削除する構成とすることもできる。

さらに，上記の実施形態では，撮像装置と画像再生装置とを別々に説明したが，両者を一体形成することも可能である。また，上記の高速撮像を目的とした撮像装置と高画質撮像を目的とした撮像装置を一体形成することもできる。例えば，撮像装置３００に撮像装置５００におけるライン追加部５１４を追加することにより，両者の機能を備えた撮像装置を実現できる。同様にして画像再生装置を一体形成することもできる。

第１の実施形態における撮像装置を概略的に示したブロック図である。 高速撮像を説明するためのタイムチャートである。 高速撮像を説明するためのタイムチャートである。 第２の実施形態における撮像装置を概略的に示したブロック図である。 ライン削減部の動作を説明するための説明図である。 第２の実施形態における画像再生装置を概略的に示したブロック図である。 アップコンバータの動作を説明するための説明図である。 第２の実施形態における高速撮像を説明するための説明図である。 第２の実施形態における高速撮像を説明するための説明図である。 第２の実施形態における高速撮像を説明するための説明図である。 第３の実施形態における撮像装置を概略的に示したブロック図である。 第３の実施形態における画像再生装置を概略的に示したブロック図である。 再生レート制御部の動作を説明するための説明図である。 第３の実施形態における高画質撮像を説明するための説明図である。 第３の実施形態における高画質撮像を説明するための説明図である。 第３の実施形態における高画質撮像を説明するための説明図である。 撮像レートを段階的に上げた場合の撮像を説明するためのタイムチャートである。 エンコーダの総処理容量が閾値として設けられた所定値を超える場合の撮像を説明するためのタイムチャートである。 撮像ラインを段階的に上げた場合の撮像を説明するためのタイムチャートである。 エンコーダの総処理容量が閾値として設けられた所定値を超える場合の撮像を説明するためのタイムチャートである。 第６の実施形態における画像再生装置を概略的に示したブロック図である。 第７の実施形態における撮像方法の流れを示したフローチャートである。 第７の実施形態における画像再生方法の流れを示したフローチャートである。 第８の実施形態における撮像方法の流れを示したフローチャートである。 第８の実施形態における画像再生方法の流れを示したフローチャートである。

符号の説明

１００，３００，５００ 撮像装置
３１０ 撮像部
３１２，５１２ 撮像レート制御部
３１４ ライン削減部
３１６ エンコーダ
３１８ 画像記憶部
３２０ 撮像表示部
３３０ 記憶媒体
３３２ ディスクバッファ
４００，５５０ 画像再生装置
４１０ 画像読み出し部
４１２ デコーダ
４１４ アップコンバータ
４１６ 再生表示部
５１４ ライン追加部
５６４ 再生レート制御部
Ｓ７００ 撮像ステップ
Ｓ７０４，Ｓ８０８ レート制御ステップ
Ｓ７０８ ライン削減ステップ
Ｓ７１２ 画像記憶ステップ
Ｓ７５０ 画像読み出しステップ
Ｓ７５４ アップコンバータステップ
Ｓ７５６ 表示ステップ
Ｓ８０４ ライン追加ステップ
Ｓ８５４ 再生レート制御ステップ

Claims (28)

1. 被写体を撮像する撮像装置と，該撮像装置で撮像された画像を再生する画像再生装置とからなる画像処理システムであって：
   前記撮像装置は，
   撮像によって画像を得る撮像部と；
   前記撮像部の撮像レートを段階的に変更する撮像レート制御部と；
   前記撮像された画像から複数のラインを削減するライン削減部と；
   前記複数のラインが削減された削減画像を記憶媒体に記憶する画像記憶部と；
   を備え，
   前記画像再生装置は，
   前記記憶媒体に記憶された画像を読み出す画像読み出し部と；
   読み出した前記画像をアップコンバートするアップコンバータと；
   前記アップコンバートされた画像を表示する再生表示部と；
   を備えることを特徴とする，画像処理システム。
2. 撮像によって画像を得る撮像部と；
   前記撮像部の撮像レートを段階的に変更する撮像レート制御部と；
   前記撮像された画像から複数のラインを削減するライン削減部と；
   前記複数のラインが削減された削減画像を記憶媒体に記憶する画像記憶部と；
   を備えることを特徴とする，撮像装置。
3. 前記撮像レート制御部は，撮像レートをＮ／Ｍ倍（Ｎ≧Ｍ，Ｎ，Ｍは整数）に段階的に変更し，
   前記ライン削減部は，画像毎のライン数がＭ／Ｎ倍になるようにラインを削減することを特徴とする，請求項２に記載の撮像装置。
4. 前記ＮがＭの整数倍であれば，前記ライン削減部は，前記ラインを等間隔に間引いて削減することを特徴とする，請求項３に記載の撮像装置。
5. 前記画像記憶部は，前記削減画像と共にＮ，Ｍの数値情報を，前記撮像レートが変更される毎に記憶媒体に記憶することを特徴とする，請求項３に記載の撮像装置。
6. 前記複数のラインが削減された削減画像を圧縮処理するエンコーダをさらに含み，
   前記画像記憶部は，前記圧縮処理された画像を記憶媒体に記憶することを特徴とする，請求項２に記載の撮像装置。
7. 前記ライン削減部は，前記エンコーダの圧縮処理量が所定値を超えた場合にのみ動作することを特徴とする，請求項６に記載の撮像装置。
8. 前記記憶媒体は，ディスク形態であり，
   前記画像記憶部は，前記削減画像を一旦保持し，前記記憶媒体へのアクセスタイミングで出力するディスクバッファを備えることを特徴とする，請求項２に記載の撮像装置。
9. 撮像によって画像を得る撮像ステップと；
   前記撮像ステップにおける撮像レートを段階的に変更するレート制御ステップと；
   前記撮像された画像から複数のラインを削減するライン削減ステップと；
   前記複数のラインが削減された削減画像を記憶媒体に記憶する画像記憶ステップと；
   を含むことを特徴とする，撮像方法。
10. 撮像によって画像を得る撮像部と；
    前記撮像部の撮像レートを制御する撮像レート制御部と；
    前記撮像部の撮像ラインを段階的に追加するライン追加部と；
    前記複数の撮像ラインが追加された追加画像を記憶媒体に記憶する画像記憶部と；
    を備えることを特徴とする，撮像装置。
11. 前記撮像レート制御部は，撮像レートをＮ／Ｍ倍（Ｎ≦Ｍ，Ｎ，Ｍは整数）に制御し，
    前記ライン追加部は，撮像ライン数がＭ／Ｎ倍になるように段階的に撮像ラインを追加することを特徴とする，請求項１０に記載の撮像装置。
12. 前記画像記憶部は，前記追加画像と共にＮ，Ｍの数値情報を記憶媒体に，前記撮像ラインが追加される毎に記憶することを特徴とする，請求項１１に記載の撮像装置。
13. 前記複数の撮像ラインが追加された追加画像を圧縮処理するエンコーダをさらに含み，
    前記画像記憶部は，前記圧縮処理された画像を記憶媒体に記憶することを特徴とする，請求項１０に記載の撮像装置。
14. 前記撮像レート制御部は，前記エンコーダの圧縮処理量が所定値を超えた場合にのみ動作することを特徴とする，請求項１３に記載の撮像装置。
15. 前記記憶媒体は，ディスク形態であり，
    前記画像記憶部は，前記追加画像を一旦保持し，前記記憶媒体へのアクセスタイミングで出力するディスクバッファを備えることを特徴とする，請求項１０に記載の撮像装置。
16. 撮像によって画像を得る撮像ステップと；
    前記撮像ステップにおける撮像レートを制御するレート制御ステップと；
    前記撮像ステップにおける撮像ラインを段階的に追加するライン追加ステップと；
    前記複数の撮像ラインが追加された追加画像を記憶媒体に記憶する画像記憶ステップと；
    を含むことを特徴とする，撮像方法。
17. 記憶媒体に記憶された画像を読み出す画像読み出し部と；
    前記画像読み出し部で読み出された，圧縮処理されている画像を解凍処理するデコーダと；
    前記解凍処理された画像のライン数をＮ／Ｍ倍（Ｎ≧Ｍ，Ｎ，Ｍは整数）にアップコンバートするアップコンバータと；
    前記アップコンバートされた画像を表示する再生表示部と；
    を備えることを特徴とする，画像再生装置。
18. 前記ＮがＭの整数倍であれば，前記アップコンバータは，前記画像のラインを等間隔に補間することを特徴とする，請求項１７に記載の画像再生装置。
19. 前記画像読み出し部は，前記記憶媒体から前記画像と共にＮ，Ｍの数値情報を読み出し，前記アップコンバータに伝達することを特徴とする，請求項１７に記載の画像再生装置。
20. 前記デコーダは，処理可能なライン数が異なる複数のデコーダからなり，該複数のデコーダは，圧縮処理されている前記画像を，処理可能なそれぞれのライン数で解凍処理し，
    前記画像読み出し部において，前記記憶媒体から前記画像と共に読み出されたＮ，Ｍの数値情報に応じて，前記複数のデコーダからアップコンバータへの出力を切り換えることを特徴とする，請求項１７に記載の画像再生装置。
21. 前記記憶媒体は，ディスク形態であり，
    前記画像読み出し部は，前記記憶媒体へのアクセスタイミングで読み出された画像を一旦保持し，前記再生表示部に出力する表示バッファを備えることを特徴とする，請求項１７に記載の画像再生装置。
22. 記憶媒体に記憶された画像を読み出す画像読み出しステップと；
    前記画像読み出し部で読み出された，圧縮処理されている画像を解凍処理するデコードステップと；
    前記解凍処理された画像のライン数をＮ／Ｍ倍（Ｎ≧Ｍ，Ｎ，Ｍは整数）にアップコンバートするアップコンバータステップと；
    前記アップコンバートされた画像を表示する表示ステップと；
    を含むことを特徴とする，画像再生方法。
23. 記憶媒体に記憶された画像を読み出す画像読み出し部と；
    前記画像読み出し部で読み出された，圧縮処理されている画像を解凍処理するデコーダと；
    前記解凍処理された画像間を補間して再生レートをＭ／Ｎ倍（Ｎ≦Ｍ，Ｎ，Ｍは整数）に制御する再生レート制御部と；
    前記再生レートが制御された画像を表示する再生表示部と；
    を備えることを特徴とする，画像再生装置。
24. 前記ＭがＮの整数倍であれば，前記再生レート制御部は，前記画像間を等間隔に補間することを特徴とする，請求項２３に記載の画像再生装置。
25. 前記画像読み出し部は，前記記憶媒体から前記画像と共にＮ，Ｍの数値情報を読み出し，前記再生レート制御部に伝達することを特徴とする，請求項２３に記載の画像再生装置。
26. 前記デコーダは，処理可能なライン数が異なる複数のデコーダからなり，該複数のデコーダは，圧縮処理されている前記画像を，処理可能なそれぞれのライン数で解凍処理し，
    前記画像読み出し部において，前記記憶媒体から前記画像と共に読み出されたＮ，Ｍの数値情報に応じて，前記複数のデコーダから再生レート部への出力を切り換えることを特徴とする，請求項２３に記載の画像再生装置。
27. 前記記憶媒体は，ディスク形態であり，
    前記画像読み出し部は，前記記憶媒体へのアクセスタイミングで読み出された画像を一旦保持し，前記再生表示部に出力する表示バッファを備えることを特徴とする，請求項２３に記載の画像再生装置。
28. 記憶媒体に記憶された画像を読み出す画像読み出しステップと；
    前記画像読み出し部で読み出された，圧縮処理されている画像を解凍処理するデコードステップと；
    前記解凍処理された画像間を補間して再生レートをＭ／Ｎ倍（Ｎ≦Ｍ，Ｎ，Ｍは整数）に制御する再生レート制御ステップと；
    前記再生レートが制御された画像を表示する表示ステップと；
    を含むことを特徴とする，画像再生方法。

Images