JP2007134991A - 画像信号処理装置、撮像装置、および画像信号処理方法 - Google Patents

画像信号処理装置、撮像装置、および画像信号処理方法 Download PDF

Info

Publication number
JP2007134991A
JP2007134991A JP2005326413A JP2005326413A JP2007134991A JP 2007134991 A JP2007134991 A JP 2007134991A JP 2005326413 A JP2005326413 A JP 2005326413A JP 2005326413 A JP2005326413 A JP 2005326413A JP 2007134991 A JP2007134991 A JP 2007134991A
Authority
JP
Japan
Prior art keywords
motion
frame rate
amount
processing unit
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2005326413A
Other languages
English (en)
Other versions
JP2007134991A5 (ja
JP4687404B2 (ja
Inventor
Masatake Saito
正剛 斉藤
Shinya Emoto
信也 江本
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Priority to JP2005326413A priority Critical patent/JP4687404B2/ja
Priority to US11/583,890 priority patent/US8204355B2/en
Publication of JP2007134991A publication Critical patent/JP2007134991A/ja
Publication of JP2007134991A5 publication Critical patent/JP2007134991A5/ja
Application granted granted Critical
Publication of JP4687404B2 publication Critical patent/JP4687404B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/587—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal sub-sampling or interpolation, e.g. decimation or subsequent interpolation of pictures in a video sequence
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/132—Sampling, masking or truncation of coding units, e.g. adaptive resampling, frame skipping, frame interpolation or high-frequency transform coefficient masking
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H04N19/137—Motion inside a coding unit, e.g. average field, frame or block difference
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/146—Data rate or code amount at the encoder output
    • H04N19/15—Data rate or code amount at the encoder output by monitoring actual compressed data size at the memory before deciding storage at the transmission buffer
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/146—Data rate or code amount at the encoder output
    • H04N19/152—Data rate or code amount at the encoder output by measuring the fullness of the transmission buffer
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/172—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a picture, frame or field
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Studio Devices (AREA)
  • Television Signal Processing For Recording (AREA)

Abstract

【課題】動き量に応じて適応的（動的）にフレームレートを増減させることができ、連続画像記録を実現でき、滑らかな動画記録や、高速物体に追従した静止画記録を可能にする画像信号処理装置、撮像装置、および画像信号処理方法を提供する。
【解決手段】撮影した画像の動きを検出するとともに、画面の動き量を算出し、積算動き量とあらかじめ設定した動き閾値とを比較してフレームレートを決定し、動き検出および動き量計算部１６と、コーデック(Codec)エンジンとして機能し、動き検出および動き量計算部１６により報知されたフレームレートをもって、いわゆる動的なフレームレート可変記録を行う画像圧縮伸長部１７と、有する。
【選択図】図１

Description

本発明は、連続画像を処理する画像信号処理装置、撮像装置、および画像信号処理方法に関するものである。
連続画像の処理データ量は一般的にフレームレートに比例する。
高フレームレートの連続画像を従来方式で記録するには大量の記録データが必要になるため、さらなる記録データ量を削減した記録方式が求められる。
連続画像を撮影する際の記録方法は大きくわけると次の２つに分類できる。
・静止画として記録する方法、および
・動画として記録する方法、
である。
まず、連続画像を静止画として記録する場合の一般的な記録方法について述べる。
この場合、記録された各静止画間は完全に独立していて依存関係はなく、各静止画間の時間の経過といった概念も普通存在しない。
そのため、たとえフレーム間の動きがほとんどなく非常に似た画像同士であっても、まったく別の静止画として別々に記録保存することになる。たとえば、JPEG方式などがこれに当たる。
記録するデータ量はフレームレートに比例するので、この方法では高フレームレートになると記録データ量が増大してしまう。
一方、連続画像を動画として記録する場合は、予め設定したフレームレートに従って一定の時間間隔で各フレームを記録しつづけることになり、動画シーケンス中の途中のフレームが１枚でも欠損することは許されない。
このため、各フレーム間の動きの増減にかかわらず常に各フレームをコマ落ちすることなく記録することが要求される。
つまりこの方法においても、フレーム間の動きがほとんどなく非常に似た画像同士であっても、フレームレート一定のため、高フレームレートになると記録データ量の増加は免れない。
たとえば、MotionJPEGやMPEG系のコーデック（Codec）がこれに当たる。
MotionJPEG 方式の場合、各フレームはJPEG方式によるイントラ圧縮のみとなるので、データ量はフレームレートに比例し、フレームレートは固定となっている。
MPEG2/4/H.264 AVCなどMPEG系の場合は、インター予測によるフレーム間差分を用いた圧縮により圧縮効率は向上しているが、こちらもフレームレートは固定となっている。
このように、従来技術でさらに記録データ量を削減するためには、以下の問題点がある。
静止画として記録する方法では、フレーム間の相関性が利用できない。
動画として記録する方法では、フレーム間の動き量の増減によらずに常に一定のフレームレートとなってしまう。
また、既存の動画記録方式(MotionJPEG, MPEG2/4/H.264 AVC, etc)では、フレームレートは予め静的な値(30fps/60fps etc)に固定されている。
したがって、一般的な画像撮像装置においては、動画で秒間あたり30または60フレーム記録であり、高速で移動する物体に対して、滑らかな画像を記録することができない。
また、静止画画像における連写機能は手動で行うため、高速で移動する物体に対して確実に撮像画像を記録することができない。
本発明は、動き量に応じて適応的（動的）にフレームレートを増減させることができ、連続画像記録を実現でき、滑らかな動画記録や、高速物体に追従した静止画記録を可能にする画像信号処理装置、撮像装置、および画像信号処理方法を提供することにある。
本発明の第１の観点の画像信号処理装置は、記録部と、撮影した画像の動きを検出して、画面の動き量を算出し、当該動き量とあらかじめ設定した動き閾値とを比較してフレームレートを決定する第１の処理部と、上記第１の処理部により報知された動的に可変されるフレームレートをもって上記記録部に対して撮影画像の記録を行う第２の処理部とを有する。
本発明の第２の観点の撮像装置は、被写体の像を撮像し画像データを出力する撮像部と、画像データに所定の処理を行う画像信号処理装置と、を含み、上記画像信号処理装置は、記録部と、撮影した画像の動きを検出して、画面の動き量を算出し、当該動き量とあらかじめ設定した動き閾値とを比較してフレームレートを決定する第１の処理部と、上記第１の処理部により報知された動的に可変されるフレームレートをもって上記記録部に対して撮影画像の記録を行う第２の処理部と、を含む。
好適には、上記第１の処理部は、動き量の時間的な積算量からフレームレートの決定を行う。
好適には、上記第１の処理部は、前画面のフレームレートを参照して現画面のフレームレートを決定する。
好適には、上記第１の処理部は、動き量が動き閾値以上の場合に高フレームレートに決定し、上記第２の処理部は、記録すべき該当フレームを記録し、上記第１の処理部は、動き量が動き閾値より小さい場合に低フレームレートに決定し、上記第２の処理部は、記録すべき該当フレームを記録せず、間引いて記録する。
好適には、上記動き閾値は設定変更可能である。
本発明の第３の観点の撮像装置は、被写体の像を任意のフレームレートで撮像可能で画像データを出力する撮像部と、画像データに所定の処理を行う画像信号処理装置と、を含み、上記画像信号処理装置は、撮影した画像の動きを検出して、画面の動き量を算出し、当該動き量とあらかじめ設定した動き閾値とを比較する第１の処理部と、上記撮影画像の動き量積算値が一定量に達した時点で、自律的に高フレームレート撮影を開始するように上記撮像部を制御する制御部と、を含む。
好適には、撮影可能範囲に入ってきた移動物体を、少なくとも当該移動量、撮影に値する物体であるとの判断を下すための判定基準値を各フレームごとに算出する機能を有する。
好適には、高フレームレート撮影を実行中に、撮影画像の動き量を算出・監視し、動き量の一定以上の減衰が認められた場合は、高フレームレート撮影を停止する機能を有する。
本発明の第４の観点の画像信号処理方法は、撮影した画像の動きを検出する第１ステップと、画面の動き量を算出する第２ステップと、上記動き量の時間的な積算量とあらかじめ設定した動き閾値とを比較してフレームレートを決定する第３ステップと、上記第３ステップで決定された動的に可変されるフレームレートをもって上記記録部に対して撮影画像の記録を行う第４ステップとを有する。
本発明の第５の観点の画像信号処理方法は、撮影した画像の動きを検出する第１ステップと、画面の動き量を算出する第２ステップと、上記動き量の時間的な積算量とあらかじめ設定した動き閾値とを比較する第３ステップと、上記撮影画像の動き量積算値が一定量に達した時点で、自律的に高フレームレート撮影を開始するように撮像部を制御する第４ステップと、を含む。
本発明によれば、動き量に応じて適応的（動的）にフレームレートを増減させることができ、連続画像記録を実現でき、滑らかな動画記録や、高速物体に追従した静止画記録を可能にすることができる。
以下、本発明の実施形態を図面に関連付けて説明する。
図１は、本発明の第１の実施形態に係る画像信号処理装置を採用したカメラシステム（撮像装置）の構成例を示すブロック図である。
本カメラシステム１０は、光学系１１、ＣＣＤやＣＭＯＳセンサからなるイメージセンサ（撮像装置）１２、アナログ信号処理部１３、アナログ／デジタル（Ａ／Ｄ）コンバータ１４、デジタル信号処理部１５、第１の処理部としての動き検出および動き量計算部１６、第２の処理部としての画像圧縮伸長部１７、画像メモリ１８、表示装置インインターフェース（Ｉ／Ｆ）１９、表示装置２０、制御ＣＰＵ２１、操作デバイス２２、ヒューマンインターフェース２４、ストレージインターフェース２４、および記録部としての外部保存用メモリ２５を有している。
カメラシステム１０において、デジタル信号処理部１５、画像圧縮伸長部１７、動き検出および動き量計算部１７、画像メモリ１８、および表示装置インターフェース１９がバス２６を介して接続されている。
光学系１１、ＣＣＤやＣＭＯＳセンサからなるイメージセンサ１２、アナログ信号処理部１３等により撮像部が構成される。
本実施形態に係るカメラシステム１０は、画面の動き量を算出し、画面の動き量を算出し、その大きさに応じて動的にフレームレートを変化させる（設定する）機能を有する。
カメラシステム１０は、動き量の時間的積算量からフレームレートの設定を算出するアルゴリズムを含んで構成され、前画面のフレームレートを参照に現フレームレートを決定する機能を有する。
そして、本カメラシステム１０は、動的なフレームレート可変記録を実現している。
まず、図１のカメラシステム１０の各部の機能の概要について説明する。
光学系１１は、レンズを主体として構成され、図示しない被写体の像を撮像素子であるイメージセンサ１２の受光面に結像させる。
イメージセンサ１２は、光学系１１を通して結像した被写体像の情報を光電変換し、アナログ信号処理部１３に出力する。
アナログ信号処理部１３は、イメージセンサ１２のアナログ出力を相関二重サンプリング処理（ＣＤＳ）、アナログ増幅処理等を行い、処理後のアナログ画像データをＡ／Ｄコンバータ１４に出力する。
Ａ／Ｄコンバータ１４は、アナログ信号処理部１３によるアナログ画像データをデジタル信号に変換し、デジタル信号処理部１５に出力する。
デジタル信号処理部１５は、撮影に先立って撮影のシャッタスピードを決める処理や撮影した画像の明るさや色を調整するための処理や、撮影した画像データを後で詳述する圧縮方式に従って圧縮処理して記録媒体である画像メモリ１８に書き込み、書き込んだ画像データを画像メモリ１８から読み出して伸長（展開）する処理等を行う。
動き検出および動き量計算部１６は、画像メモリ１８に記憶された被圧縮データを読み出して撮影した画像の動きを検出するとともに、画面の動き量を算出し、積算動き量とあらかじめ設定した動き閾値ＭＴＨとを比較してフレームレートを決定し、決定したフレームレート情報を画像圧縮部１７に出力する。
動き検出および動き量計算部１６における動き量の算出、たとえば図２（Ａ）に示すように行われる。
図２（Ａ）の例は、車が図中の右方向へ直線的に加速しながら発車するシーンを見た図である。
このような場合、移動する車に着目すると一定時間内に車が動いた量を動き量と定義することができる。
たとえば、車が発車していない相対的な時刻Ｔ＝０のときを動き量を「０」、発車後の時刻Ｔ＝１０のときの動き量を「１０」、時刻Ｔ＝２０のときの動き量を「２０」、時刻Ｔ＝３０のときの動き量を「４０」、時刻Ｔ＝４０のときの動き量を「８０」として定義することができる。
このように、本実施形態に係る動き検出および動き量計算部１６は、動き量の時間的積算量からフレームレートの設定値を算出する。
動き検出および動き量計算部１６は、画面の動き量の大きさを、フレームレートの設定に反映させる機能を有し、たとえば、前画面のフレームレートを参照に現フレームレートを決定する機能を有する。
動き検出および動き量計算部１６は、積算動き量とあらかじめ設定した動き閾値ＭＴＨと比較してフレームレートを決定する。
動き閾値ＭＴＨは、たとえば操作デバイス２２のスイッチ操作により、たとえばＣＰＵ２１のレジスタに設定される。
動き閾値ＭＴＨは、たとえば５０、１００、２００、４００等の値に設定され、図２（Ａ）のように動き量に応じた積算動き量と比較されて、フレームレートが決定される。
画像圧縮伸長部１７は、基本的には、画像メモリ１８に記憶された被圧縮データを読み出して伸長処理するデコーダの機能や、カメラの信号などの複数の画像データから圧縮信号処理して画像ソースを作成するエンコード機能を有する。
画像圧縮伸長部１７は、いわゆるコーデック(Codec)エンジンとして機能し、動き検出および動き量計算部１６により報知されたフレームレートをもって、いわゆる動的なフレームレート可変記録を行う。
コーデックエンジンとしての画像圧縮伸長部１７は、ストレージインターフェース２４を通して画像保存用メモリ２５への画像データの保存、あるいはメモリ２５からの再生を行うことができる。
画像保存用メモリ２５としては、不揮発性のメモリであるフラッシュメモリやＨＤＤ、ＤＶが適用可能である。
コーデックエンジンとしての画像圧縮伸長部１７における動的可変フレームレート記録を図２（Ａ）、（Ｂ）の具体例に関連付けて説明する。
この場合、動き閾値ＭＴＨを５０に設定した例である。
動き閾値ＭＴＨ＝５０を超える車の積算動き量は、時刻Ｔ＝４０で７０となり、また、時刻Ｔ＝５０で８０となることから、本例では、時刻Ｔ＝０，４０，５０における画像が記録対象画像となる。
表示装置インターフェース１９は、表示すべき画像データを表示装置２０に出力し表示させる。
表示装置２０としては、液晶表示装置（ＬＣＤ）等が適用可能である。
制御ＣＰＵ２１は、デジタル信号処理部１５、画像圧縮伸長部１７や回路全体の制御を行う。
制御ＣＰＵ２１は、ヒューマンインターフェース２２を通して操作デバイス２２の操作に応じた制御を行う。
操作デバイス２２としては、シャッタボタン、ジョグダイヤル、タッチパネル等を含んで構成される。
次に、上記構成における動き検出および動き量計算部１６、およびコーデックエンジンとしての画像圧縮部１７の動作を、図３のフローチャートに関連付けて説明する。
ステップＳＴ１において、あらかじめ、フレームを記録するか間引くかを決定する「動き閾値ＭＴＨ」を設定しておく。
ステップＳＴ２において、また、フレームレートの決定に使用する一時データ「積算動き量」を最初に０クリアしておく。
そして、ステップＳＴ３において、イメージセンサ１２による高フレームレートな連続画像を取得すると、時間的に隣接（連続）するフレーム間の動きベクトルおよび動き量を算出する。
この算出は高フレームレートで行う必要がある。
次に、ステップＳＴ４において、算出された各フレーム間の動き量を積算し、「積算動き量」を算出する。
ステップＳＴ５において、この値「積算動き量ＡＭＭ」と「動き閾値ＭＴＨ」を比較して、そのフレームを記録するか間引いてフレームレートを落とすかを決定する。
このとき、「積算動き量ＡＭＭ」＜「動き閾値ＭＴＨ」のとき、当フレームは記録せず、間引いてフレームレートを落とすことに決定する。
一方、「積算動き量ＡＭＭ」≧「動き閾値ＭＴＨ」のとき、ステップ６において、該当フレームは記録することに決定する。そして、該当フレームを記録すると、ステップＳＴ２の処理に戻り、積算動き量を０にクリアして、次のフレームの処理に移る。
本実施形態では、記録フォーマットは特に限定しない。
このとき、適当な画像 Codec などを利用し、データ圧縮することが望ましい。
ただ、既存の Codec では、動的フレームレート可変に未対応なので、動的フレームレート可変部分などはフォーマットを拡張するあるいは新規Codecを採用することなどが必要となることもある。
本実施形態においては、記録に使用するCodec方式は特に限定しない。
ステップＳＴ５において、「積算動き量ＡＭＭ」＜「動き閾値ＭＴＨ」のとき、ステップＳＴ３の処理に戻り、動き量の検出を行う。
図４〜図７は、本実施形態の動き速度適応型における動的可変フレームレート記録動作を模式的に示す図であって、図４は動き閾値ＭＴＨが５０のときを、図５は動き閾値ＭＴＨが１００のときを、図６は動閾値ＭＴＨが２００のときの、図７は動き閾値ＭＴＨが４００のときをそれぞれ示している。
高フレームレートにするとデータ量が増大し、メモリの消費量やメディアへの書き込み量が増大する。たとえば、動きの少ないシーンの静止画連写では、ほとんど同じ画像を何枚も記録することになってしまう。
そこで、図４〜図７に示すように、動き速度に応じてフレームレートを可変にしている。具体的には、積算動き量が小さいとき、すなわち遅い動きのときは低フレームレートとして画像を間引いて記録し、積算動き量が大きいとき、すなわち、速い動きのときは高フレームレートで該当画像を記録する。
以上説明したように、本第１の実施形態によれば、撮影した画像の動きを検出するとともに、画面の動き量を算出し、積算動き量とあらかじめ設定した動き閾値とを比較してフレームレートを決定し、動き検出および動き量計算部１６と、コーデック(Codec)エンジンとして機能し、動き検出および動き量計算部１６により報知されたフレームレートをもって、いわゆる動的なフレームレート可変記録を行う画像圧縮伸長部１７と、を有することから、ひとつの動画シーケンス内において、高速で移動するシーンに対しては高時間精度（高フレームレート）で記録するが、低速で移動するシーンに対しては低時間精度（低フレームレート）で記録することにより、高フレームレートな連続画像の記録データ量を劇的に減らすことができる。
また、「動き閾値」の設定を（静的に）変更することで、被写体の動き速度に対する感度を変更することができ、また、連続画像の記録データ量も制御できる。
また、「動き閾値」の設定を記録中に動的に変更することで、「積算動き量」だけでないインテリジェントで細やかな制御が可能である。
たとえば、動きパターン認識を用いた動き感度の調整や、バス帯域やメディア書き込みレートなど動的要因に基づいたフレームレート調整などが可能である。
また、高フレームレートの膨大な連続画像の中から、所望のシーンを選択する作業は非常に時間と手間がかかり困難であるが、本方式では一定の動き量毎に記録することで類似のシーンは記録時に既に省略されているので、これらの多くの手間が省けることになる。
図８は、本発明の第２の実施形態に係るカメラシステムの構成例を示すブロック図である。
本第２の実施形態のカメラシステム１０Ａが第１の実施形態のカメラシステム１０と異なる点は、ＣＰＵ２１Ａによって、イメージセンサ１２Ａを制御可能としてフレームレートを自動的に上げるように構成したことにある。
さらに具体的には、本カメラシステム１０Ａは、基本構成は図１と略同様であり、高フレームレートでの撮影を行う機能と、各フレーム間の動き量を算出する機能と、各フレーム時点での動き量を積算・蓄積する機能と、一定時間の高フレームレート撮影データを一時的に保存できるデータ領域を備えており、撮影画像の動き量積算値が一定量に達した時点で、自律的に高フレームレート撮影を開始することで、急に撮影範囲に現れた移動量の大きい物体の撮り逃しを回避する機能を実現している。
また、カメラシステム１０Ａは、撮影可能範囲に入ってきた高速の移動物体を、その移動量、大きさなどから撮影に値する物体であるとの判断を下すための判定基準値を各フレームごとに算出する機能（アルゴリズム）を備えている。
また、カメラシステム１０Ａは、高フレームレート撮影を実行中に、撮影画像の動き量を算出・監視し、動き量の一定以上の減衰が認められた場合は、高フレームレート撮影を停止する機能を備えている。
動き検出および動き量計算部１６の機能は、第１の実施形態と同様であり、動き量の時間的積算量からフレームレートの設定値を算出する。
動き検出および動き量計算部１６は、画面の動き量の大きさを、フレームレートの設定に反映させる機能を有し、たとえば、前画面のフレームレートを参照に現フレームレートを決定する機能を有する。
動き検出および動き量計算部１６は、積算動き量とあらかじめ設定した動き閾値ＭＴＨと比較してフレームレートを決定する。
そして、ＣＰＵ２１Ａがイメージセンサ１２Ａの制御を行う。
以下に、動き量が動き閾値ＭＴＨとの比較に応じたＣＰＵ２１Ａの制御例を図９〜図１１に関連付けて説明する。
まず、図９のフローチャートに関連付けて第１制御例を説明する。
この場合、撮像画像内に動き量が動き閾値ＭＴＨを超えた時点から（ＳＴ１１）、制御ＣＰＵ２１Ａを介してイメージセンサ１２Ａに対してフレームレートを上げる指示を与え（ＳＴ１２）、撮像および記録のフレームレートを自動的に上げる。
次に、撮像画像内の動き量が動き閾値ＭＴＨを下回った時点から（ＳＴ１３）、制御ＣＰＵ２１Ａを介し、イメージセンサ１２Ａに対してフレームレートを通常値に戻す指示を与え、撮像および記録のフレームレートを通常値に戻す（ＳＴ１４）。
次に、図１０のフローチャートに関連付けて第２制御例を説明する。
この場合、通常時のイメージングセンサの撮像をハイフレームレートとし（ＳＴ２１）、
画像メモリ１８に一定時間記録し（ＳＴ２２）、あるいは、撮像画像内に動き量が動き閾値ＭＴＨを超えた時点から（ＳＴ２３）、ハイフレームレート記録指示を記録装置（画像圧縮部１７）に対してのみ与えることにより（ＳＴ２４）、動きの速い部分を最初から記録可能とする。
次に、撮像画像内の動き量が動き閾値ＭＴＨを下回った時点から（ＳＴ２５）、通常フレームレート記録指示を記録装置に対して与える。
この場合、ステップＳＴ２２に示すように、ハイフレームレート画像を画像メモリ１８に貯めておく必要がある。
次に、図１１のフローチャートに関連付けて第３制御例を説明する。
この場合、図９に対応しており、ステップＳＴ１３の処理において、ハイフレームレートを抜ける場合の動き量の閾値に、時間の閾値も与えることにより、連続的な高速、非高速の動きに対しても、連続的にハイフレームレート撮像が可能としている。
本第２の実施形態によれば、高速な動きの物体に対して、フレームレートを上げることにより、滑らかな動きの動画の撮像および記録が可能となる。
また、高速な動きの物体に対して、フレームレートを上げることにより、決定的瞬間の静止画の撮像および記録が可能となる。
また、フレームレートを自動的に上げることにより、手動による高速連写にタイムラグ、撮り逃しなどの点で有利である。
また、定点撮像などを行う場合、動き量を判別して自動撮像、記録が可能となり、ユーザが装置のそばにいて制御する必要がなくなる。
本発明の第１の実施形態に係る画像信号処理装置を採用したカメラシステム（撮像装置）の構成例を示すブロック図である。 本実施形態に係る動き量の検出例と動的可変フレームレート記録ついて説明するための図である。 本実施形態における動き検出および動き量計算部、およびコーデックエンジンとしての画像圧縮部の動作を説明するためのフローチャートである。 動き閾値ＭＴＨが５０のときの本実施形態の動き速度適応型における動的可変フレームレート記録動作を模式的に示す図である。 動き閾値ＭＴＨが１００のときの本実施形態の動き速度適応型における動的可変フレームレート記録動作を模式的に示す図である。 動き閾値ＭＴＨが２００のときの本実施形態の動き速度適応型における動的可変フレームレート記録動作を模式的に示す図である。 動き閾値ＭＴＨが４００のときの本実施形態の動き速度適応型における動的可変フレームレート記録動作を模式的に示す図である。 本発明の第２の実施形態に係る画像信号処理装置を採用したカメラシステム（撮像装置）の構成例を示すブロック図である。 第２の実施形態に係る第１制御例を説明するためのフローチャートである。 第２の実施形態に係る第２制御例を説明するためのフローチャートである。 第２の実施形態に係る第３制御例を説明するためのフローチャートである。
符号の説明
１０，１０Ａ・・・カメラシステム、１１・・・光学系、１２，１２Ａ・・・イメージセンサ（撮像装置）、１３・・・アナログ信号処理部、１４・・・アナログ／デジタル（Ａ／Ｄ）コンバータ、１５・・・デジタル信号処理部、１６・・・動き検出および動き量計算部、１７・・・画像圧縮伸長部、１８・・・画像メモリ、１９・・・表示装置インインターフェース（Ｉ／Ｆ）、２０・・・表示装置、２１，２１Ａ・・・制御ＣＰＵ、２２・・・操作デバイス、２３・・・ヒューマンインターフェース、２４・・・ストレージインターフェース、２５・・・外部保存用メモリ、２６・・・バス。

Claims (18)

  1. 記録部と、
    撮影した画像の動きを検出して、画面の動き量を算出し、当該動き量とあらかじめ設定した動き閾値とを比較してフレームレートを決定する第１の処理部と、
    上記第１の処理部により報知された動的に可変されるフレームレートをもって上記記録部に対して撮影画像の記録を行う第２の処理部と
    を有する画像信号処理装置。
  2. 上記第１の処理部は、動き量の時間的な積算量からフレームレートの決定を行う
    請求項１記載の画像信号処理装置。
  3. 上記第１の処理部は、前画面のフレームレートを参照して現画面のフレームレートを決定する
    請求項１記載の画像信号処理装置。
  4. 上記第１の処理部は、動き量が動き閾値以上の場合に高フレームレートに決定し、上記第２の処理部は、記録すべき該当フレームを記録する
    請求項２記載の画像信号処理装置。
  5. 上記第１の処理部は、動き量が動き閾値より小さい場合に低フレームレートに決定し、上記第２の処理部は、記録すべき該当フレームを記録せず、間引いて記録する
    請求項２記載の画像信号処理装置。
  6. 上記第１の処理部は、動き量が動き閾値以上の場合に高フレームレートに決定し、上記第２の処理部は、記録すべき該当フレームを記録し、
    上記第１の処理部は、動き量が動き閾値より小さい場合に低フレームレートに決定し、上記第２の処理部は、記録すべき該当フレームを記録せず、間引いて記録する
    請求項２記載の画像信号処理装置。
  7. 上記動き閾値は設定変更可能である
    請求項１記載の画像信号処理装置。
  8. 被写体の像を撮像し画像データを出力する撮像部と、
    画像データに所定の処理を行う画像信号処理装置と、を含み、
    上記画像信号処理装置は、
    記録部と、
    撮影した画像の動きを検出して、画面の動き量を算出し、当該動き量とあらかじめ設定した動き閾値とを比較してフレームレートを決定する第１の処理部と、
    上記第１の処理部により報知された動的に可変されるフレームレートをもって上記記録部に対して撮影画像の記録を行う第２の処理部と、を含む
    撮像装置。
  9. 上記第１の処理部は、動き量の時間的な積算量からフレームレートの決定を行う
    請求項８記載の撮像装置。
  10. 上記第１の処理部は、前画面のフレームレートを参照して現画面のフレームレートを決定する
    請求項８記載の撮像装置。
  11. 上記第１の処理部は、動き量が動き閾値以上の場合に高フレームレートに決定し、上記第２の処理部は、記録すべき該当フレームを記録し、
    上記第１の処理部は、動き量が動き閾値より小さい場合に低フレームレートに決定し、上記第２の処理部は、記録すべき該当フレームを記録せず、間引いて記録する
    請求項９記載の撮像装置。
  12. 上記動き閾値は設定変更可能である
    請求項８記載の撮像装置。
  13. 被写体の像を任意のフレームレートで撮像可能で画像データを出力する撮像部と、
    画像データに所定の処理を行う画像信号処理装置と、を含み、
    上記画像信号処理装置は、
    撮影した画像の動きを検出して、画面の動き量を算出し、当該動き量とあらかじめ設定した動き閾値とを比較する第１の処理部と、
    上記撮影画像の動き量積算値が一定量に達した時点で、自律的に高フレームレート撮影を開始するように上記撮像部を制御する制御部と、を含む
    撮像装置。
  14. 撮影可能範囲に入ってきた移動物体を、少なくとも当該の移動量、撮影に値する物体であるとの判断を下すための判定基準値を各フレームごとに算出する機能を有する
    請求項１３記載の撮像装置。
  15. 高フレームレート撮影を実行中に、撮影画像の動き量を算出・監視し、動き量の一定以上の減衰が認められた場合は、高フレームレート撮影を停止する機能を有する
    請求項１３記載の撮像装置。
  16. 上記第１の処理部により報知された動的に可変されるフレームレートをもって記録部に対して撮影画像の記録を行う第２の処理部を含む
    請求項１３記載の撮像装置。
  17. 撮影した画像の動きを検出する第１ステップと、
    画面の動き量を算出する第２ステップと、
    上記動き量の時間的な積算量とあらかじめ設定した動き閾値とを比較してフレームレートを決定する第３ステップと、
    上記第３ステップで決定された動的に可変されるフレームレートをもって上記記録部に対して撮影画像の記録を行う第４ステップと
    を有する画像信号処理方法。
  18. 撮影した画像の動きを検出する第１ステップと、
    画面の動き量を算出する第２ステップと、
    上記動き量の時間的な積算量とあらかじめ設定した動き閾値とを比較する第３ステップと、
    上記撮影画像の動き量積算値が一定量に達した時点で、自律的に高フレームレート撮影を開始するように撮像部を制御する第４ステップと、を含む
    画像信号処理方法。
JP2005326413A 2005-11-10 2005-11-10 画像信号処理装置、撮像装置、および画像信号処理方法 Expired - Fee Related JP4687404B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2005326413A JP4687404B2 (ja) 2005-11-10 2005-11-10 画像信号処理装置、撮像装置、および画像信号処理方法
US11/583,890 US8204355B2 (en) 2005-11-10 2006-10-20 Image signal processing device, imaging device, and image signal processing method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2005326413A JP4687404B2 (ja) 2005-11-10 2005-11-10 画像信号処理装置、撮像装置、および画像信号処理方法

Publications (3)

Publication Number Publication Date
JP2007134991A true JP2007134991A (ja) 2007-05-31
JP2007134991A5 JP2007134991A5 (ja) 2008-12-18
JP4687404B2 JP4687404B2 (ja) 2011-05-25

Family

ID=38003848

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2005326413A Expired - Fee Related JP4687404B2 (ja) 2005-11-10 2005-11-10 画像信号処理装置、撮像装置、および画像信号処理方法

Country Status (2)

Country Link
US (1) US8204355B2 (ja)
JP (1) JP4687404B2 (ja)

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010050877A (ja) * 2008-08-25 2010-03-04 Nikon Corp 撮像装置、画像再生装置、画像変換装置、画像再生プログラム
JP2010161607A (ja) * 2009-01-08 2010-07-22 Casio Computer Co Ltd 撮影装置、撮影方法及びプログラム
JP2011193300A (ja) * 2010-03-15 2011-09-29 Omron Corp 画像処理装置、画像処理方法、画像処理システム、制御プログラムおよび記録媒体
JP2011211278A (ja) * 2010-03-29 2011-10-20 Sony Corp 記録装置および記録方法
JP2012089069A (ja) * 2010-10-22 2012-05-10 Olympus Imaging Corp 追尾装置および追尾方法
JP2012130000A (ja) * 2010-12-14 2012-07-05 Axis Ab ビデオ画像ストリーム中の画像の画質を改善するための方法およびデジタルビデオカメラ
US8264573B2 (en) 2009-05-20 2012-09-11 Canon Kabushiki Kaisha Imaging apparatus and reproducing apparatus which changes frame rate based on zoom operation
JP2012523788A (ja) * 2009-04-13 2012-10-04 ショースキャン デジタル エルエルシー 動画の撮影及び投影方法及びその装置
JP2014150358A (ja) * 2013-01-31 2014-08-21 Saxa Inc 撮影装置
JPWO2013164915A1 (ja) * 2012-05-02 2015-12-24 株式会社ニコン 撮像装置
WO2024127762A1 (ja) * 2022-12-12 2024-06-20 コニカミノルタ株式会社 システム、情報処理装置およびプログラム

Families Citing this family (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009038649A (ja) * 2007-08-02 2009-02-19 Panasonic Corp 信号処理回路、及び撮影装置
KR101467875B1 (ko) * 2008-09-04 2014-12-02 삼성전자주식회사 프레임 레이트의 가변화 설정이 가능한 디지털 카메라 및 그 제어방법
US9286709B2 (en) * 2009-07-27 2016-03-15 Dreamworks Animation Llc Variable frame rate rendering and projection
JP5810307B2 (ja) * 2010-05-10 2015-11-11 パナソニックＩｐマネジメント株式会社 撮像装置
MY178641A (en) * 2011-04-29 2020-10-19 Mimos Berhad Abrupt object movement detection system and method thereof
JP2013046259A (ja) * 2011-08-24 2013-03-04 Olympus Imaging Corp 映像機器、制御方法およびプログラム
JP6319545B2 (ja) * 2013-03-15 2018-05-09 パナソニックＩｐマネジメント株式会社 画像符号化装置、撮影システム、撮影記録システム、画質符号化方法、及び画像符号化制御プログラム
JP5813690B2 (ja) * 2013-04-08 2015-11-17 シャープ株式会社 座標位置検出装置及び表示入力装置
JP6079566B2 (ja) 2013-11-01 2017-02-15 ソニー株式会社 情報処理装置、情報処理方法、及びプログラム
US9794475B1 (en) 2014-01-29 2017-10-17 Google Inc. Augmented video capture
CN104270561A (zh) * 2014-08-01 2015-01-07 Tcl通讯（宁波）有限公司 移动终端自动调节Camera帧率的方法及移动终端
KR20160109586A (ko) * 2015-03-12 2016-09-21 삼성전자주식회사 이미지 처리 시스템, 및 이를 포함하는 모바일 컴퓨팅 장치
EP3751839A1 (en) * 2015-05-01 2020-12-16 GoPro, Inc. Camera mode control
US10063777B2 (en) * 2015-05-01 2018-08-28 Gopro, Inc. Motion-based camera mode control to reduce rolling shutter artifacts
CN104967803B (zh) * 2015-07-01 2018-01-19 广东欧珀移动通信有限公司 一种视频录制方法及装置
US10721473B2 (en) 2016-07-25 2020-07-21 Honeywell International Inc. Systems and methods for adjusting the frame rate of transmitted video based on the level of motion in the video
KR102657050B1 (ko) * 2017-01-25 2024-04-15 삼성전자주식회사 전자 장치 및 전자 장치에서의 영상을 촬영하기 위한 방법
US20180227502A1 (en) * 2017-02-06 2018-08-09 Qualcomm Incorporated Systems and methods for reduced power consumption in imaging pipelines
EP3396952B1 (en) 2017-04-25 2019-04-17 Axis AB Method and image processing unit for forming a video stream
US10277901B2 (en) 2017-05-08 2019-04-30 Axis Ab Encoding a video stream having a privacy mask
JP6705534B2 (ja) * 2018-10-19 2020-06-03 ソニー株式会社 センサ装置、信号処理方法
US10771787B2 (en) 2018-11-30 2020-09-08 Toyota Motor North America, Inc. Dynamic data compression systems and methods for use with vehicle data
WO2024021057A1 (en) * 2022-07-29 2024-02-01 Qualcomm Incorporated Dynamic image sensor configuration for improved image stabilization in an image capture device

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000013741A (ja) * 1998-06-18 2000-01-14 Sony Corp 映像記録装置、映像再生装置
JP2002320198A (ja) * 2001-04-23 2002-10-31 Casio Comput Co Ltd 動画記録装置
JP2005136596A (ja) * 2003-10-29 2005-05-26 Ricoh Co Ltd 動画像処理システム、動画像処理方法、プログラム及び情報記録媒体
JP2005160017A (ja) * 2003-10-30 2005-06-16 Canon Inc 画像動き検知装置、画像動き検知方法、プログラム及び記録媒体

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI332652B (en) * 2003-05-23 2010-11-01 Via Tech Inc System and method of auto-configuration settings for multimedia apparatus
US20050157949A1 (en) * 2003-09-30 2005-07-21 Seiji Aiso Generation of still image
KR100916274B1 (ko) * 2004-06-07 2009-09-10 슬링 미디어 인코퍼레이티드 퍼스널 미디어 브로드캐스팅 시스템

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000013741A (ja) * 1998-06-18 2000-01-14 Sony Corp 映像記録装置、映像再生装置
JP2002320198A (ja) * 2001-04-23 2002-10-31 Casio Comput Co Ltd 動画記録装置
JP2005136596A (ja) * 2003-10-29 2005-05-26 Ricoh Co Ltd 動画像処理システム、動画像処理方法、プログラム及び情報記録媒体
JP2005160017A (ja) * 2003-10-30 2005-06-16 Canon Inc 画像動き検知装置、画像動き検知方法、プログラム及び記録媒体

Cited By (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010050877A (ja) * 2008-08-25 2010-03-04 Nikon Corp 撮像装置、画像再生装置、画像変換装置、画像再生プログラム
JP2010161607A (ja) * 2009-01-08 2010-07-22 Casio Computer Co Ltd 撮影装置、撮影方法及びプログラム
JP2012523788A (ja) * 2009-04-13 2012-10-04 ショースキャン デジタル エルエルシー 動画の撮影及び投影方法及びその装置
US9270968B2 (en) 2009-05-20 2016-02-23 Canon Kabushiki Kaisha Imaging apparatus and reproducing apparatus which changes frame rate based on zoom operation
US8508627B2 (en) 2009-05-20 2013-08-13 Canon Kabushiki Kaisha Imaging apparatus and reproducing apparatus which changes frame rate based on zoom operation
US8264573B2 (en) 2009-05-20 2012-09-11 Canon Kabushiki Kaisha Imaging apparatus and reproducing apparatus which changes frame rate based on zoom operation
JP2011193300A (ja) * 2010-03-15 2011-09-29 Omron Corp 画像処理装置、画像処理方法、画像処理システム、制御プログラムおよび記録媒体
JP2011211278A (ja) * 2010-03-29 2011-10-20 Sony Corp 記録装置および記録方法
JP2012089069A (ja) * 2010-10-22 2012-05-10 Olympus Imaging Corp 追尾装置および追尾方法
JP2012130000A (ja) * 2010-12-14 2012-07-05 Axis Ab ビデオ画像ストリーム中の画像の画質を改善するための方法およびデジタルビデオカメラ
US8754975B2 (en) 2010-12-14 2014-06-17 Axis Ab Method and digital video camera for improving the image quality of images in a video image stream
JPWO2013164915A1 (ja) * 2012-05-02 2015-12-24 株式会社ニコン 撮像装置
US11825225B2 (en) 2012-05-02 2023-11-21 Nikon Corporation Imaging sensor including an output line connected to each of a plurality of pixels arranged side-by-side in each of a row direction and a column direction
JP2014150358A (ja) * 2013-01-31 2014-08-21 Saxa Inc 撮影装置
WO2024127762A1 (ja) * 2022-12-12 2024-06-20 コニカミノルタ株式会社 システム、情報処理装置およびプログラム

Also Published As

Publication number Publication date
US8204355B2 (en) 2012-06-19
US20070104462A1 (en) 2007-05-10
JP4687404B2 (ja) 2011-05-25

Similar Documents

Publication Publication Date Title
JP4687404B2 (ja) 画像信号処理装置、撮像装置、および画像信号処理方法
EP2211306B1 (en) Imaging apparatus, subject tracking method and storage medium
JP5309490B2 (ja) 撮影装置、被写体追尾ズーミング方法及び被写体追尾ズーミングプログラム
WO2010095207A1 (ja) 動画撮像装置
US20070279498A1 (en) Camera and shooting control method therefor
JP2010081535A (ja) 撮像装置、撮像方法、及びプログラム
JP2009159459A (ja) 撮像装置及びそのシャッタ駆動モード選択方法
JP2008109336A (ja) 画像処理装置および撮像装置
JP5141324B2 (ja) 撮像装置および撮像装置の制御方法、ならびに、信号処理装置および信号処理方法
US8836821B2 (en) Electronic camera
KR100564186B1 (ko) 전자 카메라
WO2011099092A1 (ja) 動き認識リモートコントロール受信装置および動き認識リモートコントロール制御方法
JP2008131572A (ja) 監視カメラ装置および監視カメラの撮影方法
JP4840731B2 (ja) 撮像装置、撮像方法、及びプログラム
JP2007134788A (ja) 画像処理装置及びプログラム
JP2007214886A (ja) 画像処理装置
JP4888829B2 (ja) 動画処理装置、動画撮影装置および動画撮影プログラム
JP2013009435A (ja) 撮影装置、被写体追尾ズーミング方法及び被写体追尾ズーミングプログラム
JP2007116633A (ja) 画像記録装置
JP2000092499A (ja) 画像符号化制御装置、画像符号化制御方法及び記憶媒体
JP4872571B2 (ja) 撮像装置、撮像方法及びプログラム
JP5211947B2 (ja) 撮像装置及びプログラム
JP2004180345A (ja) 撮影画像記録装置
JP4969371B2 (ja) 撮像装置
JP2007214666A (ja) 動画撮影機能付デジタルカメラ

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20081030

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20081030

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20100930

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20101005

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20101119

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20110118

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20110131

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140225

Year of fee payment: 3

LAPS Cancellation because of no payment of annual fees