JP2004128960A

JP2004128960A - 撮像装置

Info

Publication number: JP2004128960A
Application number: JP2002291270A
Authority: JP
Inventors: Minoru Uchiyama; 内山　実
Original assignee: Canon Inc
Current assignee: Canon Inc
Priority date: 2002-10-03
Filing date: 2002-10-03
Publication date: 2004-04-22

Abstract

【課題】ビデオカメラになかった動き信号や焦点距離データを録画出力させることにより、動きのある実写像とＣＧ映像との合成、実写像の動的な画像処理を可能とする。
【解決手段】装置本体の動き量を検出する検出手段と、この検出手段の検出結果に基づいて映像の動き量を演算する演算手段と、この演算手段で演算された映像の動き量の情報を記録する記録手段とを有する。
【選択図】　図１

Description

【０００１】
【発明の属する技術分野】
本発明は、例えばビデオカメラ等の撮像装置などによって撮られた映像を、カメラの動きデータと同期して記録もしくは出力できるようにすることで、その映像データを後加工する際に役立てることができる撮像装置に関するものである。
【０００２】
【従来の技術】
近年、コンピュータグラフィックス（以下ＣＧと略す）の進歩とパーソナルコンピュータの高性能化、一般家庭へのビデオカメラの普及により、個人レベルでもテロップや背景、実写像をコンピュータによって加工処理された映像などのいわゆるＣＧと実写像との合成を行うことが多くなってきている。
【０００３】
しかし、三脚などを使わず手持ちカメラなどで撮られた動きのある実写画像や人物が動き回る映像に、その動きに関連したＣＧとの合成を行う場合、ＣＧと実写像の合わせこみの為に撮られた画像データから実写像の動きを知る必要があるとともに、カメラの動きを知らなくてはならない。
【０００４】
このために画像認識装置を別に用意して画像の動き検出を行い、ＣＧをそれに合わせて動かす作業を行わねばならない。また、カメラ側の動きを検知する場合でも、大掛かりな装置を用意する必要がありコストが高く、また装置が大掛かりとなる。このため、動きに合わせたＣＧ合成は、なかなか個人レベルで行うことが困難である。
【０００５】
一方、近年のビデオカメラには、電子防振や光学防振などの機能があり、画像の動きもしくはカメラの動きを検知する装置自体はカメラ内部に内蔵されているが、そのデータはビデオカメラ内での画像の防振機能に使われるだけのものである。
【０００６】
【発明が解決しようとする課題】
従来技術における撮像装置は、動きのある実写画像とＣＧ合成を行うにはコストや装置が大掛かりでなかなか手軽に個人レベルでＣＧ合成を行うことができない。また、カメラの動きを検知する手段が内蔵されているカメラであっても、その動き情報はカメラ内部での防振機能に使われるだけで外部に出力する機能がない。
【０００７】
【課題を解決するための手段】
本願第１の発明である撮像装置は、装置本体の動き量を検出する検出手段と、この検出手段の検出結果に基づいて映像の動き量を演算する演算手段と、この演算手段で演算された映像の動き量の情報を記録する記録手段とを有することを特徴とする。
【０００８】
本願第２の発明である撮像装置は、装置本体の動き量を検出する検出手段と、この検出手段の検出結果に基づいて映像の動き量を演算する演算手段と、この演算手段で演算された映像の動き量の情報を出力する出力手段とを有することを特徴とする。
【０００９】
ここで、検出手段において装置本体の力学的揺れを検知することで撮像の動きを検出することができる。また、動画間の映像のズレ量から撮像の動きを検出することができる。
【００１０】
記録手段としては、テープ手段、もしくは、光デスク、脱着可能なＲＡＭ、脱着可能なＨＤＤを用いることができる。
【００１１】
演算手段においては、出力する動画のフィールド、もしくはフレーム単位での動き量の合計を演算するようにすることができる。
【００１２】
一方、記録手段において、装置本体における焦点距離情報を加味した情報を記録可能としてもよい。また、出力手段において、装置本体における焦点距離情報を加味したデータを出力可能としてもよい。
【００１３】
【発明の実施の形態】
以下、各図を参照しながら、本発明の一実施形態について説明する。図１は、本実施形態における撮像装置の構成図である。
【００１４】
まず、被写体からの光が光学系（１０１）を通り、適切なサイズ、適切な絞りの光束にされた後に結像面であるＣＣＤ（１０２）で像を結ぶ。このＣＣＤ（１０２）で光学像が電気信号に変換され、その電気信号はアナログＲＧＢ電気信号として出力され、ＣＤＳ（１０３）に送られる。
【００１５】
ＣＣＤ（１０２）から出力されたアナログＲＧＢ信号は、ＣＤＳ（１０３）でサンプリングされて信号成分のみ取り出され、その出力がアナログプロセッサー（１０４）でガンマ補正などの非線型な画像処理と線形な画像処理が行われ、Ａ／Ｄ変換器（１０５）へ送られる。
【００１６】
Ａ／Ｄ変換器（１０５）では、アナログＲＧＢ信号からデジタルＲＧＢ信号に変換され、その出力がＤＳＰ（１０６）へ渡される。ＤＳＰ（１０６）では、デジタルＲＧＢ信号が輝度信号、色差信号であるＹ／Ｃ信号に変換され、そのデータは連続した静止画データとしてパラレル信号に変換され、不図の映像圧縮装置にて適切なデータ変換が行われる。
【００１７】
そして、このようにして処理された映像信号は、録画装置（１１２）と出力装置（１１３）に送られて、それぞれ録画、出力される。また、ＤＳＰ内で動画中の１フィールド（もしくは１フレーム）を出すタイミングを同期信号として、動き演算装置にも送られる。
【００１８】
また、動き情報を作り出すためにＤＳＰからの映像出力信号は、画像ベクトル検出装置（１０７）に送られる。送られてきた映像信号は、映像信号の１フィールド（もしくは１フレーム）画像を１つのブロックが１個又は複数の画素よりなる複数のブロックに分割し、その分割で設定されたブロック間での画像の動きの方向及び大きさを形成する。
【００１９】
この分割されたブロックを用いて動きベクトルを検出する方法としては、相互関数係数を用いる相互相関法や、マッチング法がある。マッチング法では、時系列的に連続する二つの画素ｇ０（ｘ、ｙ）とｇ１（ｘ、ｙ）間で、下記式（１）により注目範囲Ｂ内で、各画素の差の絶対値の和ｅ（ε、η）（以下、これを残量とする）を求める。
【００２０】
すなわち、
ｅ（ε、η）＝Σｂ｜ｇ０（ｘ−ε、ｙ−η）−ｇ１（ｘ、ｙ）｜・・・（１）
Σｂは、注目領域Ｂにおける総和演算を示す。
【００２１】
また、差の絶対値の変わりに差の二乗をもちいてもよい。
【００２２】
このｅ（ε、η）の値の小さいとこがｇ１へ移動した画素と考えられ、そこまでのｘ，ｙ座標の差がｇ０の動きベクトル量となる。
【００２３】
但し、実際に上式（１）をそのまま計算すると、例えば、（ε，η）の探索範囲を上下左右にそれぞれ５画素、残差を計算する領域Ｂの大きさを８×８画素程度としても、６４（＝８×８）画素についての差和演算を１２１｛＝（５×２＋１）×（５×２＋１）｝回計算する必要があるので、演算量を減らす工夫が必要になる。
【００２４】
この演算方法として３段階探索法などがある。この三段階検索法は、先ず注目範囲内で粗く数箇所（例えば９ヵ所）について残差を計算し、次に、残差が最も小さい位置を中心に、前回よりも少し細かいステップで同じく数箇所（例えば、９ヵ所）で残差を計算する。
【００２５】
最後に、残差が最も小さい位置を中心に、更に細かいステップで数箇所（例えば、９ヵ所）で残差を計算し、この段階で残差が最小になる位置を、目的とする対応点と評価する。このような計算によって、ＣＣＤによって得られた動画データより画像間の動き量が算出される。
【００２６】
また、カメラの動きを検知するジャイロ（１０８、１０９）からは、カメラの縦揺れを検知するピッチ方向ジャイロ（１０８）とヨー方向ジャイロ（１０９）により、カメラの動きにあわせて電気的な出力信号がジャイロ信号検出装置（１１０）に送られる。
【００２７】
ジャイロ信号検出装置（１１０）の構成は、図２に示すようになっており、ジャイロの出力信号は、直流成分を遮断して交流成分すなわち振動成分のみを通過させるＤＣカットフィルター（２０１）を通る。振動成分のみになった信号は、余分な揺らぎを取るハイパスフィルタ（ＨＰＦと略す）（２０２）を通り、余分な揺らぎのない信号へと変えられる。
【００２８】
ＨＰＦ（２０２）からの信号は、適切な感度に増幅するアンプ（２０３）を通り、アナログ信号をデジタル信号に変換するＡ／Ｄ変換器（２０４）を通り、デジタル信号に変換される。このデジタル信号は、積分器（２０５）にて、ある一定のサンプリング時間で積分されることにより、ジャイロで得られた角速度信号が角変位信号に変更される。図示していないが、ヨー、ピッチ成分それぞれ一連の処理がなされている。
【００２９】
このようにして、ジャイロ信号検出器によって、得られた角変位信号の、１つは、不図の防振補正系へ送られ防振動作に利用される。また、もう１つは、動き演算装置（１１１）に送られる。
【００３０】
動き演算装置は、図３に示す構成となっている。
【００３１】
まず、ジャイロ信号検出装置からの信号は、防振用のデータであり、動画中の１フィールド（もしくは１フレーム）よりも短い周期でのサンプリングレートの揺れ信号であるので、動画の１フィールド（もしくは１フレーム）の動き量を計算してあげなければならない。このためにＤＰＳから入力される同期信号に合わせて、図４のようなタイミングで図３に示す積分器（３０１）で積分される。これによって、１フィールド（もしくは１フレーム）分の揺れデータが計算される。
【００３２】
ジャイロからの出力を基に積分器（３０１）で計算された揺れ信号（以下、単に揺れ信号）と画像データから演算され生成された動き信号（以下単に動きベクトル信号と呼ぶ）と、焦点距離データは、信号データ生成器（２０２）にて、適切なフォーマットに区分され、動き信号として録画装置（１１２）に送られる。
【００３３】
録画装置（１１２）では、フィールド毎に対応した映像と音声、そして揺れ信号、動きベクトル信号、焦点距離信号が所定のフォーマットでフィールド情報に同期して記録される。例えばＤＶ（デジタルビデオ）形式なら、映像と音声以外の信号は、メーカ固有データ領域に記録される。
【００３４】
また、出力装置（１１３）でも同様に、フィールド毎に対応した映像と音声、そして揺れ信号、動きベクトル信号、焦点距離信号の合わさった動き信号が同期して記録される。例えば、ＩＥＥＥ１３９４のデジタルカメラ規格に則った形式に変換され、出力される。
【００３５】
ここで、動きベクトル信号と、揺れ信号についての違いについて述べる。
【００３６】
図５は、ある被写体をカメラのＣＣＤ面に対して横揺れが起こっている状況で被写体を撮影した場合の映像の見え方と揺れ信号と動きベクトル信号の出力の時間変化を表した図である。図のように、画像の揺れとしては対象物の遠さによる多少の違いはあるが２つの信号とも同じ信号の変化を見せる。また、縦揺れに関しても同様な事が言え、二つ合わせた揺れに関しても同様である。
【００３７】
しかし、カメラの揺れ量は同じでも、図６のようにカメラの画角（焦点距離）を変えると、カメラの揺れに対して揺れ信号は同じであるが、動きベクトルは揺れの波形は一緒であるが、揺れ量（振幅）は画角の大きさに依存するという違いがある。また、縦揺れに関しても同様な事が言え、二つ合わせた揺れに関しても同様である。
【００３８】
図７の場合は、ある被写体をカメラのＣＣＤ面に対して揺れはなく、ＣＣＤ面に対してカメラを平行に移動した場合の図である。この場合は被写体の位置より動きベクトルの出力は大きく異なる場合があるが、揺れ信号と同じ方向に信号が出力されている。
【００３９】
しかし、図８のようにカメラは固定で手前の人物のみが左方向に移動した場合、揺れ信号は出力されないが動きベクトルは出力信号が出てくる。このように、被写体の動きと、カメラの揺れ、画角（焦点距離）に大きく二つの出力が違ってくる。
【００４０】
このような揺れ検知情報の違いがあるが、図９のように人物を示すためのＣＧで作った矢印を、人物の動きに合わせて動かすことを行おうとした場合、揺れ信号や、動きベクトル信号が無い状況で、パソコンなどのソフトウエアーを用いて、使用者が判断しながら、当てはめることは大変労力が掛かる。しかし、本実施形態のように、動きベクトル信号や、揺れ信号、焦点距離データを画像毎にカメラ外部に出力することによって、実写像の動きに同期してＣＧ合成を行うソフトを製作することによってある程度自動的に同期したＣＧ合成を行うことができる。
【００４１】
また、図５から図８に示すような違いがあるので完全には自動化できないが、ＣＧ合成者がそれを独自に判断し、カメラからの動き情報を活用することによって、ある程度自動化することができる。
【００４２】
たとえば、図９に示すように、ＣＧの矢印を人物の動きに合わせてＣＧ合成を行う場合、ＣＧ合成者が、始めの矢印の位置を決めて、揺れ信号ではなく、人物の動きに反応した動きベクトル情報を使い、この信号に対して適切な倍率分（このとき焦点距離データを用いてもよい）だけ掛ける事によって、後は自動的に、矢印の動きが生成され、その矢印のＣＧと実写像を合わせることによって動きのあるＣＧ合成像を作ることができる。
【００４３】
同様に、ＣＧを合成するだけでなく、実写像の特定部分のみ動きに連動して、バステル処理や、色加工、などの画像処理を施すこともできる。
【００４４】
【発明の効果】
以上説明したように、本発明によれば、今までビデオカメラに無かった動き信号や焦点距離データを用いることにより動きのある実写像と、ＣＧ映像との合成、実写像の動的な画像処理を、カメラ外部のＣＧ合成装置のソフトを用いることによって半自動化することができる。
【図面の簡単な説明】
【図１】撮像装置の構成図。
【図２】ジャイロ信号検出装置の構成図。
【図３】動き演算装置の構成図。
【図４】振れ信号と時間との関係を示す図。
【図５】被写体を撮影した場合の映像の見え方と、揺れ信号および動きベクトル信号の出力の時間変化とを表した図。
【図６】被写体を撮影した場合の映像の見え方と、揺れ信号および動きベクトル信号の出力の時間変化とを表した図。
【図７】被写体を撮影した場合の映像の見え方と、揺れ信号および動きベクトル信号の出力の時間変化とを表した図。
【図８】被写体を撮影した場合の映像の見え方と、揺れ信号および動きベクトル信号の出力の時間変化とを表した図。
【図９】被写体を撮影した場合の映像の見え方と、揺れ信号および動きベクトル信号の出力の時間変化とを表した図。
【符号の説明】
１０１：光学系
１０２：ＣＣＤ
１０３：ＣＤＳ
１０４：アナログプロセッサー
１０５：Ａ／Ｄ変換器
１０６：ＤＳＰ
１０７：画像ベクトル検出装置
１１０：ジャイロ信号検出装置
１１１：動き演算装置
１１２：録画装置
１１３：出力装置
１１４：ＣＧ合成装置
１１５：リアルタイムＣＧ合成装置

Claims

装置本体の動き量を検出する検出手段と、
この検出手段の検出結果に基づいて映像の動き量を演算する演算手段と、
この演算手段で演算された映像の動き量の情報を記録する記録手段とを有することを特徴とする撮像装置。
装置本体の動き量を検出する検出手段と、
この検出手段の検出結果に基づいて映像の動き量を演算する演算手段と、
この演算手段で演算された映像の動き量の情報を出力する出力手段とを有することを特徴とする撮像装置。
前記検出手段が、装置本体の力学的揺れを検知することで撮像の動きを検出することを特徴とする請求項１又は２に記載の撮像装置。
前記検出手段が、動画間の映像のズレ量から撮像の動きを検出することを特徴とする請求項１又は２に記載の撮像装置。
前記記録手段が、テープ手段、もしくは、光デスク、脱着可能なＲＡＭ、脱着可能なＨＤＤで構成されることを特徴とする請求項１に記載の撮像装置。
前記演算手段が、出力する動画のフィールド、もしくはフレーム単位での動き量の合計を演算することを特徴とする請求項１に記載の撮像装置。
前記記録手段が、装置本体における焦点距離情報を加味した情報を記録可能であることを特徴とする請求項１に記載の撮像装置。
前記出力手段が、装置本体における焦点距離情報を加味したデータを出力可能であることを特徴とする請求項２に記載の撮像装置。