JP2017120355A

JP2017120355A - Ｇｙｒｏデバイスを用いた手振れ抑制システムおよびＧｙｒｏデバイス

Info

Publication number: JP2017120355A
Application number: JP2015257901A
Authority: JP
Inventors: 米田　正人; Masato Yoneda; 正人米田
Original assignee: Individual
Current assignee: Individual
Priority date: 2015-12-28
Filing date: 2015-12-28
Publication date: 2017-07-06

Abstract

【課題】スマートフォンによる映像の手振れ補正のためには、画像データとＧｙｒｏ信号の同期を正確にとることが大きな課題となっている。【解決手段】本発明は、ＣＭＯＳイメージセンサと、このＣＭＯＳイメージセンサからの同期信号と、この同期信号と接続されたＧｙｒｏデバイスと、このＧｙｒｏデバイスからのＧｙｒｏ値を入力とするプロセッサと、このプロセッサが前期ＣＭＯＳイメージセンサと接続されてなり、前期Ｇｙｒｏデバイスに入力される前期同期信号をうけて、その時点の時刻情報をその近傍時間で得られたＧｙｒｏ値とペアにして保持し、また前記同期信号が入力されないときは、各時刻で得られるＧｙｒｏ値とその時刻情報の少なくとも１組をペアで保持する保持手段を有し、前記プロセッサ内で、前記ＣＭＯＳイメージセンサからの映像信号と前記Ｇｙｒｏデバイスの前記保持手段からＧｙｒｏ値と時刻情報を用いて、この両者の信号の同期を正確にとることを特徴とする映像システムおよびＧｙｒｏデバイスである。【選択図】図１

Description

本発明は、Ｇｙｒｏデバイスを用いた手振れ抑制システムおよびＧｙｒｏデバイスに関するものである。

近年スマートフォンに代表される携帯機器の進歩は目覚しいものがある。とりわけ、カメラ機能の進化は著しく、もはやコンパクトデジカメに匹敵する映像がとれるようになってきている。しかしながら、小型故に映像の手振れに関しては、まだ改善点が多い。とりわけ暗い被写体を写す場合の静止画や、動画に関しては、今までの電子的な手振れ補正では十分な性能が得られていない。また、光学的な手ぶれ補正技術もあるが、この機構をスマートフォンに入れるための制約が多く、やはり十分な性能が得られない上に価格的にも高価なものとなっている。

本発明はかかる問題点に鑑み、スマートフォン等に使用される小型イメージセンサの手振れによる画質低下を抑制して、高品質な映像を低コストで得るための新たな提案である。

本発明の実施例は、ＣＭＯＳイメージセンサと、このＣＭＯＳイメージセンサからの同期信号と、この同期信号と接続されたＧｙｒｏデバイスと、このＧｙｒｏデバイスからのＧｙｒｏ値を入力とするプロセッサと、このプロセッサが前期ＣＭＯＳイメージセンサと接続されてなり、前期Ｇｙｒｏデバイスに入力される前期同期信号をうけて、その時点の時刻情報をその近傍時間で得られたＧｙｒｏ値とペアにして保持し、また前記同期信号が入力されないときは、各時刻で得られるＧｙｒｏ値とその時刻情報の少なくとも１組をペアで保持する保持手段を有し、前記プロセッサ内で、前記ＣＭＯＳイメージセンサからの映像信号と前記Ｇｙｒｏデバイスの前記保持手段からＧｙｒｏ値と時刻情報を用いて、この両者の信号の同期をとることを特徴とする映像システムおよびＧｙｒｏデバイスである。

ＣＭＯＳイメージセンサの映像信号とＧｙｒｏ値の正確な同期が取れることで、ＣＭＯＳイメージセンサの水平ライン毎の各フレーム間の正確なブレ角を推定することを可能とし、それを補正演算することで、従来の電子手振れでは不可能であった暗い条件での正確な補正を可能とする。また従来の光学的な手振れ補正のようなメカ的可動部による補正限界や大型化を抑制し、かつ低消費電力で低コストの映像システムを容易に実現することができる。スマートフォンをはじめ多くの小型映像システムに応用できるものであり、その工業的価値は極めて高いといえる。

は、本発明の一実施形態を示すブロック図である。は、本発明のＧｙｒｏデバイスの時刻情報とＧｙｒｏ情報の保持手段の説明図である。は、本発明の映像信号とＧｙｒｏ値の同期化タイミング図である。は、一般的な映像システムの構成概念図である。

図４は一般的なスマートフォンの映像システムの構成概念図である。映像データは、ＣＭＯＳイメージセンサ４０からＡＰ（アプリケーションプロセッサ）４１に入力される。また同時に、スマートフォン本体内部にはスマートフォンの傾き等の変移を測定するＧｙｒｏデバイス４３が構成されており、その出力は同様にＡＰ４１に接続されている。しかしながらこの２つのデバイスは当然異なるものであり、その信号間に同期はとれていない。この同期がＧｙｒｏを用いた手振れ補正では極めて重要になる。以下にそれに関して詳述する。

まず同期というこがどのようなことなのかを図３を用いて説明する。この図はＣＭＯＳイメージセンサ４０の動作原理を簡単に説明したものである。２次元状に構成されたＣＭＯＳイメージセンサ４０は、レンズ４４により外部の映像（被写体）４５がその２次元状のセンサに結実し、その光の強さにより、各画素を構成する光電変換素子に信号電荷が蓄積される。この各電荷は、水平ライン毎に読み出され、それが外部で合成されることで２次元のイメージを得ることになる。この各水平ラインの読み出しタイミングをしめしたものが、図３になる。横軸に時間（ｔｉｍｅ）、下方縦軸にはアクセスされる水平ライン番号３１がかかれている。つまり、この図の水平ラインが１から８まで操作されて始めて、１つの画が出力されたことになる。同図３２が読み出し信号であり、その読み出しに先立って、露光時間３３を設定するために、リセット信号３４が水平ライン毎に設けられており、信号電荷の読み出しと同様に、リセットのタイミングで各画素のデータが０にリセットされる。このリセット信号３４と読み出し信号３２の間が露光時間３３ということになる。
また、各１枚の画像はフレームと呼ばれ、そのフレームの先頭には、Ｖ同期信号３５というものが出力される。つまり、このＶ同期信号３５がフレームの先頭をあらわすことになる。この図では２つのフレーム（ＮとＮ＋１番目）が図示されている。Ｎフレームでは被写体の三角形が正立しているが、Ｎ＋１フレームではそれが少し回転している。

ここで、手振れというのは、フレーム間のＣＭＯＳイメージセンサの画像の変移ということであるが、それは例えばＮフレーム目の第３水平ライン３６の映像が次のＮ＋１フレーム目でどのように変化したかを検出できれば、その分をもどしてあげればよいということになる。つまり、この図では、水平ライン時間差３７の部分の角度変化分３８がそれに当たるわけである。
さて、この角度変化分３８をどのように求めることができるかというと、その間の一定間隔で出力されるＧｙｒｏ値３９を積分してその変化角を出してあげればよい。しかしながら、これがなかなか難しい。つまり、Ｇｙｒｏ値は一定のサンプリング間隔でその値を検出することは可能であるが、その検出値が画像と正確な同期をとる手段がないわけである。もちろんないわけではないが、本提案のような正確なものではない。

図１を用いて本発明の詳細について説明する。Ｇｙｒｏ値３９と画像データの同期をとるために、ＣＭＯＳイメージセンサ４０からの同期信号（Ｖｓｙｎｃ）１１をＧｙｒｏデバイス４３で受けて、その時刻であるＧｙｒｏ内のタイマー１２とＧｙｒｏ値をペアとして保存し、この同期信号１１がないときは、新しいＧｙｒｏ値が検出されたときに、その値をその時刻のタイムスタンプを同様に、この保持手段１３に保存するものである。この例では、保持手段１３としてＦＩＦＯを用いている。同期信号１１があったときは、その時刻のタイムスタンプ（Ｔｖｓｙｎｃ）を押し、同期信号がないときは、新たなＧｙｒｏ（ｉ）（ｉ＝１，２，３，・・・）値が得られたときに、ＴＧｙｒｏ（ｉ）（ｉ＝１，２，３，・・・）を押すことにする。これを示したものが図２となる。通常はＧｙｒｏ値３９が新たに出力さた時に、その値とその時点の時刻をＦＩＦＯに保持する。しかし、同期信号１１がロウパルスを発生すると、その時点でその時刻をＦＩＦＯに保持することにする。同期信号が入った時点から、内部のサンプリングタイミングでのＧｙｒｏ値の最初の出力までの差ΔＴをとると、Ｇｙｒｏのサンプリング時刻と画像の同期信号の差が明確になる。これによってＧｙｒｏ値のタイミング補正量が明確になる。
ΔＴ＝ＴＧｙｒｏ（１）−Ｔｖｓｙｎｃ（１）

この式によりフレーム間での水平毎の変移角が明確になるので、その分を角水平ライン毎に補正することで、画像全体の正確な補正がはじめて可能となる。角度による画像の補正に関しては、ここでは述べないがＣＭＯＳイメージセンサの瞳位置にピンホールがあるとして、ピンホールカメラのもでるから容易に導くことができる。

１１同期信号（Ｖｓｙｎｃ）
１２タイマー
１３保持手段（ＦＯＦＯ）
１４同期化ブロック
３１水平ライン番号
３２読み込み信号
３３露光時間
３４リセット信号
３５Ｖ同期信号（ロウパルス）
３６第３番水平ライン
３７水平ライン時間差
３８角度変化分
３９Ｇｙｒｏ値
４０ＣＭＯＳイメージセンサ
４１プロセッサ（ＡＰ）
４３Ｇｙｒｏデバイス
４４レンズ
４５被写体

Claims

ＣＭＯＳイメージセンサと、このＣＭＯＳイメージセンサからの同期信号と、この同期信号と接続されたＧｙｒｏデバイスと、このＧｙｒｏデバイスからのＧｙｒｏ値を入力とするプロセッサと、このプロセッサが前期ＣＭＯＳイメージセンサと接続されてなり、前期Ｇｙｒｏデバイスに入力される前期同期信号をうけて、その時点の時刻情報をその近傍時間で得られたＧｙｒｏ値とペアにして保持し、また前記同期信号が入力されないときは、各時刻で得られるＧｙｒｏ値とその時刻情報の少なくとも１組をペアで保持する保持手段を有し、前記プロセッサ内で、前記ＣＭＯＳイメージセンサからの映像信号と前記Ｇｙｒｏデバイスの前記保持手段からＧｙｒｏ値と時刻情報を用いて、この両者の信号の同期をとることを特徴とする映像システムおよびＧｙｒｏデバイスである。