JP2022187291A - レンズ駆動型ハイブリッド画像補正システムならびにレンズ駆動ドライバーｌｓｉ - Google Patents

Abstract

【課題】高画質画像を得るレンズ駆動型ハイブリッド画像補正システムならびにレンズ駆動ドライバーLSIを提供する。【解決手段】画像補正システムにおいて、レンズ駆動ドライバーLSI２は、イメージセンサモジュール１のフレーム毎の画像読み出しラインに同期して、レンズ移動をさせる手段と、各ラインの露光時刻に応じてこのレンズ駆動手段によるブレ量を補正し、この補正量を保持し、フレーム毎の画像が画像処理本体に読み込まれた時に、この各時刻とレンズ駆動量を本体画像処理部３に読み込み、本体画像処理部であらかじめ作られた理想駆動量と、この読み込まれたレンズ駆動量とを比較して、過不足分の補正をする。【効果】これにより、各ラインの露光時間におけるブラーのない画像と、これをさらに電子的に補正して理想補正量とすることができ、フレームの違いによる画質劣化を最小にした高品質な画像を得ることができる。【選択図】図１

Description

この発明は、高品質な画像取得に係り、特にOISやEISを用いたレンズ駆動型ハイブリッドブレ補正や超解像に関する。

近年スマートフォン上のカメラは著しく進歩し、従来のコンデジの領域から一眼レフの領域にせまろうとしている。その進歩に大きく寄与している技術は、OISやEISを用いて画像のブレをなくすことにより、画像を高品質に保つブレ補正システムである。しかしながらこのOISやEIS技術だけでは十分でなく、またそのハイブリッドシステムに関しても、十分な高画質画像が得られるような技術がない状態である。本発明は、このOISとEISを用いてより高画質画像を得るためのハイブリッド画像補正システムならびに、そのための新たなレンズ駆動ドライバーLSIを提案するものである。

特許第６６７４７０１号

先行技術文献としては、特許文献１などがあるが、本発明の高画質画像を得るための解決手法に訴求するものではない。

OISとEISを用いたハイブリッドブレ補正システムにおいて、単にOISで補正しきれなかった補正量をＥＩＳで補正するもので、かならずしも全てのシーンにおいて高品質が画像を得られるものではなかった。

本発明は、イメージセンサの各フレーム毎の画像読み出しラインに同期して、レンズ駆動ドライバーによるレンズ移動をさせる手段と、各ラインの露光時刻に応じてこのレンズ駆動手段によるブレ量を補正し、この補正量を保持し、各フレーム毎の画像が画像処理本体に読み込まれた時に、この各時刻とレンズ駆動量を画像処理本体に読み込み、画像処理本体であらかじめ作られた理想駆動量と、この読み込まれたレンズ駆動量とを比較して、過不足分の補正をすることで、各ラインの露光時間におけるブラーのない画像と、これをされに電子的に補正して理想補正量とすることができ、フレームの違いによる画質劣化を最小にした高品質な画像を得ることができるレンズ駆動型ハイブリッド画像補正システムならびにレンズ駆動ドライバーLSIである。

本発明によりOISとEISを用いたレンズ駆動型ハイブリッド画像補正システムならびにレンズ駆動ドライバーLSIにおいて、各フレーム内での各露光ライン内での画像ブレを最小にし、かつフレーム間での不連続性による画質劣化を抑制することができる。また、あえて画像の露光位置を変えて画像を合成することで、より高解像度を実現することも可能となる。

これはレンズ駆動をより精密に行い、その情報を画像処理本体により正確に渡すことで初めて可能となるものであり、従来にはない技術といえる。これにより、あえて移動量を1/2画素等に制御し、超解像処理等がはじめて可能となるものであり、高画質画像をえるために工業的価値は極めて高いといえる。

本システムのブロック図である。 CMOSイメージセンサの画像エリアの概略図である。 CMOSイメージセンサの画像エリアの読み出し方法の説明図である。 Gyroセンサのデータのサンプリングタイミングの説明図である。 CMOSイメージセンサの画像エリアの読み出しとGyroデータのサンプリングタイミングおよびブレ角の時系列説明図である。 複数フレーム画像の理想遷移曲線とブレ角の遷移曲線の関係をしめした説明図である。 画像処理本体へ読み込まれる画像データとGyroデータの時間遷移と位相調整の説明図である。 レンズ駆動制御内のGyroデータ保存テーブルから本体画像処理部へ読み込みタイミングを説明する説明図である。

最初に図１のブロック図を用いて本発明の構成要素とその概要について述べる。まずイメージセンサモジュール１と、レンズ駆動制御LSI２が接続されている。イメージセンサモジュールで作り出されるフレーム毎の画像は、画像生成のたびに本体画像処理部３に読み込まれる。

レンズ駆動制御LSI２は、Gyroセンサ（図示せず）からブレの角速度情報をえて、その情報からイメージセンサモジュール１がどれくらいブレたか知ることができる。このブレ情報からアクチュエーター制御回路１０２を用いてイメージセンサモジュール内のレンズアクチュエータを駆動して、そのブレを補正するものである。

また、このレンズ駆動制御LSI２には、Gyroからのデータを定期的にサンプリングして、その時刻とそのデータと、それに応じた駆動量を保存する駆動データ保存テーブル１０３をもつ。このデータは画像処理本体３へ読み込まれるものである。逆に画像処理本体から駆動量を指定する駆動量指定レジスタ１０４も有する。

次に図２を用いて、一般のCMOSイメージセンサの画像部２１の駆動方法について説明する。CMOSイメージセンサは、水平方向の画素が順次読みだされる。そのため水平方向の画素をライン２２と称して、同一ラインは常に露光時刻が同じとなる。逆にラインが異なれば、露光時刻がことなることになるわけである。いまこのラインの垂直方向をV-address と称し、水平方法をH-addressと称する。

さてこの画像部２１の読み出し方法を説明したものが図３である。図３(a)には水平軸に時間を、垂直軸にV-addressを表している。この図では画像部２１が2回読みだされている。各読み出しをフレームと称しており、まず、画像部２１の各画素がV-address毎にRESET３１され、露光時間３３ののちにREAD３２されるようになっている。各フレームの最初はV-syncパルス３４がトリガーとなっており、各フレームの最後のラインが読みだされたのちに、次のV-syncパルス３４がでるまでの区間をV-Blank３６と称している。この図３の(b)の水平ラインｋ２２が読みだされるときのタイミングを図３(a)に示している。

また、図４には、Gyroデータのサンプリングタイミングとイメージセンサの駆動タイミングとの関係を表している。V-Syncパルス区間が１Frameであり、この図4(a)のように、Ｖ－Ｓｙｎｃ信号に並行して、Ｇｙｒｏデータ４１もサンプリングされる。そのサンプリング区間４２はシステムにより一定に設定されている。このＧｙｒｏデータ４１は角速度であり、これを時間積分したものがブレ角度曲線４３であり、それを表すものが、図４(b)である。

さてここまでの説明を同一時系列で統一したものが図５となる。ＣＭＯＳイメージセンサの水へラインｋ２２が露光されているときの露光タイミング５１の時のブレ角エリア５２において、ブレ角５３が生じている。つまり、このラインを露光中にこのラインがこのブレ角５３の値だけブレることを意味している。つまり、このラインｋ２２にブラーが発生するということになる。このブラーをなくして、くっきりとした高画質にするために、このブレ角５３をレンズをアクチュエータで駆動して補正をすることで、このブラーをなくすことができるわけである。これを制御するものが、本発明のレンズ駆動制御LSI２になる。

これをすべての水平ラインに対して行うわけである。このために、アクチュエーターによるレンズ駆動と、イメージセンサのＶ－Ａｄｄｒｅｓｓ駆動が同期している必要がある。このために本発明のレンズ駆動制御LSI２には大きく４つの機能を有するものである。１つは各Ｆｒａｍｅの時間を規定する機能。もう１つは、各ＦｒａｍｅないのV-addresが駆動していない期間、つまりV-Blank期間を規定する機能、さらにはV-Addressが駆動されるそのアドレスの個数を認知する機能である。この３つの機能を有し、かつその最初のV-Address駆動時刻を正確に把握して、同期をとってアクチュエータを駆動し、レンズを駆動する機能である。これら４つがあって初めて、本発明が可能となり、高画質な画像を得ることができるものである。

また、図６には、各Frame（フレーム）間の画像の連続性に関して説明する。各フレームの各水平ラインに関しては、前述のような制御をすることで、ブラーのない画を獲得することができる。しかしながら、フレーム間となると必ずしもそうではない。そこで、すべての注目する時間の範囲で、ブレ角をもとめてみる。それが図６の積分ブレ角６１である。これはなだらかな曲線にはなっておらず、フレーム間での滑らかさに欠ける。そこで、この曲線をなめらかしたものが、理想曲線６２となる。

この理想曲線６２で、前述のブレ角エリア５２をみてみると、レンズ駆動で、各水平ラインのブレ補正６３をしたあとに、この理想曲線６２との解離６４があることがわかる。これを画像処理本体３で補正することで、はじめて理想的なフレーム間連続性をもつ画像をえることが可能となるものである。この画像処理本体３での理想曲線６２への補正に関して以下に詳述する。

この画像処理本体３で画像との理想曲線６２へ補正するためには、レンズ駆動制御LSI２で各水平ラインがどの程度補正されたかを画像処理本体３で正確にしる必要がある。まずそのために、各水平ラインのブレ角を正確に把握する。これを図７および図８を用いて説明する。

まず図７のNフレームの最終水平ラインが画像処理本体３に送りこまれた時刻７２からΔTのディレイの後に、画像処理本体３で第N番目のフレーム画像７３が来たことをシステムが認識する。この認識時刻７４に、図８のレンズ駆動制御LSI２のGyroデータ保持テーブル８１へデータ読み出しが発行される。この時図７において第Nフレーム相当Gyroデータ７６が画像処理本体３によみだされる。同様にして、１つ前の第N-1フレームのときも、第N―１フレーム相当Gyroデータ７７が読み込まれている。

さてこの状態で、第Nフレームの各ラインのブレ角を求めるためには、Gyroデータ７５の位相ズレ７８をずらして、積分することで、第Nフレームの各ラインのブレ角を正確に求めることができるわけである。この位相ズレ７８は画像システムが決まれば一意的にきまるものである。このような機能を画像処理本体３に設けることではじめて正確な画像データとブレ角の同期が可能となる。

また、ここまでの実施例では、画像データの各ラインのブラーをなくして、さらに各フレーム間の連続性を画像処理本体３で実現するものであったが、このレンズ駆動制御LSI２によるアクチュエータ制御機能を画像処理本体３から利用することで、超解像を実現することも可能となる。

つまり、各水平ラインのその露光時間内のブレ角を補正して、ブラーをなくすと同時委、あらかじめ画像処理本体３で指定された一定の付加補正量を追加してレンズを駆動することで、画像位置を例えば1/2画像ずらして撮像する。これをずらしていないものと合成することで、解像度をあげた超解像画像を得ることができる。このような機能をレンズ駆動制御LSI２に設けることで従来になかった高画質を得ることができる。

本発明は、レンズ駆動型ハイブリッド画像補正システムならびにレンズ駆動ドライバーLSIにおいて、各フレーム内での各露光ライン内での画像ブレを最小にし、かつフレーム間での不連続性による画質劣化を抑制することができる。また、あえて画像の露光位置を変えて画像を合成することで、より高解像度を実現することも可能となる。これはすべてのレンズ駆動型画像システムで利用が可能である。

１ イメージセンサモジュール、 ２ レンズ駆動制御ＬＳＩ、 ３ 本体画像処理部、 １０２ アクチュエータ制御回路、 １０３ 駆動データ保存テーブル、 １０４ 駆動両指定レジスタ、 ２１ 画像部、 ２２ ライン、 ３１ ＲＥＳＥＴ、 ３２ ＲＥＡＤ、 ３３ 露光時間、 ３４ Ｖ－Ｓｙｎｃパルス、 ３６ Ｖ－Ｂｌａｎｋ、 ４１ Ｇｙｒｏデータ、 ４２ サンプリング区間、 ４３ ブレ角度曲線、 ５１ 露光タイミング、 ５２ ブレ角エリア、 ５３ ブレ角、 ６１ 積分ブレ角、 ６２ 理想曲線、 ６３ ブレ補正、 ６４ 解離、 ７３ フレーム画像、 ７４ 認識時刻、 ７５、７６、７７ Ｇｙｒｏデータ、 ７８ 位相ズレ

Claims (2)

1. イメージセンサの各フレーム毎の画像読み出しラインに同期して、レンズ駆動ドライバーによるレンズ移動をさせる手段と、各ラインの露光時刻に応じてこのレンズ駆動手段によるブレ量を補正し、この補正量を保持し、各フレーム毎の画像が画像処理本体に読み込まれた時に、この各時刻とレンズ駆動量を画像処理本体に読み込み、画像処理本体であらかじめ作られた理想駆動量と、この読み込まれたレンズ駆動量とを比較して、過不足分の補正をすることで、各ラインの露光時間におけるブラーのない画像と、これをされに電子的に補正して理想補正量とすることができ、フレームの違いによる画質劣化を最小にした高品質な画像を得ることができるレンズ駆動型ハイブリッド画像補正システムならびにレンズ駆動ドライバーLSI。
2. 各ラインの露光時におけるブレを駆動レンズを移動させることで、不要なブレを抑えるだけではなく、手振れを抑えて上で、逆にあらかじめ画像処理本体から指定する任意の移動量（たとえば1/2画素移動）に、駆動レンズの位置を制御し、補正を付加していない画像とこの任意の移動量の補正を付加した画像を画像処理本体で合成することで、より高解像度で高品質な画像を得ることを特徴とするレンズ駆動型ハイブリッド画像補正システムならびにレンズ駆動ドライバーLSI。

Images