JP2016188986A - 画像処理装置 - Google Patents

Abstract

【課題】デジタルズーム処理において、対象画像が数フレーム続けて同じ倍率で表示されたり、本来表示すべき途中段階の倍率が抜けたりするという問題や、制御部がデジタルズーム処理の実行中に他の処理を受け付けられないという問題がある。
【解決手段】画像処理装置を、基準となる第一の表示倍率から目標とする第二の表示倍率に至るまでの表示倍率に関するデータを所定の倍率値刻みで算出する手段と、所定の倍率値刻みで算出された、第一の表示倍率から第二の表示倍率に至るまでの各表示倍率に関するデータを保持する手段と、該手段に保持された表示倍率に関するデータのうち第一の表示倍率に近い倍率値に対応するものから所定の時間間隔で順次出力する手段と、表示倍率に関するデータが出力される毎に、該出力された表示倍率に関するデータに基づいて対象画像のトリミング及びスケーリングを行う手段とを備える構成とした。
【選択図】図２

Description

本発明は、対象画像の表示倍率を変更することが可能な画像処理装置に関する。

デジタルズーム機能を備えた画像処理装置が知られている。例えば特許文献１に、この種の画像処理装置の具体的構成が記載されている。

特許文献１に記載の画像処理装置は、患者の体腔内を撮影する内視鏡装置に備えられており、電子スコープによる撮影画像をデジタルズーム機能によって拡大表示又は縮小表示することが可能となっている。

特開２０１１−１７２６４９号公報

図３は、特許文献１に例示される従来の画像処理装置において制御部により実行されるデジタルズーム処理（拡大ズームの場合の処理）のフローチャートを示す。図３の例では、現在の表示倍率をｍと定義し、目標の表示倍率をｎと定義する。

ユーザ操作等により目標の表示倍率ｎが指定されると、制御部は、図３に示されるように、表示倍率をｍ＝１に設定したうえで（Ｓ１）、対象画像のトリミングサイズ及びトリミング開始位置を算出し（Ｓ２、Ｓ３）、算出されたサイズ及び開始位置を後段の処理回路に設定してズーム処理の実行を命令する（Ｓ４）。これにより、後段の処理回路において対象画像がトリミングされ、トリミングされた対象画像がスケーリングされて、スケーリング後の対象画像がモニタの表示画面に表示される。次いで、制御部は、表示倍率をｍ＝ｍ＋０．０２に設定して（Ｓ５）、表示倍率ｍがｎに達しているか否かを判定し（Ｓ６）、表示倍率ｍがｎに達していなければ（Ｓ６：ＮＯ）、所定時間（例えば２０ｍｓ）ウェイトして（Ｓ７）、処理ステップＳ２に戻る。制御部は、表示倍率ｍがｎに達するまで（Ｓ６：ＹＥＳ）、処理ステップＳ２〜Ｓ７のループを実行する。対象画像は、処理ステップＳ２〜Ｓ７が実行される毎に目標の表示倍率ｎに近付くように拡大又は縮小されて、モニタの表示画面に表示される。

このように、デジタルズーム処理が目標の表示倍率ｎに至るまでの途中段階の倍率による対象画像の表示を可視化するものである場合、制御部は、後段の処理回路に対するズーム処理の命令を各倍率の段階で都度発行する必要がある。また、対象画像の変倍表示をユーザにスムーズに見せるためには、制御部によるズーム処理の命令発行を、映像信号の最小レート（１フィールドや１フレーム等のリフレッシュレート）と同期させる必要がある。しかし、制御部によるズーム処理の命令発行のタイミングを制御することは難しいため、例えば、対象画像が数フレーム（フィールド）続けて同じ倍率で表示されたり、本来表示すべき途中段階の倍率が抜けたりするという問題が指摘される。また、制御部は、デジタルズーム処理の実行中、ズーム処理の命令発行を短い周期で複数回実行する必要があるため、実質的に他の処理を受け付けることができないという問題も指摘される。

本発明は上記の事情に鑑みてなされたものであり、その目的とするところは、デジタルズーム処理の実行に好適に構成された画像処理装置を提供することである。

本発明の一実施形態に係る画像処理装置は、基準となる第一の表示倍率から目標とする第二の表示倍率に至るまでの表示倍率に関するデータを所定の倍率値刻みで算出する算出手段と、所定の倍率値刻みで算出された、第一の表示倍率から第二の表示倍率に至るまでの各表示倍率に関するデータを保持する保持手段と、保持手段に保持された表示倍率に関するデータのうち第一の表示倍率に近い倍率値に対応するものから所定の時間間隔で順次出力する出力手段と、表示倍率に関するデータが出力される毎に、該出力された表示倍率に関するデータに基づいて対象画像のトリミング及びスケーリングを行う変倍処理手段とを備える。

また、本発明の一実施形態において、所定の時間間隔は、例えば、対象画像の表示のリフレッシュレートに応じた時間間隔である。

また、本発明の一実施形態において、出力手段は、対象画像の表示を更新するための垂直同期信号を検知すると、その時点で保持手段に保持されている表示倍率に関するデータの中から第一の表示倍率に最も近い倍率値に対応するものを出力する構成としてもよい。

また、本発明の一実施形態において、表示倍率に関するデータは、例えば、変倍処理手段に対して対象画像のトリミングのサイズ及び開始位置を指定するものである。

また、本発明の一実施形態において、保持手段は、例示的にはＦＩＦＯレジスタである。

本発明の一実施形態によれば、デジタルズーム処理の実行に好適に構成された画像処理装置が提供される。

本発明の一実施形態に係る電子内視鏡システムの構成を示すブロック図である。 本発明の一実施形態に係る電子内視鏡システムに備えられるプロセッサにおいて実行されるデジタルズーム設定値算出処理のフローチャートを示す図である。 従来の画像処理装置において実行されるデジタルズーム処理のフローチャートを示す図である。

以下、本発明の実施形態について図面を参照しながら説明する。なお、以下においては、本発明の一実施形態として電子内視鏡システムを例に取り説明する。

［電子内視鏡システム１の構成］
図１は、本発明の一実施形態に係る電子内視鏡システム１の構成を示すブロック図である。図１に示されるように、電子内視鏡システム１は、電子スコープ１００、プロセッサ２００及びモニタ３００を備えている。

プロセッサ２００は、システムコントローラ２０２及びタイミングコントローラ２０４を備えている。システムコントローラ２０２は、メモリ２１２に記憶された各種プログラムを実行し、電子内視鏡システム１全体を統合的に制御する。また、システムコントローラ２０２は、操作パネル２１４に接続されている。システムコントローラ２０２は、操作パネル２１４より入力される術者からの指示に応じて、電子内視鏡システム１の各動作及び各動作のためのパラメータを変更する。タイミングコントローラ２０４は、各部の動作のタイミングを調整するクロックパルスを電子内視鏡システム１内の各回路に出力する。

ランプ２０８は、ランプ電源イグナイタ２０６による始動後、照射光Ｌを射出する。ランプ２０８は、例えば、キセノンランプ、ハロゲンランプ、水銀ランプ、メタルハライドランプ等の高輝度ランプやＬＥＤ（Light Emitting Diode）である。照射光Ｌは、主に可視光領域から不可視である赤外光領域に広がるスペクトルを持つ光（又は少なくとも可視光領域を含む白色光）である。

ランプ２０８より射出された照射光Ｌは、集光レンズ２１０によりＬＣＢ（Light Carrying Bundle）１０２の入射端面に集光されてＬＣＢ１０２内に入射される。

ＬＣＢ１０２内に入射された照射光Ｌは、ＬＣＢ１０２内を伝播して電子スコープ１００の先端に配置されたＬＣＢ１０２の射出端面より射出され、配光レンズ１０４を介して被写体に照射される。照射光Ｌにより照射された被写体からの戻り光は、対物レンズ１０６を介して固体撮像素子１０８の受光面上で光学像を結ぶ。

固体撮像素子１０８は、補色市松型画素配置を有する単板式カラーＣＣＤ（Charge Coupled Device）イメージセンサである。固体撮像素子１０８は、受光面上の各画素で結像した光学像を光量に応じた電荷として蓄積して、イエローＹｅ、シアンＣｙ、グリーンＧ、マゼンタＭｇの画像信号を生成し、生成された垂直方向に隣接する２つの画素の画像信号を加算し混合して出力する。なお、固体撮像素子１０８は、ＣＣＤイメージセンサに限らず、ＣＭＯＳ（Complementary Metal Oxide Semiconductor）イメージセンサやその他の種類の撮像装置に置き換えられてもよい。固体撮像素子１０８はまた、原色系フィルタ（ベイヤ配列フィルタ）を搭載したものであってもよい。

電子スコープ１００の接続部内には、ドライバ信号処理回路１１０が備えられている。ドライバ信号処理回路１１０には、画像信号がフレーム周期で固体撮像素子１０８より入力される。なお、以降の説明において「フレーム」は「フィールド」に置き替えてもよい。本実施形態において、フレーム周期、フィールド周期はそれぞれ、１／３０秒、１／６０秒である。ドライバ信号処理回路１１０は、固体撮像素子１０８より入力される画像信号に対して所定の処理を施してプロセッサ２００の前段信号処理回路２２０に出力する。

ドライバ信号処理回路１１０はまた、メモリ１１２にアクセスして電子スコープ１００の固有情報を読み出す。メモリ１１２に記録される電子スコープ１００の固有情報には、例えば、固体撮像素子１０８の画素数や感度、動作可能なフレームレート、型番等が含まれる。ドライバ信号処理回路１１０は、メモリ１１２より読み出された固有情報をシステムコントローラ２０２に出力する。

システムコントローラ２０２は、電子スコープ１００の固有情報に基づいて各種演算を行い、制御信号を生成する。システムコントローラ２０２は、生成された制御信号を用いて、プロセッサ２００に接続されている電子スコープに適した処理がなされるようにプロセッサ２００内の各種回路の動作やタイミングを制御する。

タイミングコントローラ２０４は、システムコントローラ２０２によるタイミング制御に従って、ドライバ信号処理回路１１０にクロックパルスを供給する。ドライバ信号処理回路１１０は、タイミングコントローラ２０４から供給されるクロックパルスに従って、固体撮像素子１０８をプロセッサ２００側で処理される映像のフレームレートに同期したタイミングで駆動制御する。

前段信号処理回路２２０は、ドライバ信号処理回路１１０より１フレーム周期で入力される画像信号に対して色補間、マトリックス演算、Ｙ／Ｃ分離等の所定の信号処理を施して、後段信号処理回路２３０に出力する。

後段信号処理回路２３０は、ＦＩＦＯ（First In First Out）レジスタ２３２、トリミング回路２３４、スケーラ回路２３６及び出力回路２３８を備えている。ＦＩＦＯレジスタ２３２、トリミング回路２３４及びスケーラ回路２３６は、デジタルズーム処理回路を構成する。本実施形態において、デジタルズーム処理は、対象画像の中心座標を基準としてその一部をトリミングし、トリミングされた対象画像を電子的に拡大又は縮小する処理である。

前段信号処理回路２２０より入力される画像信号は、必要に応じてデジタルズーム処理が施されて、出力回路２３８に入力される。出力回路２３８に入力された画像信号は、モニタ表示用の所定のビデオフォーマット信号に変換されてモニタ３００に出力される。これにより、被写体のカラー画像がモニタ３００の表示画面に表示される。

［デジタルズーム設定値算出処理］
図２は、本発明の一実施形態においてシステムコントローラ２０２により実行されるデジタルズーム設定値算出処理のフローチャートを示す。操作パネル２１４には、例えば、１．２倍、１．５倍、２．０倍等の規定の倍率値を指定するための倍率値指定ボタンが複数配置されている。図２のデジタルズーム設定値算出処理は、何れか１つの倍率値指定ボタンが押されると実行開始される。なお、本実施形態では、基準となる表示倍率値（倍率値指定ボタンが押される直前の表示倍率値）をＬと定義し、対象画像の現在の表示倍率値をＭと定義し、目標とする表示倍率値をＮと定義する。目標とする表示倍率値Ｎは、倍率値指定ボタンにより指定される表示倍率値と同じである。

［図２のＳ１１（表示倍率値Ｍの設定）］
本処理ステップＳ１１では、基準となる表示倍率値Ｌが対象画像の現在の表示倍率値Ｍとして取得され設定される。対象画像が既にデジタルズーム表示されていれば、表示倍率値Ｍ≠１に設定され、対象画像がデジタルズーム表示されていなければ、表示倍率値Ｍ＝１に設定される。

［図２のＳ１２（トリミングサイズの算出）］
本処理ステップＳ１２では、トリミング前の対象画像の縦サイズ、横サイズを、それぞれａ、ｂと定義し、トリミング後の対象画像の縦サイズ、横サイズを、それぞれａ’、ｂ’と定義した場合に、トリミング後の対象画像のサイズが次式（１）により算出される。
式（１）
（ａ’，ｂ’）＝（ａ／Ｍ，ｂ／Ｍ）

［図２のＳ１３（トリミング開始位置の算出）］
本処理ステップＳ１３では、トリミング後の対象画像のトリミング開始位置（Ａ，Ｂ）が次式（２）により算出される。
式（２）
（Ａ，Ｂ）＝（（ａ−ａ’）／２，（ｂ−ｂ’）／２）

［図２のＳ１４（トリミングの設定値をＦＩＦＯレジスタ２３２に出力）］
本処理ステップＳ１４では、トリミングの設定値、すなわち、処理ステップＳ１２（トリミングサイズの算出）にて算出されたトリミングサイズ（ａ’，ｂ’）及び処理ステップＳ１３（トリミング開始位置の算出）にて算出されたトリミング開始位置（Ａ，Ｂ）がＦＩＦＯレジスタ２３２に出力されて書き込まれる。

［図２のＳ１５（表示倍率値Ｍの更新）］
本処理ステップＳ１５では、表示倍率値Ｍが更新される。具体的には、拡大表示が行われる場合は、表示倍率値Ｍに値０．０２がインクリメントされ、縮小表示が行われる場合は、表示倍率値Ｍに値０．０２がデクリメントされる。

［図２のＳ１６（終了判定）］
本処理ステップＳ１６では、表示倍率値Ｍが表示倍率値Ｎに達したか否かが判定される。表示倍率値Ｍが表示倍率値Ｎに達していないと判定される場合（Ｓ１６：ＮＯ）、図２のデジタルズーム設定値算出処理は、処理ステップＳ１２（トリミングサイズの算出）に戻る。図２のデジタルズーム設定値算出処理は、表示倍率値Ｍが表示倍率値Ｎに達したと判定されるまで（Ｓ１６：ＹＥＳ）、処理ステップＳ１２〜Ｓ１６のループを実行する。すなわち、基準となる表示倍率値Ｌから目標とする表示倍率値Ｎに至るまでの各表示倍率に対応するトリミングの設定値が０．０２の倍率値刻みで算出されて、ＦＩＦＯレジスタ２３２に順次書き込まれ、図２のデジタルズーム設定値算出処理が完了する。

［デジタルズーム処理］
ドライバ信号処理回路１１０は、モニタ３００の表示画面上で対象画像の表示を更新するための垂直同期信号を１フレーム周期で生成して出力する。この垂直同期信号は、モニタ３００だけでなくＦＩＦＯレジスタ２３２にも１フレーム周期で入力される。ＦＩＦＯレジスタ２３２は、垂直同期信号が入力される毎（垂直同期信号の立ち上がりが検知される毎）に、入力された時点で保持しているトリミングの設定値の中から現在の表示倍率値Ｍに対応するものをトリミング回路２３４に出力する。すなわち、ＦＩＦＯレジスタ２３２は、表示倍率値Ｌから表示倍率値Ｎに至るまでの各表示倍率に対応するトリミングの設定値のうち、表示倍率値Ｌに近い倍率値に対応するものから１フレーム周期でトリミング回路２３４に順次出力する。

トリミング回路２３４は、各フレームの対象画像（トリミング処理されるのは各フレームの画像信号自体であるが、ここでは、説明の便宜上「対象画像」と表現している。）を順次、ＦＩＦＯレジスタ２３２より入力される設定値を用いてトリミングして、スケーラ回路２３６に出力する。すなわち、トリミング回路２３４は、拡大表示の場合には１フレーム毎に徐々に範囲（トリミングサイズ及び位置）を狭めてトリミングした対象画像をスケーラ回路２３６に出力し、縮小表示の場合には１フレーム毎に徐々に範囲（トリミングサイズ及び位置）を拡げてトリミングした対象画像をスケーラ回路２３６に出力する。

スケーラ回路２３６は、ＦＩＦＯレジスタ２３２より１フレーム周期で順次入力される対象画像のサイズを規定のサイズ（例えばモニタ３００の表示画面サイズ）にスケーリングして、出力回路２３８に出力する。すなわち、スケーラ回路２３６は、拡大表示の場合にはトリミング回路２３４にてトリミングされた対象画像を規定のサイズに引き伸ばして出力回路２３８に出力し、縮小表示の場合にはトリミング回路２３４にてトリミングされた対象画像を規定のサイズに縮めて出力回路２３８に出力する。このような対象画像が出力回路２３８を介してモニタ３００に順次出力されることにより、モニタ３００の表示画面には、表示倍率値Ｌから表示倍率値Ｎに向けて拡縮率が連続的に（値０．０２の倍率値刻みで徐々に）変化されていく状態の対象画像が表示される。

このように、本実施形態では、システムコントローラ２０２は、表示倍率値Ｌから表示倍率値Ｎに至るまでの全てのトリミングの設定値を連続的に算出し、算出された全ての設定値をＦＩＦＯレジスタ２３２に書き込んでいる。以後、ＦＩＦＯレジスタ２３２に書き込まれた設定値が垂直同期信号と同期したタイミングで順次読み出され、読み出された設定値を用いてトリミング回路２３４及びスケーラ回路２３６によるデジタルズーム処理が行われる。

すなわち、本実施形態では、システムコントローラ２０２による命令発行のタイミングを制御する必要がなく、表示倍率値Ｌから表示倍率値Ｎに至るまでの各表示倍率の対象画像を、容易に、最小レート（１フレーム周期）と同期させた状態で（対象画像が数フレーム続けて同じ倍率で表示されたり、本来表示すべき途中段階の倍率が抜けたりすることなく）モニタ３００の表示画面に表示させることができる。

また、本実施形態では、デジタルズーム処理に必要な情報（トリミングの設定値）がフレーム周期とは無関係にまとめて算出されるため、命令発行を短い周期で複数回実行する必要がない。そのため、システムコントローラ２０２は、デジタルズーム処理で占有されることがなく、デジタルズーム処理の実行中であっても他の処理を実行することができる。

以上が本発明の例示的な実施形態の説明である。本発明の実施形態は、上記に説明したものに限定されず、本発明の技術的思想の範囲において様々な変形が可能である。例えば明細書中に例示的に明示される実施形態等又は自明な実施形態等を適宜組み合わせた内容も本発明の実施形態に含まれる。

上記の実施形態では、対象画像の表示倍率が線形的に（０．０２倍刻みで）変化する構成となっているが、本発明はこれに限らない。別の実施形態では、対象画像の表示倍率が非線形（例えば指数関数的又は対数関数的）に変化する構成が採用されてもよい。

１ 電子内視鏡システム
１００ 電子スコープ
１０２ ＬＣＢ
１０４ 配光レンズ
１０６ 対物レンズ
１０８ 固体撮像素子
１１０ ドライバ信号処理回路
１１２ メモリ
２００ プロセッサ
２０２ システムコントローラ
２０４ タイミングコントローラ
２０６ ランプ電源イグナイタ
２０８ ランプ
２１０ 集光レンズ
２１２ メモリ
２１４ 操作パネル
２２０ 前段信号処理回路
２３０ 後段信号処理回路
２３２ ＦＩＦＯレジスタ
２３４ トリミング回路
２３６ スケーラ回路
２３８ 出力回路

Claims (5)

1. 基準となる第一の表示倍率から目標とする第二の表示倍率に至るまでの表示倍率に関するデータを所定の倍率値刻みで算出する算出手段と、
   前記所定の倍率値刻みで算出された、前記第一の表示倍率から前記第二の表示倍率に至るまでの各表示倍率に関するデータを保持する保持手段と、
   前記保持手段に保持された表示倍率に関するデータのうち前記第一の表示倍率に近い倍率値に対応するものから所定の時間間隔で順次出力する出力手段と、
   前記表示倍率に関するデータが出力される毎に、該出力された表示倍率に関するデータに基づいて対象画像のトリミング及びスケーリングを行う変倍処理手段と、
   を備える、
   画像処理装置。
2. 前記所定の時間間隔は、
   前記対象画像の表示のリフレッシュレートに応じた時間間隔である、
   請求項１に記載の画像処理装置。
3. 前記出力手段は、
   前記対象画像の表示を更新するための垂直同期信号を検知すると、その時点で前記保持手段に保持されている表示倍率に関するデータの中から前記第一の表示倍率に最も近い倍率値に対応するものを出力する、
   請求項２に記載の画像処理装置。
4. 前記表示倍率に関するデータは、
   前記変倍処理手段に対して前記対象画像のトリミングのサイズ及び開始位置を指定するものである、
   請求項１から請求項３の何れか一項に記載の画像処理装置。
5. 前記保持手段は、
   ＦＩＦＯ（First In First Out）レジスタである、
   請求項１から請求項４の何れか一項に記載の画像処理装置。

Images