JP2008269154A

JP2008269154A - 画像処理装置及びその方法

Info

Publication number: JP2008269154A
Application number: JP2007109519A
Authority: JP
Inventors: Katsuhiko Nagasaki; 克彦長崎
Original assignee: Canon Inc
Current assignee: Canon Inc
Priority date: 2007-04-18
Filing date: 2007-04-18
Publication date: 2008-11-06

Abstract

【課題】複数の動画像出力要求に対しては一定時間内に出力画像を作成することが出来ない場合があった。又、縮小のみの処理では、フィルタ処理の関係で最適な画質とならない場合があった。
【解決手段】固定倍率で解像度変換を行う複数の第1の解像度変換手段と、任意倍率で拡大もしくは縮小の解像度変換を行う第2の解像度変換手段と、第2の変換手段において拡大処理を行うか縮小処理を行うかの判断をする手段を備え、該第2の変換手段は、該複数の第1の変換手段のうち隣接した変換手段間の倍率差をカバーする範囲で拡大及び縮小が可能とする構成とした。
【選択図】図１

Description

本発明は、入力画像に対して画像処理を行い出力する画像処理装置及びその方法に関するものである。

入力画像に対して1/Pnの変換手段により変倍した後、1〜1/Pの変動倍率の変換手段で変倍することにより、所望の解像度の画像を得る画像処理装置及び方法が提案されている（例えば、特許文献１参照）。
特開平６−１９７２６６号公報

しかしながら上記特許文献１に係る技術では、複数の動画像出力要求に対しては一定時間内に出力画像を作成することが出来ない場合があった。

又、縮小のみの処理では、フィルタ処理の関係で最適な画質とならない場合があった。

上記課題を解決するために、本発明では固定倍率で解像度変換を行う複数の第1の解像度変換手段と、任意倍率で拡大もしくは縮小の解像度変換を行う第2の解像度変換手段と、第2の変換手段において拡大処理を行うか縮小処理を行うかの判断をする手段を備え、該第2の変換手段は、該複数の第1の変換手段のうち隣接した変換手段間の倍率差をカバーする範囲で拡大及び縮小が可能とする構成とした。

動画像において複数の出力要求があった場合でも、処理すべき量に応じて最適な処理方法を選択することで、複数ユーザーへのサービスと画質を両立させることが出来る。

又、要求に対して最適な画質の出力画像を得ることが可能となる。

（第１の実施形態）
以下、図面を用いて本発明の一実施例について詳細に説明する。図1には本実施例におけるハード構成ブロック図を示す。１０１は画像データを入力する手段、１０２〜１０４は各々決められた固定倍率で解像度変換が可能な手段、ここで倍率は１０２が1/α、１０３が1/β、１０４が1/γとする。１０５は一つ或いは複数の解像度の画像出力を指示可能な出力指示手段、１０６は解像度変換手段１０８における変換方法を判断する手段、１０７は該判断手段１０６の判断結果に従い装置を制御する手段、１０８は1/Δ〜Δ（Δ＝Max（α、β、γ））の範囲の任意倍率で解像度変換が可能な手段、１０９は変換された一つ或いは複数の解像度の画像を出力する手段である。１１０は中間データなどを転送するバスである。

解像度変換手段に関しては、公知の技術が知られている為、ここでは詳述しない。

図1及び図2に示した本実施形態における動作フローチャートを使用して本実施形態の動作について説明する。

ステップS２０１にて出力指示手段により一つ或いは複数の解像度の画像出力指示がなされると、該指示は判断手段１０６に送られる。

判断手段１０６では該指示に基づいてバス１１０を転送されるデータ量を算出する（ステップS２０２）。次にステップS２０３にて該算出結果から解像度変換手段１０８での処理を拡大とするか縮小とするかの判断を行う。ステップS２０２及びS２０３における算出並びに判断動作の詳細は後述する。

ステップS２０４では判断結果に従って、1フレーム分の入力画像に対して解像度変換処理を行い、得られた出力画像を順次出力手段１０９に出力する。

ステップS２０５では出力指示に変更があったが否かを判断し、変更が無ければステップS２０４へ戻り次の1フレーム分の入力画像に対して解像度変換処理及び出力を行う。

変更があった場合は、ステップS２０６へすすみ、該変更が出力終了の指示であったか否かを判断する。出力終了であった場合は、処理並びに出力を終了する。そうでない場合は、ステップS２０２へ戻り、指示に基づいてデータ量を再算出する。

（データ量算出及び判断動作説明）
説明の為、入力画像として解像度１９２０×１０８０ピクセル（YCbCr 4:2:2フォーマット、1ピクセル当りY：8bit/C：8bit）の画像データが30フレーム/秒で入力されると想定する。このときデータ量は、１９２０×１０８０×８×２×３０＝９９５．３２８Mbit/sとなる。また、１０２〜１０４、１０８における変倍率は各々1/2、1/3、1/4及び1/4〜4とする。

出力指示手段１０５にて所望の出力画像解像度として、入力画像解像度の1/2（以下1/2サイズ）、1/6（以下1/6サイズ）、1/20（以下1/20サイズ）を指示したとする。指示があると、判断手段１０６は、予め決められている入力画像のサイズから指示に従い、固定倍率の解像度変換手段１０２〜１０４及び任意倍率の解像度変換手段１０８をどのように組み合わせれば所望の出力画像解像度が得られるか候補をリストアップする。本実施形態の例では、図５のようになる。その際、任意倍率の解像度変換手段１０８については拡大とした場合、縮小とした場合の両方についてリストアップする。Case番号１は1/2サイズの場合で、固定倍率1/2の解像度変換手段１０２の処理のみを行うことを示し、Case番号２では固定倍率1/2の解像度変換手段１０２と固定倍率1/3の解像度変換手段１０３の処理のみを行うことを示している。また、Case番号3/4は、ともに1/20サイズの場合である。Case番号3は固定倍率1/2の解像度変換手段１０２、固定倍率1/3の解像度変換手段１０３並びに解像度変換手段１０８にて3/10の縮小処理を行うことを示している。Case番号４は固定倍率1/2の解像度変換手段１０２、固定倍率1/3の解像度変換手段１０３、固定倍率1/4の解像度変換手段１０４並びに解像度変換手段１０８にて6/5の拡大処理を行うことを示している。

図３は各Case番号に対するデータの流れを示した図である。図６には各Case番号に対するバス１１０を転送される単位時間当りのデータ量を示す。図６から解像度変換手段１０８において縮小処理或いは拡大処理を選択した場合の総データ量は以下のようになる。
（１）縮小処理の場合（Case1.+Case.2+Case.3）
97.664＋165.888＋215.654 ＝ 879.206 Mbit/s
（２）拡大処理の場合（Case1.+Case.2+Case.４）
97.664＋165.888＋91.238 ＝ 754.79 Mbit/s
いま、バス１１０の転送可能なデータ帯域を1.6Gbit/sとする。このとき、画像データ転送に使用する帯域は制御データなど他のデータ転送及びWaitが入ることなどを考慮して、閾値を0．5倍の800Mbit/sとする。

上述した通り、Case番号１、２、３の組み合わせでは画像データのデータ帯域は879.206Mbit/s、Case番号１、２、４の組み合わせでは754.79Mbit/sとなるため、縮小処理時には800Mbit/sを超える。よって、この場合ではCase番号１、２、４の組み合わせが選択される。

以上のように構成すれば、複数の解像度の画像に対する出力要求が指示された場合に於いても、処理すべき量に応じて最適な処理方法を選択することで、複数ユーザーへのサービスと画質を両立させることが出来る。

本実施形態では固定倍率を1/2、1/3、1/4としたが、もちろんこれに限定されるものではない。任意倍率に関しても固定倍率が1/α、1/β、1/γとした場合、1/Δ〜Δ（Δ＝Max（α、β、γ））の範囲であるとしたが、実際には該範囲をカバーすると、拡大処理と縮小処理とで重複する範囲が生ずるので重複範囲を削減或いは削除することで構成をより簡素にすることも可能である。

また、本実施形態では複数の固定倍率の解像度変換手段をカスケード状に接続する構成としたが、これに限定されるものではない。例えばこれを並列に接続し選択的に適用する構成などが考えられる。

（第２の実施形態）
第１の実施形態では、任意倍率の解像度変換手段における拡大もしくは縮小の判断を、固定倍率の解像度変換手段と任意倍率の解像度変換手段間を転送されるデータ量に応じて行ったが、これを他のパラメータによることも可能である。本実施形態では、拡大もしくは縮小時の任意倍率の解像度変換手段における変倍率を比較することで判断を行う例について説明する。

一般に解像度変換処理を行う場合は変倍率に適応させたフィルタ処理を施すが、フィルタ特性として理想的なものは実現不可能であるので、現実にはフィルタ処理を施すことで画質は劣化を免れない。また、任意倍率を実現する解像度変換手段におけるフィルタは、予め決められた固定倍率の解像度変換手段であれば該固定倍率に対してフィルタ係数などを最適化出来るのに比べて、全ての倍率範囲に対して最適化を図ることは容易ではない。しかも倍率が大きく（拡大率が大きく）、或いは小さく（縮小率が大きく）なるに従って、画質を維持する困難性が高くなる。但し、拡大と縮小とでは拡大の方がより困難である。従って、任意倍率の解像度変換手段においては、以下の点に留意することが画質劣化を最小限にするために重要となる。

・倍率をなるべく小さくする
・同程度の倍率では拡大よりも縮小を選択する
本実施形態では上記に着目して判断を行うものである。

尚、説明は前述実施形態と異なる点についてのみ記載する。

図４に本実施形態における動作フローチャートを示す。

判断手段１０６では該指示に基づいて任意倍率の解像度変換手段１０８における変倍率を算出する（ステップS４０１）。次にステップS４０２にて該算出結果から解像度変換手段１０８での処理を拡大とするか縮小とするかの判断を行う。ステップS４０１及びS４０２における算出並びに判断動作の詳細は後述する。

ステップS２０４以降は前述実施形態と同様である。

（変倍率算出及び判断動作説明）
入力画像のフォーマット及び出力指示は前述実施形態と同様であると想定する。

このとき、任意倍率の解像度変換手段１０８における変倍率は図５から以下の通りである。
（３）縮小処理の場合
3/10 = 1/(10/3)
（４）拡大処理の場合
6/5
従って、両者の比率はRatio = (10/3)/(6/5) = 2.778となる。該Ratioが予め決められた閾値S以下であれば縮小処理を選択し、閾値Sより大きければ拡大処理を選択する。例えば閾値S＝2.0とすれば、上記の場合では拡大処理を選択する。

以上のように構成すれば任意倍率の解像度変換手段により処理を行った場合に、従来に比して高画質な出力画像を得ることが可能となる効果がある。

また、第1の実施形態におけるデータ量算出結果による処理と本実施形態における変倍率算出による処理を組み合わせた形態ももちろん考えられる。

本発明の第１実施形態におけるハード構成ブロック図。本発明の第１実施形態における動作のタイミングチャート。本発明の第１実施形態におけるデータフローを示した図。本発明の第２実施形態における動作のタイミングチャート。本発明の第１実施形態における解像度変換手段の組み合わせを示した表。本発明の第１実施形態におけるデータ転送量を示した表。

符号の説明

１０１入力手段
１０２第1の解像度変換手段
１０３第1の解像度変換手段
１０４第1の解像度変換手段
１０５出力指示手段
１０６判断手段
１０７制御手段
１０８第2の解像度変換手段
１０９出力手段
１１０バス

Claims

固定倍率で解像度変換を行う複数の第１の解像度変換手段と、任意倍率で拡大もしくは縮小の解像度変換を行う第２の解像度変換手段と、第２の変換手段において拡大処理を行うか縮小処理を行うかの判断をする手段を備え、該第２の変換手段は、該複数の第１の変換手段のうち隣接した変換手段間の倍率差をカバーする範囲で拡大及び縮小が可能である画像処理装置。
上記判断手段は、第１の変換手段と第２の変換手段間を転送するデータ量が閾値以下の場合は縮小、それより大きい場合は拡大とすることを特徴とする第１項記載の画像処理装置。
上記判断手段は、第２の変換手段を縮小とした場合の縮小率1/aと、拡大とした場合の拡大率bの比率a/bが閾値以下の場合は縮小、それより大きいの場合は拡大とすることを特徴とする第１項記載の画像処理装置。
固定倍率で解像度変換を行う複数の第１の解像度変換ステップと、任意倍率で拡大もしくは縮小の解像度変換を行う第２の解像度変換ステップと、第２の変換ステップにおいて拡大処理を行うか縮小処理を行うかの判断をするステップを備え、該第２の変換ステップは、該複数の第１の変換ステップのうち隣接した変換ステップ間の倍率差をカバーする範囲で拡大及び縮小が可能である画像処理方法。
上記判断ステップは、第１の変換ステップと第２の変換ステップ間に生成されるデータ量が閾値以下の場合は縮小、それより大きいの場合は拡大とすることを特徴とする第４項記載の画像処理方法。
上記判断ステップは、第２の変換ステップを縮小とした場合の縮小率1/aと、拡大とした場合の拡大率bの比率a/bが閾値以下の場合は縮小、それより大きいの場合は拡大とすることを特徴とする第４項記載の画像処理方法。