JP2017224947A - 画像生成装置、および画像生成装置の制御方法 - Google Patents

Abstract

【課題】簡易な構成により、拡大画像においてぼやけた印象を与える領域を低減する。
【解決手段】原画像を拡大した拡大画像を生成するにあたり、画素値が補間される補間画素のうちの注目画素（Ｎ）に接するエッジが存在する場合は、当該エッジに沿って並ぶ画素の画素値を用いて注目画素（Ｎ）の画素値を補間し、上記エッジが存在しない場合は、注目画素（Ｎ）の周辺画素のうち第１基準方向に沿って並ぶ画素の画素値のばらつき度合いと第１基準方向に直交する第２基準方向に沿って並ぶ画素の画素値のばらつき度合いとに応じて特定される方向に位置する画素の画素値を用いて注目画素（Ｎ）の画素値を補間する。
【選択図】図４

Description

本発明は、原画像に対して拡大処理を施すことにより拡大画像を生成する画像生成装置等に関する。

高精細な拡大画像を得るための画像処理に関し、従来から様々な技術開発がなされている。中でも、非特許文献１には、画素値を補間するための、ＦＣＢＩ（Fast Curvature Based Interpolation）と称される技術が開示されている。

「超解像処理アルゴリズム入門」、Ｉｎｔｅｒｆａｃｅ，ＣＱ出版社、２０１５年６月号、ｐ．３３−３８

しかしながら、ＦＣＢＩでは、フィルタ行列を乗じる対象となる周辺画素の画素値の並び方によっては、人が認識すると期待されるエッジの方向を適切に推定できないことがあり、その結果、拡大画像においてぼやけた印象を与える領域が生じることがある。そこで、本発明者らは、人が認識すると期待されるエッジの方向を精度よく推定すべく、ＦＣＢＩと異なる手法について鋭意検討した結果、本発明を完成するに至った。

本発明の目的は、簡易な構成により、拡大画像においてぼやけた印象を与える領域を低減する画像生成装置等を提供することにある。

上記の課題を解決するために、本発明の一態様に係る画像生成装置は、原画像の画素に対応し等間隔に配置された既知画素と、画素値が補間される補間画素とで構成される、上記原画像を拡大した拡大画像を生成する画像生成装置であって、上記補間画素のうちの注目画素の各々について、上記注目画素に接する、予め定められた第１基準方向または上記第１基準方向に直交する第２基準方向に沿うエッジが存在することが所定基準により判定された場合、上記第１基準方向および上記第２基準方向のうち当該エッジが沿う方を特定し、上記エッジが存在しないことが上記所定基準により判定された場合、上記注目画素から所定距離内に位置する画素のうち、上記第１基準方向と所定値以内の角度を成す方向に沿って並ぶ画素から成る画素群毎の、画素群内の画素の画素値のばらつき度合いを集約した値と、当該方向と直交する方向に沿って並ぶ画素から成る画素群毎の、画素群内の画素の画素値のばらつき度合いを集約した値とを比較し、当該比較の結果に応じて上記第１基準方向および上記第２基準方向のいずれかを特定する方向特定部と、上記補間画素のうちの注目画素の各々について、上記注目画素の、上記特定された方向に位置する画素の画素値を用いて、上記注目画素の画素値を補間する補間部とを備えている。

また、上記の課題を解決するために、本発明の一態様に係る画像生成装置の制御方法は、原画像の画素に対応し等間隔に配置された既知画素と、画素値が補間される補間画素とで構成される、上記原画像を拡大した拡大画像を生成する画像生成装置の制御方法であって、上記補間画素のうちの注目画素の各々について、上記注目画素に接する、予め定められた第１基準方向または上記第１基準方向に直交する第２基準方向に沿うエッジが存在することが所定基準により判定された場合、上記第１基準方向および上記第２基準方向のうち当該エッジが沿う方を特定し、上記エッジが存在しないことが上記所定基準により判定された場合、上記注目画素から所定距離内に位置する画素のうち、上記第１基準方向と所定値以内の角度を成す方向に沿って並ぶ画素から成る画素群毎の、画素群内の画素の画素値のばらつき度合いを集約した値と、当該方向と直交する方向に沿って並ぶ画素から成る画素群毎の、画素群内の画素の画素値のばらつき度合いを集約した値とを比較し、当該比較の結果に応じて上記第１基準方向および上記第２基準方向のいずれかを特定する方向特定ステップと、上記補間画素のうちの注目画素の各々について、上記注目画素の、上記特定された方向に位置する画素の画素値を用いて、上記注目画素の画素値を補間する補間ステップとを含み、上記既知画素の上記第１基準方向に位置する画素を上記注目画素として上記方向特定ステップおよび上記補間ステップを順に実行する処理を、上記既知画素の上記第１基準方向に位置する画素の各々について実行し、続いて、上記既知画素の上記第２基準方向に位置する画素を上記注目画素として上記方向特定ステップおよび上記補間ステップを順に実行する処理を、上記既知画素の上記第２基準方向に位置する画素の各々について実行する。

上記の構成によれば、特に、上記エッジが存在しない場合において、第１基準方向と所定値以内の角度を成す方向に沿って並ぶ画素から成る画素群毎の上記ばらつき度合いを集約した値と、第２基準方向と所定値以内の角度を成す方向に沿って並ぶ画素から成る画素群の画素値の上記ばらつき度合いを集約した値とを比較した結果に応じて、注目画素の画素値を補間するための画素が定められる。

つまり、注目画素の周辺において直交する方向に並ぶ画素についての上記ばらつき度合いを比較することから、ＦＣＢＩのフィルタ行列を用いる推定方法と比べて、人が認識すると期待されるエッジを精度よく推定できる可能性が高まり、そのため、注目画素の画素値を補間するための画素をより適切に選定することができる。したがって、拡大画像においてぼやけた印象を与える領域を低減することができるという効果を奏する。

なお、本発明の一態様に係る画像生成装置は、コンピュータによって実現してもよく、この場合には、コンピュータを上記画像生成装置が備える各手段として動作させることにより上記画像生成装置をコンピュータにて実現させる画像生成装置の制御プログラム、およびそれを記録したコンピュータ読み取り可能な記録媒体も、本発明の範疇に入る。また、本発明の一態様に係る画像生成装置は集積回路として実現してもよく、この場合には、上記集積回路を備えるチップなども本発明の範疇に入る。

本発明によれば、簡易な構成により、拡大画像においてぼやけた印象を与える領域を低減することができる。

本発明の一実施形態に係る画像生成装置の概略構成を示すブロック図である。 （ａ）は、原画像の一例を示す模式図である。（ｂ）は、図２の（ａ）に示した原画像を２倍に拡大した拡大画像を示す模式図である。 図１に示した画像生成装置にて拡大画像を生成する処理の流れの一例を示すフローチャートである。 （ａ）（ｂ）はいずれも、注目画素の周辺領域において、図１に示した画像生成装置が処理対象とする被参照画素から成る画素群の一例を示す模式図である。 （ａ）（ｂ）はいずれも、図４の（ａ）に示した周辺領域において、図１に示した画像生成装置が処理対象とする被参照画素から成る画素群の他の一例を示す模式図である。 （ａ）（ｂ）はいずれも、図４の（ｂ）に示した周辺領域において、図１に示した画像生成装置が処理対象とする被参照画素から成る画素群の他の一例を示す模式図である。

本発明の一実施形態について、図１〜図６に基づいて説明すると以下のとおりである。

本実施形態において、画像を構成する画素の位置（座標）は、画像の左上端の画素を原点とする二次元座標（つまりＸ座標およびＹ座標）で表すものとして説明する。原点から水平右方向をＸ軸方向、原点から垂直下方向をＹ軸方向とする。そして、Ｘ座標がｉでありＹ座標がｊである画素を「画素（ｉ、ｊ）」と表記する（ｉは０以上ｈ未満の整数、ｈはＸ軸方向の総画素数、ｊは０以上ｖ未満の整数、ｖはＹ軸方向の総画素数）。また、Ｙ＝ＸおよびＹ＝−Ｘで規定される直線の延伸方向の各々を「斜め方向」と表記する。なお、「斜め」のことを「対角」と称する場合もある。

本実施形態において、拡大前の原画像を「原画像Ｓ」と表記し、原画像Ｓを拡大した画像を「拡大画像Ｅ」と表記する。本実施形態では、説明の便宜上、拡大画像Ｅの拡大率は２倍であるものとして説明を行う。すなわち、原画像Ｓの水平方向（横方向）の画素数（幅）の２倍が拡大画像Ｅの水平方向の画素数（幅）であり、原画像Ｓの垂直方向（縦方向）の画素数（高さ）の２倍が拡大画像Ｅの垂直方向の画素数（高さ）である。ただし、拡大率は２倍に限られるものではなく、２のべき乗倍であればよい。

拡大画像Ｅを構成する画素を分別すると、（１）原画像Ｓの画素に対応する画素（以下では「既知画素Ｋ」と表記する）と、（２）周囲の画素の画素値を用いて画素値が補間される画素（以下では「補間画素Ｐ」と表記する）とに分けられる。既知画素Ｋの画素値は、対応する原画像Ｓの画素の画素値そのものである。既知画素Ｋは、拡大画像Ｅにおける水平方向および垂直方向の各々において、等間隔に配置されることを前提とする。

拡大画像Ｅの画素の配置について図２を参照しながら説明する。図２の（ａ）は、原画像Ｓの一例を示す模式図である。図２の（ｂ）は、図２の（ａ）に示した原画像Ｓを拡大した拡大画像Ｅを示す模式図である。図２の（ｂ）において網掛け部分が既知画素Ｋである。図２の（ｂ）に示す例では、既知画素Ｋは、拡大画像ＥにおけるＸ座標が偶数かつＹ座標が偶数である位置に配置されている。つまり、既知画素Ｋは、水平方向および垂直方向の各々において等間隔に配置されている。一方、図２の（ｂ）において網掛けしていない部分は補間画素Ｐである。補間画素Ｐの各々について、補間画素Ｐの周辺の画素値を用いて補間画素Ｐの画素値を補間することにより、拡大画像Ｅが完成する。

次に、図１を参照しながら、本実施形態に係る画像生成装置１の構成例について説明する。図１は、画像生成装置１の構成例を示すブロック図である。画像生成装置１は、原画像Ｓから拡大画像Ｅを生成する装置である。画像生成装置１は、図１に示すとおり、画素配置部１０、エッジ判定部２０（方向特定部の一部）、ばらつき算出部３０（方向特定部の一部）、および、補間部４０を含んでいる。これら各部の動作について、図３に示すフローチャートも参照しつつ説明する。図３は、画像生成装置１にて拡大画像Ｅを生成する処理の流れの一例を示すフローチャートである。

画像生成装置１は、まず、画素配置部１０にて、原画像Ｓの画素に対応する既知画素Ｋを、図２に示したように、水平方向および垂直方向の各々において等間隔に配置する（図３のステップＳ１１を参照）。

次に、画像生成装置１は、エッジ判定部２０、ばらつき算出部３０、および、補間部４０にて順次に処理を行うことにより、補間画素Ｐの各々について画素値を補間する。このとき、画像生成装置１は、まず、既知画素Ｋの斜め方向に位置する補間画素Ｐの各々を対象とした処理（以下では「対角成分処理」と表記する）を実行し（図３のステップＳ１２〜１６を参照）、続いて、既知画素Ｋの水平方向および垂直方向に位置する補間画素Ｐの各々を対象とした処理（以下では「水平垂直成分処理」と表記する）を実行する（図３のステップＳ１７〜２１を参照）。

補間画素Ｐのうち処理対象として注目する画素を「注目画素Ｎ」と表記する。注目画素Ｎを対象として対角成分処理および水平垂直成分処理を行う際に参照する、注目画素Ｎから所定距離内の画素（以下では「被参照画素」と表記する）の一例について、図４を参照しながら説明する。図４の（ａ）（ｂ）はいずれも、注目画素Ｎの周辺領域において、画像生成装置１が処理対象とする被参照画素から成る画素群の一例を示す模式図である。なお、図４に示す例では、注目画素Ｎを中心とする円領域内を、所定距離内とする。所定距離は限定されるものではないが、２倍の拡大率では注目画素Ｎからの距離が３画素分程度の距離であることが好ましい。

まず、図４の（ａ）に示す注目画素Ｎを対象として対角成分処理を行う際の被参照画素は、図４の（ａ）に示す画素Ｌ１〜Ｌ１２である。注目画素Ｎの位置を（ｉ、ｊ）とすれば、画素Ｌ１〜Ｌ１２は、それぞれ、画素（ｉ−１、ｊ−１）、画素（ｉ＋１、ｊ−１）、画素（ｉ−１、ｊ＋１）、画素（ｉ＋１、ｊ＋１）、画素（ｉ−１、ｊ−３）、画素（ｉ＋１、ｊ−３）、画素（ｉ−１、ｊ＋３）、画素（ｉ＋１、ｊ＋３）、画素（ｉ−３、ｊ−１）、画素（ｉ−３、ｊ＋１）、画素（ｉ＋３、ｊ−１）、画素（ｉ＋３、ｊ＋１）である。なお、対角成分処理において注目画素Ｎは既知画素Ｋの斜め方向に位置する画素であるから、画素Ｌ１〜Ｌ１２はいずれも既知画素Ｋである。

また、図４の（ｂ）に示す注目画素Ｎを対象として水平垂直成分処理を行う際の被参照画素は、図４の（ｂ）に示す画素Ｌ２１〜Ｌ３２である。注目画素Ｎの位置を（ｉ、ｊ）とすれば、画素Ｌ２１〜Ｌ３２は、それぞれ、画素（ｉ−１、ｊ）、画素（ｉ、ｊ−１）、画素（ｉ、ｊ＋１）、画素（ｉ＋１、ｊ）、画素（ｉ−１、ｊ−２）、画素（ｉ＋１、ｊ−２）、画素（ｉ−１、ｊ＋２）、画素（ｉ＋１、ｊ＋２）、画素（ｉ−２、ｊ−１）、画素（ｉ−２、ｊ＋１）、画素（ｉ＋２、ｊ−１）、画素（ｉ＋２、ｊ＋１）である。なお、水平垂直成分処理において注目画素Ｎは既知画素Ｋの垂直方向または水平方向に位置する画素であるから、注目画素Ｎが既知画素Ｋの垂直方向に位置する場合、画素Ｌ２１、画素Ｌ２４、画素Ｌ２５、画素Ｌ２６、画素Ｌ２７、画素Ｌ２８は補間画素Ｐであり、画素Ｌ２２、画素Ｌ２３、画素Ｌ２９、画素Ｌ３０、画素Ｌ３１、画素Ｌ３２は既知画素Ｋである。また、注目画素Ｎが既知画素Ｋの水平方向に位置する場合、画素Ｌ２１、画素Ｌ２４、画素Ｌ２５、画素Ｌ２６、画素Ｌ２７、画素Ｌ２８は既知画素Ｋであり、画素Ｌ２２、画素Ｌ２３、画素Ｌ２９、画素Ｌ３０、画素Ｌ３１、画素Ｌ３２は補間画素Ｐである。

次に、図４の（ａ）を参照しながら対角成分処理について具体的に説明する。まず、画像生成装置１は、エッジ判定部２０にて、注目画素Ｎに接する斜め方向（その一方を第１基準方向とし、他方を第２基準方向とする）のエッジが存在するか否かを判定する（図３のステップＳ１２参照）。この判定のために、エッジ判定部２０は注目画素Ｎの斜め方向に隣接する４つの画素Ｌ１〜画素Ｌ４の画素値を参照し、下記式１を演算する。式１における「Ｌ１」〜「Ｌ４」は、それぞれ、画素Ｌ１〜画素Ｌ４の画素値を示すものとする。

そして、エッジ判定部２０は、式１により算出したＶ１と、所定閾値ｔｍとを比較する。所定閾値ｔｍは、０以上、かつ、２^ｄ以下の整数である（ｄはピクセルエレメントのビット深度）。エッジ判定部２０は、Ｖ１と所定閾値ｔｍとの大小関係（所定基準）によりエッジの有無を判定する。具体的には、Ｖ１が所定閾値ｔｍ以上である場合、エッジ判定部２０は、注目画素Ｎに接する斜め方向のエッジが存在すると判定する（図３のステップＳ１２にてＹＥＳ）。このとき、Ｖ１１＞Ｖ１２であれば、当該エッジの方向は、画素Ｌ２から画素Ｌ３に向かう斜め方向であると特定し、Ｖ１１≦Ｖ１２であれば、当該エッジの方向は、画素Ｌ１から画素Ｌ４に向かう斜め方向であると特定する。

一方、Ｖ１が所定閾値ｔｍ未満である場合、エッジ判定部２０は、注目画素Ｎに接するエッジは存在しないと判定する（図３のステップＳ１２にてＮＯ）。この場合、注目画素Ｎは、１画素幅のエッジ上に位置するか、または、テクスチャ上に位置するものと推定できる。

そして、エッジ判定部２０が注目画素Ｎに接するエッジは存在しないと判定した場合において、画像生成装置１は、引き続き、注目画素Ｎの周辺の画素の画素値から、人が認識すると期待されるエッジを推定する。そのために、画像生成装置１は、ばらつき算出部３０にて、注目画素Ｎの周辺の画素の画素値のばらつき度合い（分散の度合い）を、２つの斜め方向に応じて分類した集合毎に算出する（図３のステップＳ１４参照）。このばらつき度合いを算出する演算式の一例を下記式２に示す。式２における「Ｌ１」〜「Ｌ１２」は、それぞれ、図４の（ａ）に示す画素Ｌ１〜画素Ｌ１２の画素値を示すものとする。なお、式２は一例にすぎず、他の式によってばらつき度合いを算出してもよい。

式２の演算内容について説明すると次のとおりである。まず、注目画素Ｎから所定距離内に位置する被参照画素のうち斜め方向に沿って並ぶ被参照画素から成る画素群を特定する。具体的には次に示す４つの画素群を特定する（図４の（ａ）に示す破線枠の各々を参照）。（１）一方の斜め方向に延伸する仮想直線Ａ１に沿って並ぶ画素Ｌ１０、Ｌ１、Ｌ６から成る画素群、（２）上記一方の斜め方向に延伸する仮想直線Ｂ１に沿って並ぶ画素Ｌ７、Ｌ４、Ｌ１１から成る画素群、（３）他方の斜め方向に延伸する仮想直線Ｃ１に沿って並ぶ画素Ｌ５、Ｌ２、Ｌ１２から成る画素群、（４）上記他方の斜め方向に延伸する仮想直線Ｄ１に沿って並ぶ画素Ｌ９、Ｌ３、Ｌ８から成る画素群、である。なお、１つの画素群に含める被参照画素の個数は３個程度が好ましいが、注目画素Ｎからの所定距離を変更することによって個数を増減させてもよい。

そして、特定した画素群内の画素の画素値のばらつき度合いを画素群毎に算出する（式２のDispersionA1、DispersionB1、DispersionC1、DispersionD1）。そして、画素が並ぶ方向が同じである画素群を集めた集合単位に、画素群毎に算出したばらつき度合いを集約する（式２のDispersionABtotal_1、DispersionCDtotal_1）。この場合、集合は２つであり、１つ目の集合は、一方の斜め方向に画素が並ぶ画素群から成る集合であり、２つ目の集合は、他方の斜め方向に画素が並ぶ画素群から成る集合である。

そして、ばらつき算出部３０は、集合単位に集約したばらつき度合いを比較した結果に応じて、人が認識すると期待されるエッジを推定するともに、当該エッジの方向を特定する。具体的には、２つの斜め方向のうち、集約したばらつき度合いが小さい方の集合に属する画素群の画素が並ぶ方向を特定し、当該特定した方向に沿ってエッジが存在するものと推定する。式２の例で説明すれば、DispersionABtotal_1がDispersionCDtotal_1より大きいとき、ばらつき算出部３０は、注目画素Ｎの付近において、画素Ｌ１と画素Ｌ４とを通る斜め方向に沿うエッジが存在するものと推定する。一方、DispersionABtotal_1がDispersionCDtotal_1以下であるとき、ばらつき算出部３０は、注目画素Ｎの付近において、画素Ｌ２と画素Ｌ３とを通る斜め方向に沿うエッジが存在するものと推定する。

次に、画像生成装置１は、補間部４０にて、エッジ判定部２０の処理結果、および、ばらつき算出部３０の処理結果に応じて、画素Ｌ１および画素Ｌ４の画素値を用いるか、または、画素Ｌ２および画素Ｌ３の画素値を用いて、注目画素Ｎの画素値を補間する。

具体的には、まず、エッジ判定部２０が注目画素Ｎに接するエッジが存在すると判定した場合、補間部４０は、注目画素Ｎの、当該エッジが沿う方の斜め方向に位置する画素の画素値を用いて注目画素Ｎの画素値を補間する（図３のステップＳ１３参照）。つまり、Ｖ１１＞Ｖ１２であれば画素Ｌ２および画素Ｌ３の画素値を用いて、また、Ｖ１１≦Ｖ１２であれば画素Ｌ１および画素Ｌ４の画素値を用いて、注目画素Ｎの画素値を補間する。

一方、エッジ判定部２０が注目画素Ｎに接するエッジが存在しないと判定した場合、補間部４０は、注目画素Ｎの、ばらつき算出部３０が特定した方向に位置する画素の画素値を用いて、注目画素Ｎの画素値を補間する（図３のステップＳ１５参照）。具体的には、DispersionABtotal_1がDispersionCDtotal_1より大きければ画素Ｌ１および画素Ｌ４の画素値を用いて、また、DispersionABtotal_1がDispersionCDtotal_1以下であれば画素Ｌ２および画素Ｌ３の画素値を用いて、注目画素Ｎの画素値を補間する。

なお、画素Ｌ１および画素Ｌ４の画素値を用いて注目画素Ｎの画素値を補間する場合、それらの平均値である「（Ｌ１＋Ｌ４＋１）／２」を注目画素Ｎの画素値とすることが好ましい。同様に、画素Ｌ２および画素Ｌ３の画素値を用いて注目画素Ｎの画素値を補間する場合、それらの平均値である「（Ｌ２＋Ｌ３＋１）／２」を注目画素Ｎの画素値とすることが好ましい。ただし、このように平均値を採用することは一例にすぎず、他の補間フィルタ等を用いて補間してもよい。また、本実施形態では、注目画素Ｎの画素値を補間するための画素として注目画素Ｎの両隣の２つの画素を用いたが、注目画素Ｎの両隣に限られるものではないし、個数が２個に限られるものでもない。補間処理に関する事項は、水平垂直成分処理にて行う補間処理にも当てはまる。

以上のとおり既知画素Ｋの斜め方向に位置する補間画素Ｐの各々について順次に対角成分処理を実行することにより（図３のステップＳ１６参照）、既知画素Ｋの斜め方向に位置する補間画素Ｐの画素値が全て補間される。

対角成分処理を終了すると、画像生成装置１は、引き続き、水平垂直成分処理を実行する。図４の（ｂ）を参照しながら水平垂直成分処理について具体的に説明する。水平垂直成分処理においても、画像生成装置１は、まず、エッジ判定部２０にて、注目画素Ｎに接する水平方向または垂直方向（一方を第１基準方向とし、他方を第２基準方向とする）のエッジが存在するか否かを判定する（図３のステップＳ１７参照）。そのために、エッジ判定部２０は、エッジ判定部２０は注目画素Ｎの水平方向および垂直方向に隣接する４つの画素Ｌ２１〜画素Ｌ２４の画素値を参照し、下記式３を演算する。式３における「Ｌ２１」〜「Ｌ２４」は、それぞれ、画素Ｌ２１〜画素Ｌ２４の画素値を示すものとする。

そして、エッジ判定部２０は、式３により算出したＶ２と所定閾値ｔｍとの大小関係（所定基準）によりエッジの有無を判定する。具体的には、Ｖ２が所定閾値ｔｍ以上である場合、エッジ判定部２０は、注目画素Ｎに接する水平方向または垂直方向のエッジが存在すると判定する（図３のステップＳ１７にてＹＥＳ）。このとき、Ｖ２１＞Ｖ２２であれば、当該エッジの方向は、画素Ｌ２２と画素Ｌ２３とを通る垂直方向であると特定し、Ｖ２１≦Ｖ２２であれば、当該エッジの方向は、画素Ｌ２１と画素Ｌ２４とを通る水平方向であると特定する。一方、Ｖ２が所定閾値ｔｍ未満である場合、エッジ判定部２０は、注目画素Ｎに接するエッジは存在しないと判定する（図３のステップＳ１７にてＮＯ）。

そして、エッジ判定部２０が注目画素Ｎに接するエッジは存在しないと判定した場合において、画像生成装置１は、引き続き、注目画素Ｎの周辺の画素の画素値から、人が認識すると期待されるエッジを推定する。そのために、画像生成装置１は、ばらつき算出部３０にて、注目画素Ｎの周辺の画素の画素値のばらつき度合い（分散度合い）を、水平方向および垂直方向に応じて分類した集合毎に算出する（図３のステップＳ１９参照）。このばらつき度合いを算出する演算式の一例を下記式４に示す。式４における「Ｌ２１」〜「Ｌ３２」はそれぞれ画素Ｌ２１〜画素Ｌ３２の画素値を示すものとする。なお、式４は一例にすぎず、他の式によってばらつき度合いを算出してもよい。

式４の演算内容について説明すると次のとおりである。まず、注目画素Ｎから所定距離内に位置する被参照画素のうち垂直方向および水平方向に沿って並ぶ被参照画素から成る画素群を特定する。具体的には次に示す４つの画素群を特定する（図４の（ｂ）に示す破線枠の各々を参照）。（１）垂直方向に延伸する仮想直線Ａ２に沿って並ぶ画素Ｌ２６、Ｌ２４、Ｌ２８から成る画素群、（２）垂直方向に延伸する仮想直線Ｂ２に沿って並ぶ画素Ｌ２５、Ｌ２１、Ｌ２７から成る画素群、（３）水平方向に延伸する仮想直線Ｃ２に沿って並ぶ画素Ｌ３０、Ｌ２３、Ｌ３２から成る画素群、（４）水平方向に延伸する仮想直線Ｄ２に沿って並ぶ画素Ｌ２９、Ｌ２２、Ｌ３１から成る画素群、である。

そして、特定した画素群内の画素の画素値のばらつき度合いを画素群毎に算出する（式４のDispersionA2、DispersionB2、DispersionC2、DispersionD2）。そして、画素が並ぶ方向が同じである画素群を集めた集合単位に、画素群毎に算出したばらつき度合いを集約する（式４のDispersionABtotal_2、DispersionCDtotal_2）。この場合、集合は２つであり、１つ目の集合は、垂直方向に画素が並ぶ画素群から成る集合であり、２つ目の集合は、水平方向に画素が並ぶ画素群から成る集合である。

そして、ばらつき算出部３０は、集合単位に集約したばらつき度合いを比較した結果に応じて、人が認識すると期待されるエッジを推定するともに、当該エッジの方向を特定する。具体的には、水平方向または垂直方向のうち、集約したばらつき度合いが小さい方の集合に属する画素群の画素が並ぶ方向を特定し、当該特定した方向に沿ってエッジが存在するものと推定する。式４の例で説明すれば、DispersionABtotal_2がDispersionCDtotal_2より大きいとき、ばらつき算出部３０は、注目画素Ｎの付近において、画素Ｌ２１と画素Ｌ２４とを通る水平方向に沿うエッジが存在するものと推定する。一方、DispersionABtotal_2がDispersionCDtotal_2以下であるとき、ばらつき算出部３０は、注目画素Ｎの付近において、画素Ｌ２２と画素Ｌ２３とを通る垂直方向に沿うエッジが存在するものと推定する。

次に、画像生成装置１は、補間部４０にて、エッジ判定部２０の処理結果、および、ばらつき算出部３０の処理結果に応じて、画素Ｌ２１および画素Ｌ２４の画素値を用いるか、または、画素Ｌ２２および画素Ｌ２３の画素値を用いて、注目画素Ｎの画素値を補間する。

具体的には、まず、エッジ判定部２０が注目画素Ｎに接するエッジが存在すると判定した場合、補間部４０は、注目画素Ｎの、水平方向および垂直方向のうち当該エッジが沿う方向に位置する画素の画素値を用いて、注目画素Ｎの画素値を補間する（図３のステップＳ１８参照）。つまり、Ｖ２１＞Ｖ２２であれば画素Ｌ２２および画素Ｌ２３の画素値を用いて、また、Ｖ２１≦Ｖ２２であれば画素Ｌ２１および画素Ｌ２４の画素値を用いて、注目画素Ｎの画素値を補間する。

一方、エッジ判定部２０が注目画素Ｎに接するエッジが存在しないと判定した場合、補間部４０は、注目画素Ｎの、ばらつき算出部３０が特定した方向に位置する画素の画素値を用いて、注目画素Ｎの画素値を補間する（図３のステップＳ２０参照）。具体的には、DispersionABtotal_2がDispersionCDtotal_2より大きければ画素Ｌ２１および画素Ｌ２４の画素値を用いて、また、DispersionABtotal_2がDispersionCDtotal_2以下であれば画素Ｌ２２および画素Ｌ２３の画素値を用いて、注目画素Ｎの画素値を補間する。

以上のとおり、既知画素Ｋの水平方向および垂直方向に位置する補間画素Ｐの各々について順次に水平垂直成分処理を実行することにより（図３のステップＳ２１参照）、既知画素Ｋの水平方向および垂直方向に位置する補間画素Ｐの画素値が全て補間される。水平垂直成分処理が終了すると、拡大画像Ｅが完成する。

［変形例１］
１つの集合に含める画素群の個数は限定されるものではなく、適宜増減してもよい。例えば、注目画素Ｎを通る仮想直線に沿って並ぶ被参照画素から成る画素群を追加してもよい。この場合、注目画素Ｎを被参照画素に加えてもよい。

［変形例２］
ばらつき算出部３０によるエッジ推定の精度を高めるため、注目画素Ｎの付近において緩やかにカーブを描くようなエッジの存在を考慮に入れることが好ましい。そこで、延伸方向が近似する仮想直線に沿って並ぶ被参照画素から成る画素群をまとめて１つの集合とする変形例について、図４〜６を参照しながら説明する。図５の（ａ）（ｂ）は、図４の（ａ）に示した領域において、画像生成装置１が処理対象とする被参照画素から成る画素群の他の一例を示す模式図である。図６の（ａ）（ｂ）は、図４の（ｂ）に示した周辺領域において、画像生成装置１が処理対象とする被参照画素から成る画素群の他の一例を示す模式図である。

対角成分処理においてエッジ判定部２０が注目画素Ｎに接するエッジは存在しないと判定した場合、本変形例のばらつき算出部３０は、式２に代えて下記式５を用いて、注目画素Ｎの周辺の画素の画素値のばらつき度合いを算出する（図３のステップＳ１４参照）。式５における「Ｌ１」〜「Ｌ１２」は、それぞれ、画素Ｌ１〜画素Ｌ１２の画素値を示すものとする。なお、式５は一例にすぎず、他の式によってばらつき度合いを算出してもよい。

式５の演算内容について説明すると次のとおりである。まず、注目画素Ｎから所定距離内に位置する被参照画素のうち斜め方向と所定値以下の角度を成す方向に沿って並ぶ被参照画素から成る画素群を特定する。具体的には次に示す１２個の画素群を特定する（図４の（ａ）および図５の（ａ）（ｂ）に示す破線枠の各々を参照）。（１）仮想直線Ａ１に沿って並ぶ画素Ｌ１０、Ｌ１、Ｌ６から成る画素群、（２）仮想直線Ｂ１に沿って並ぶ画素Ｌ７、Ｌ４、Ｌ１１から成る画素群、（３）仮想直線Ｃ１に沿って並ぶ画素Ｌ５、Ｌ２、Ｌ１２から成る画素群、（４）仮想直線Ｄ１に沿って並ぶ画素Ｌ９、Ｌ３、Ｌ８から成る画素群、（５）仮想直線ＡＡ１に沿って並ぶ（より正確には、仮想直線ＡＡ１と重なる）画素Ｌ９、Ｌ１、Ｌ６から成る画素群、（６）仮想直線ＢＢ１に沿って並ぶ（より正確には、仮想直線ＢＢ１と重なる）画素Ｌ７、Ｌ４、Ｌ１２から成る画素群、（７）仮想直線ＣＣ１に沿って並ぶ（より正確には、仮想直線ＣＣ１と重なる）画素Ｌ６、Ｌ２、Ｌ１２から成る画素群、（８）仮想直線ＤＤ１に沿って並ぶ（より正確には、仮想直線ＤＤ１と重なる）画素Ｌ９、Ｌ３、Ｌ７から成る画素群、（９）仮想直線ＡＡＡ１に沿って並ぶ（より正確には、仮想直線ＡＡＡ１と重なる）画素Ｌ８、Ｌ４、Ｌ１１から成る画素群、（１０）仮想直線ＢＢＢ１に沿って並ぶ（より正確には、仮想直線ＢＢＢ１と重なる）画素Ｌ１０、Ｌ１、Ｌ５から成る画素群、（１１）仮想直線ＣＣＣ１に沿って並ぶ（より正確には、仮想直線ＣＣＣ１と重なる）画素Ｌ１０、Ｌ３、Ｌ８から成る画素群、（１２）仮想直線ＤＤＤ１に沿って並ぶ（より正確には、仮想直線ＤＤＤ１と重なる）画素Ｌ５、Ｌ２、Ｌ１１から成る画素群、である。

なお、仮想直線ＡＡ１および仮想直線ＢＢ１は一方の斜め方向と所定角度を成す方向に延伸している。仮想直線ＣＣ１は仮想直線ＡＡ１と直交する方向に延伸している。仮想直線ＤＤ１は仮想直線ＣＣ１と同方向に延伸している。仮想直線ＡＡＡ１および仮想直線ＢＢＢ１は一方の斜め方向とさらなる他の所定角度を成す方向に延伸している。仮想直線ＣＣＣ１は仮想直線ＡＡＡ１と直交する方向に延伸している。仮想直線ＤＤＤ１は仮想直線ＣＣＣ１と同方向に延伸している。

そして、特定した画素群内の画素の画素値のばらつき度合いを画素群毎に算出する（式５のDispersionA1、DispersionB1、DispersionC1、DispersionD1、DispersionAA1、DispersionBB1、DispersionCC1、DispersionDD1、DispersionAAA1、DispersionBBB1、DispersionCCC1、DispersionDDD1）。そして、画素が並ぶ方向が近似する画素群を集めた集合単位に、画素群毎に算出したばらつき度合いを集約する（式５のDispersionABtotal_11、DispersionCDtotal_11）。この場合、集合は２つであり、１つ目の集合は、一方の斜め方向と所定値以下の角度を成す方向（つまり、仮想直線Ａ１、Ｂ１、ＡＡ１、ＢＢ１、ＡＡＡ１、およびＢＢＢ１の延伸方向）に画素が並ぶ画素群から成る集合であり、２つ目の集合は、他方の斜め方向と所定値以下の角度を成す方向（つまり、仮想直線Ｃ１、Ｄ１、ＣＣ１、ＤＤ１、ＣＣＣ１、およびＤＤＤ１の延伸方向）に画素が並ぶ画素群から成る集合である。

そして、ばらつき算出部３０は、２つの斜め方向のうち、集約したばらつき度合いが小さい方の集合に属する画素群の画素が並ぶ方向に近い方を特定し、当該特定した方向に沿って、エッジが存在するものと推定する。式５の例で説明すれば、DispersionABtotal_11がDispersionCDtotal_11より大きいとき、ばらつき算出部３０は、注目画素Ｎの付近において、画素Ｌ１と画素Ｌ４とを通る斜め方向に沿うエッジが存在するものと推定する。一方、DispersionABtotal_11がDispersionCDtotal_11以下であるとき、ばらつき算出部３０は、注目画素Ｎの付近において、画素Ｌ２と画素Ｌ３とを通る斜め方向に沿うエッジが存在するものと推定する。

そして、エッジ判定部２０が注目画素Ｎに接するエッジが存在すると判定した場合、補間部４０は、注目画素Ｎの、当該エッジが沿う方の斜め方向に位置する画素の画素値を用いて注目画素Ｎの画素値を補間する。一方、エッジ判定部２０が注目画素Ｎに接するエッジが存在しないと判定した場合、補間部４０は、注目画素Ｎの、ばらつき算出部３０が特定した方向に位置する画素の画素値を用いて、注目画素Ｎの画素値を補間する（図３のステップＳ１５参照）。具体的には、DispersionABtotal_11がDispersionCDtotal_11より大きければ画素Ｌ１および画素Ｌ４の画素値を用いて、また、DispersionABtotal_11がDispersionCDtotal_11以下であれば画素Ｌ２および画素Ｌ３の画素値を用いて、注目画素Ｎの画素値を補間する。

また、水平垂直成分処理においてエッジ判定部２０が注目画素Ｎに接するエッジは存在しないと判定した場合、本変形例のばらつき算出部３０は、式４に代えて下記式６を用いて、注目画素Ｎの周辺の画素の画素値のばらつき度合いを算出する（図３のステップＳ１９参照）。式６における「Ｌ２１」〜「Ｌ３２」は、それぞれ、画素Ｌ２１〜画素Ｌ３２の画素値を示すものとする。なお、式６は一例にすぎず、他の式によってばらつき度合いを算出してもよい。

式６の演算内容について説明すると次のとおりである。まず、注目画素Ｎから所定距離内に位置する被参照画素のうち水平方向および垂直方向と所定値以下の角度を成す方向に沿って並ぶ被参照画素から成る画素群を特定する。具体的には次に示す１２個の画素群を特定する（図４の（ｂ）および図６の（ａ）（ｂ）に示す破線枠の各々を参照）。（１）仮想直線Ａ２に沿って並ぶ画素Ｌ２６、Ｌ２４、Ｌ２８から成る画素群、（２）仮想直線Ｂ２に沿って並ぶ画素Ｌ２５、Ｌ２１、Ｌ２７から成る画素群、（３）仮想直線Ｃ２に沿って並ぶ画素Ｌ３０、Ｌ２３、Ｌ３２から成る画素群、（４）仮想直線Ｄ２に沿って並ぶ画素Ｌ２９、Ｌ２２、Ｌ３１から成る画素群、（５）仮想直線ＡＡ２に沿って並ぶ（より正確には、仮想直線ＡＡ２と重なる）画素Ｌ３１、Ｌ２４、Ｌ２８から成る画素群、（６）仮想直線ＢＢ２に沿って並ぶ（より正確には、仮想直線ＢＢ２と重なる）画素Ｌ２５、Ｌ２１、Ｌ３０から成る画素群、（７）仮想直線ＣＣ２に沿って並ぶ（より正確には、仮想直線ＣＣ２と重なる）画素Ｌ３０、Ｌ２３、Ｌ２８から成る画素群、（８）仮想直線ＤＤ２に沿って並ぶ（より正確には、仮想直線ＤＤ２と重なる）画素Ｌ２５、Ｌ２２、Ｌ３１から成る画素群、（９）仮想直線ＡＡＡ２に沿って並ぶ（より正確には、仮想直線ＡＡＡ２と重なる）画素Ｌ２９、Ｌ２１、Ｌ２７から成る画素群、（１０）仮想直線ＢＢＢ２に沿って並ぶ（より正確には、仮想直線ＢＢＢ２と重なる）画素Ｌ２６、Ｌ２４、Ｌ３２から成る画素群、（１１）仮想直線ＣＣＣ２に沿って並ぶ（より正確には、仮想直線ＣＣＣ２と重なる）画素Ｌ２９、Ｌ２２、Ｌ２６から成る画素群、（１２）仮想直線ＤＤＤ２に沿って並ぶ（より正確には、仮想直線ＤＤＤ２と重なる）画素Ｌ２７、Ｌ２３、Ｌ３２から成る画素群、である。

なお、仮想直線ＡＡ２および仮想直線ＢＢ２は垂直方向と所定角度を成す方向に延伸している。仮想直線ＣＣ２は仮想直線ＡＡ２と直交する方向に延伸している。仮想直線ＤＤ２は仮想直線ＣＣ２と同方向に延伸している。仮想直線ＡＡＡ２および仮想直線ＢＢＢ２は垂直方向とさらなる他の所定角度を成す方向に延伸している。仮想直線ＣＣＣ２は仮想直線ＡＡＡ２と直交する方向に延伸している。仮想直線ＤＤＤ２は仮想直線ＣＣＣ２と同方向に延伸している。

そして、特定した画素群内の画素の画素値のばらつき度合いを画素群毎に算出する（式６のDispersionA2、DispersionB2、DispersionC2、DispersionD2、DispersionAA2、DispersionBB2、DispersionCC2、DispersionDD2、DispersionAAA2、DispersionBBB2、DispersionCCC2、DispersionDDD2）。そして、画素が並ぶ方向が近似する画素群を集めた集合単位に、画素群毎に算出したばらつき度合いを集約する（式６のDispersionABtotal_21、DispersionCDtotal_21）。この場合、集合は２つであり、１つ目の集合は、垂直方向と所定値以下の角度を成す方向（つまり、仮想直線Ａ２、Ｂ２、ＡＡ２、ＢＢ２、ＡＡＡ２、およびＢＢＢ２の延伸方向）に画素が並ぶ画素群から成る集合であり、２つ目の集合は、水平方向と所定値以下の角度を成す方向（つまり、仮想直線Ｃ２、Ｄ２、ＣＣ２、ＤＤ２、ＣＣＣ２、およびＤＤＤ２の延伸方向）に画素が並ぶ画素群から成る集合である。

そして、ばらつき算出部３０は、水平方向および垂直方向のうち、集約したばらつき度合いが小さい方の集合に属する画素群の画素が並ぶ方向に近い方を特定し、当該特定した方向に沿ってエッジが存在するものと推定する。式６の例で説明すれば、DispersionABtotal_21がDispersionCDtotal_21より大きいとき、ばらつき算出部３０は、注目画素Ｎの付近において、画素Ｌ２１と画素Ｌ２４とを通る水平方向に沿うエッジが存在するものと推定する。一方、DispersionABtotal_21がDispersionCDtotal_21以下であるとき、ばらつき算出部３０は、注目画素Ｎの付近において、画素Ｌ２２と画素Ｌ２３とを通る垂直方向に沿うエッジが存在するものと推定する。

そして、エッジ判定部２０が注目画素Ｎに接するエッジが存在すると判定した場合、補間部４０は、注目画素Ｎの、水平方向および垂直方向のうち当該エッジが沿う方向に位置する画素の画素値を用いて注目画素Ｎの画素値を補間する。一方、エッジ判定部２０が注目画素Ｎに接するエッジが存在しないと判定した場合、補間部４０は、注目画素Ｎの、ばらつき算出部３０が特定した方向に位置する画素の画素値を用いて、注目画素Ｎの画素値を補間する（図３のステップＳ２０参照）。具体的には、DispersionABtotal_21がDispersionCDtotal_21より大きければ画素Ｌ２１および画素Ｌ２４の画素値を用いて、また、DispersionABtotal_21のDispersionCDtotal_21以下であれば画素Ｌ２２および画素Ｌ２３の画素値を用いて、注目画素Ｎの画素値を補間する。

最後に、画像生成装置１の各ブロックは、集積回路（ＩＣチップ）等に形成された論理回路（ハードウェア）によって実現してもよいし、ＣＰＵ（Central Processing Unit）を用いてソフトウェアによって実現してもよい。ＣＰＵを用いて実現する場合、画像生成装置１は、各機能を実現するソフトウェアであるプログラムの命令を実行するＣＰＵ、上記プログラムおよび各種データがコンピュータ（またはＣＰＵ）で読み取り可能に記録されたＲＯＭまたは記憶装置（これらを「記録媒体」と称する）、上記プログラムを展開するＲＡＭ（Random Access Memory）などを備えている。そして、コンピュータ（またはＣＰＵ）が上記プログラムを上記記録媒体から読み取って実行することにより、本発明の目的が達成される。上記記録媒体としては、「一時的でない有形の媒体」、例えば、テープ、ディスク、カード、半導体メモリ、プログラマブルな論理回路などを用いることができる。また、上記プログラムは、該プログラムを伝送可能な任意の伝送媒体（通信ネットワークや放送波等）を介して上記コンピュータに供給されてもよい。なお、本発明は、上記プログラムが電子的な伝送によって具現化された、搬送波に埋め込まれたデータ信号の形態でも実現され得る。

本発明は上述した実施形態に限定されるものではなく、請求項に示した範囲で種々の変更が可能であり、実施形態にそれぞれ開示された技術的手段を適宜組み合わせて得られる実施形態についても本発明の技術的範囲に含まれる。

１ 画像生成装置、１０ 画素配置部、２０ エッジ判定部（方向特定部の一部）、３０ ばらつき算出部（方向特定部の一部）、４０ 補間部、Ｅ 拡大画像、Ｋ 既知画素、Ｎ 注目画素、Ｐ 補間画素、Ｓ 原画像

Claims (6)

1. 原画像の画素に対応し等間隔に配置された既知画素と、画素値が補間される補間画素とで構成される、上記原画像を拡大した拡大画像を生成する画像生成装置であって、
   上記補間画素のうちの注目画素の各々について、
   上記注目画素に接する、予め定められた第１基準方向または上記第１基準方向に直交する第２基準方向に沿うエッジが存在することが所定基準により判定された場合、上記第１基準方向および上記第２基準方向のうち当該エッジが沿う方を特定し、
   上記エッジが存在しないことが上記所定基準により判定された場合、上記注目画素から所定距離内に位置する画素のうち、上記第１基準方向と所定値以内の角度を成す方向に沿って並ぶ画素から成る画素群毎の、画素群内の画素の画素値のばらつき度合いを集約した値と、当該方向と直交する方向に沿って並ぶ画素から成る画素群毎の、画素群内の画素の画素値のばらつき度合いを集約した値とを比較し、当該比較の結果に応じて上記第１基準方向および上記第２基準方向のいずれかを特定する方向特定部と、
   上記補間画素のうちの注目画素の各々について、
   上記注目画素の、上記特定された方向に位置する画素の画素値を用いて、上記注目画素の画素値を補間する補間部とを備えることを特徴とする画像生成装置。
2. 上記方向特定部は上記比較を行うにあたり、
   上記注目画素から所定距離内に位置する画素のうち、
   上記注目画素の上記第２基準方向に位置する画素を含む、上記第１基準方向に沿って並ぶ画素から成る画素群毎の、画素群内の画素の画素値のばらつき度合いを集約した値と、
   上記注目画素の上記第１基準方向に位置する画素を含む、上記第２基準方向に沿って並ぶ画素から成る画素群毎の、画素群内の画素の画素値のばらつき度合いを集約した値とを比較することを特徴とする請求項１に記載の画像生成装置。
3. 上記方向特定部は上記比較を行うにあたり、
   上記注目画素から所定距離内に位置する画素のうち、
   上記注目画素の上記第２基準方向に位置する画素を含む、上記第１基準方向と上記角度を成す方向に沿って並ぶ画素から成る画素群毎の、画素群内の画素の画素値のばらつき度合いを集約した値と、
   上記注目画素の上記第１基準方向に位置する画素を含む、上記第２基準方向と上記角度を成す方向に沿って並ぶ画素から成る画素群毎の、画素群内の画素の画素値のばらつき度合いを集約した値とを比較することを特徴とする請求項１または２に記載の画像生成装置。
4. 上記注目画素は、上記既知画素の斜め方向に位置する画素であり、
   斜め方向のいずれか一方を上記第１基準方向とすることを特徴とする請求項１から３のいずれか１項に記載の画像生成装置。
5. 上記注目画素は、上記既知画素の水平方向または垂直方向に位置する画素であり、
   水平方向または垂直方向のいずれかを上記第１基準方向とすることを特徴とする請求項１から３のいずれか１項に記載の画像生成装置。
6. 原画像の画素に対応し等間隔に配置された既知画素と、画素値が補間される補間画素とで構成される、上記原画像を拡大した拡大画像を生成する画像生成装置の制御方法であって、
   上記補間画素のうちの注目画素の各々について、
   上記注目画素に接する、予め定められた第１基準方向または上記第１基準方向に直交する第２基準方向に沿うエッジが存在することが所定基準により判定された場合、上記第１基準方向および上記第２基準方向のうち当該エッジが沿う方を特定し、
   上記エッジが存在しないことが上記所定基準により判定された場合、上記注目画素から所定距離内に位置する画素のうち、上記第１基準方向と所定値以内の角度を成す方向に沿って並ぶ画素から成る画素群毎の、画素群内の画素の画素値のばらつき度合いを集約した値と、当該方向と直交する方向に沿って並ぶ画素から成る画素群毎の、画素群内の画素の画素値のばらつき度合いを集約した値とを比較し、当該比較の結果に応じて上記第１基準方向および上記第２基準方向のいずれかを特定する方向特定ステップと、
   上記補間画素のうちの注目画素の各々について、
   上記注目画素の、上記特定された方向に位置する画素の画素値を用いて、上記注目画素の画素値を補間する補間ステップとを含み、
   上記既知画素の上記第１基準方向に位置する画素を上記注目画素として上記方向特定ステップおよび上記補間ステップを順に実行する処理を、上記既知画素の上記第１基準方向に位置する画素の各々について実行し、続いて、
   上記既知画素の上記第２基準方向に位置する画素を上記注目画素として上記方向特定ステップおよび上記補間ステップを順に実行する処理を、上記既知画素の上記第２基準方向に位置する画素の各々について実行することを特徴とする画像生成装置の制御方法。
   

Images