JP2004246704A - Image evaluation device - Google Patents

Abstract

<P>PROBLEM TO BE SOLVED: To provide an image evaluation device that can evaluate a super-resolution image of increased resolution provided by super-resolution processing. <P>SOLUTION: A judgment matrix generation part 5 refers to scattering point information on scattering points on a super-resolution image subjected to super-resolution processing and scattering point information on scattering points on a correct image corresponding to the super-resolution image, to generate, for every cluster, a scattering point judgment matrix showing probabilities of matching of the scattering points on the super-resolution image with the scattering points on the correct image. From the scattering point judgment matrix, a scattering point correlation matrix showing correlations between the scattering points is generated for every cluster. An evaluation value is computed about the scattering point correlation matrix. <P>COPYRIGHT: (C)2004,JPO&NCIPI

Description

ただし、ａ、ｂ、ｎ、ｍは、基本判定規則パラメータである。基本判定規則パラメータは、適当な値の数値であり、超解像の割合（ＳＡＲ再生画像を何倍拡張するか）、ＳＡＲのセンサの緒元、データ生成時のシミュレーションの条件などから任意に設定する。
この実施の形態１では、説明の簡単化のため、全ての値を１としている。
また、画像上の距離は比較対象の基準点と評価対象点の距離（絶対値）であり、ピークの大きさの差は比較対象の基準点と評価対象点のピークの大きさの差（絶対値）である。
【００１５】
・判定規則２
次の式（２）を満たす評価対象点をゲート内と判定する。
散乱点間評価値 ＞ ゲート内判定閾値 （２）
ゲート内判定閾値は、適当な値の数値であり、超解像の割合（ＳＡＲ再生画像を何倍拡張するか）、ＳＡＲのセンサの緒元、データ生成時のシミュレーションの条件などから任意に設定する。
・判定規則３
評価対象点がゲート内と判定された場合、散乱点判定行列及びクラスタの生成・更新を行う。
【００１６】
・判定規則４
ゲート内に散乱点間評価値がない基準点については、対応する散乱点が無しの評価値（この例では、評価値「０」）が設定された散乱点判定行列と、これに対応した新規のクラスタを生成する。
・判定規則５
クラスタは、散乱点判定行列と１対１に対応させる。
また、同じ評価対象点を持つクラスタは、情報を統合して１つのクラスタにする（クラスタ内の散乱点判定行列も同時に統合する）。なお、散乱点判定行列を統合する際は、基準点に対応する評価対象点が無いところには、対応する散乱点無しの評価値を設定する。
【００１７】
以下、判定行列生成部５の処理内容を詳細に説明する。
まず、判定行列生成部５は、クラスタ管理部９の記録内容を参照して、一番最初の基準点を１個選択する（ステップＳＴ１１）。図９の例では、（ａ）の基準点表から基準点Ａを選択する。
次に、判定行列生成部５は、クラスタ管理部９の記録内容を参照して、一番最初の評価対象点を１個選択する（ステップＳＴ１２）。図９の例では、（ｂ）の評価対象点表から評価対象点１を選択する。
【００１８】
判定行列生成部５は、その基準点Ａと評価対象点１の間で、判定規則１の式（１）を使用して散乱点間評価値Ａ１を算出する。
次に、判定規則２の式（２）を使用して、評価対象点１がゲート内にあるか否かを判定する（ステップＳＴ１３）。この実施の形態１では、説明の便宜上、評価対象点１はゲート内にあるものとして説明する。
判定行列生成部５は、評価対象点１がゲート内にあると判定する場合、その散乱点間評価値Ａ１を仮散乱点判定行列に登録する（ステップＳＴ１４）。
【００１９】
ここで、仮散乱点判定行列は、判定行列生成部５が内部での中間処理情報を保持するために、一時的に散乱点の情報を記憶しておく場所である。仮散乱点判定行列では、列方向に基準点の項目、行方向に評価対象点の項目を設け、対応するフィールドに散乱点間評価値を記録する。
なお、ステップＳＴ１２〜ＳＴ１５の繰り返しステップにおいて、最初にステップＳＴ１４の処理を行う時には、既存の仮散乱点判定行列が存在しないため、判定行列生成部５は仮散乱点判定行列を生成する。２回目以後にステップＳＴ１４の処理を行う時には、生成済みの仮散乱点判定行列に情報を追加する。
これにより、この段階では、図５（ａ）に示すように、列方向に基準点Ａの項目、行方向に評価対象点１の項目、対応するフィールドに散乱点間評価値Ａ１が記録された仮散乱点判定行列が生成される。
【００２０】
次に、判定行列生成部５は、基準点Ａに対して、ゲート判定が済んでいない評価対象点がクラスタ管理部９に記録されているか否かを判定する（ステップＳＴ１５）。この時点では、評価対象点１以外の評価対象点がクラスタ管理部９に記録されているか否かを判定する。
ゲート判定が済んでいない評価対象点があれば、再度、ステップＳＴ１２の処理に戻り、全ての評価対象点がゲート判定済みであれば、ステップＳＴ１６の処理に進む。
この時点では、評価対象点１以外の評価対象点がクラスタ管理部９に記録されているので、ステップＳＴ１２の処理に戻る。
【００２１】
判定行列生成部５は、２回目のステップＳＴ１２の処理で評価対象点２を選択すると、上記と同様にして、基準点Ａと評価対象点２間の散乱点間評価値Ａ２を算出し、評価対象点２がゲート内にあると判定すれば、図５（ｂ）に示すように、その散乱点間評価値Ａ２を仮散乱点判定行列に登録する。この実施の形態１では、説明の便宜上、評価対象点２はゲート内にあるものとして説明する。
ただし、ステップＳＴ１４の処理において、既に仮散乱点判定行列が存在するので、既存の仮散乱点判定行列に情報を追加する。仮散乱点判定行列では、同じ基準点Ａに対する評価結果を記録するため、列方向の項目は増えず、行方向の評価対象点２の項目と、対応するフィールドの散乱点間評価値Ａ２が追加される。
【００２２】
判定行列生成部５は、３回目のステップＳＴ２の処理で評価対象点３を選択すると、上記と同様にして、基準点Ａと評価対象点３間の散乱点間評価値Ａ３を算出し、評価対象点３がゲート内にないと判定すれば、その散乱点間評価値Ａ３については仮散乱点判定行列に登録しない。この実施の形態１では、説明の便宜上、評価対象点３はゲート内にないものとして説明する。
【００２３】
判定行列生成部５は、上記のようにして、基準点Ａに対して、全ての評価対象点についてのゲート判定が終了すると、ステップＳＴ１６の処理に進む。この実施の形態１では、説明の便宜上、評価対象点１，２だけがゲート内にあったものとして説明する。
判定行列生成部５は、仮散乱点判定行列の有無を調査する（ステップＳＴ１６）。この例では、仮散乱点判定行列が存在するので、ステップＳＴ１７の処理に進む。
【００２４】
判定行列生成部５は、仮散乱点判定行列と同じ評価対象点を含むクラスタ（散乱点判定行列）の有無を調べる（ステップＳＴ１７）。
判定行列生成部５は、仮散乱点判定行列と同じ評価対象点を含むクラスタが存在しない場合、仮散乱点判定行列を散乱点判定行列とするクラスタを新規に生成し、そのクラスタをクラスタ管理部９に登録する（ステップＳＴ１８）。
この際、クラスタ管理部９は、新規のクラスタＩＤ番号を付与し、散乱点判定行列と一緒にクラスタ情報テーブルに記録する。また、その散乱点判定行列を参照して、内部で保持する基準点表と評価対象点表のクラスタＩＤのフィールド値を更新する。
【００２５】
この段階では、図５（ｂ）の仮散乱点判定行列を散乱点判定行列としてクラスタ管理部９に登録し、クラスタ管理部９では、新規に登録されたクラスタに対してクラスタＩＤ「１」を付与して、散乱点判定行列の情報をクラスタ情報テーブルに記録する。また、その散乱点判定行列を参照して、内部で保持する基準点表と評価対象点表のクラスタＩＤのフィールド値を「１」に更新する。
判定行列生成部５は、新規のクラスタを生成し、そのクラスタをクラスタ管理部９に登録すると、仮散乱点判定行列の情報をクリアし（仮散乱点判定行列が存在しない初期状態に戻る）、ステップＳＴ２０の処理に進む。
一方、判定行列生成部５は、仮散乱点判定行列と同じ評価対象点を含むクラスタが存在する場合、そのクラスタを更新する（ステップＳＴ１９）。
ただし、この段階では、最初のステップを進めているため既存のクラスタは存在せず、クラスタを更新することはない。
【００２６】
判定行列生成部５は、基準点Ａ以外に基準点がクラスタ管理部９に記録されているか否かを判定する（ステップＳＴ２０）。
即ち、図９（ａ）の基準点表を参照し、基準点Ａ以外に「無所属状態」（クラスタＩＤ＝０）となっている基準点の有無をチェックする。
「無所属状態」の基準点があれば、再度、ステップＳＴ１１の処理に戻り、「無所属状態」の基準点が無ければ、図３の処理を完了して、クラスタ別の散乱点判定行列の生成完了を画像評価部１０に通知する。
この段階では、残りの基準点があるので、再度、ステップＳＴ１１の処理に戻り、２番目の基準点として基準点Ｂを選択する。
【００２７】
判定行列生成部５は、基準点Ｂについても、基準点Ａの場合と同様の処理を実施して散乱点間評価値Ｂ２，Ｂ３を算出し、その散乱点間評価値Ｂ２，Ｂ３を仮散乱点判定行列に登録する（ステップＳＴ１１〜ＳＴ１６）。この実施の形態１では、説明の便宜上、評価対象点２，３がゲート内にあるものとして説明する。
この段階では、図７の仮散乱点判定行列が生成される。
【００２８】
判定行列生成部５は、仮散乱点判定行列と同じ評価対象点を含むクラスタ（散乱点判定行列）の有無を調べる（ステップＳＴ１７）。
この段階では、既に既存のクラスタ（基準点Ａに基づいて生成された散乱点判定行列）が存在するので、図９（ｂ）の評価対象点表を参照して、仮散乱点判定行列に含まれる評価対象点が、既存のクラスタに所属しているか否かをチックする。
仮散乱点判定行列に含まれる評価対象点が、どの既存のクラスタにも所属していなけば、基準点Ａの場合と同様にステップＳＴ１８の処理に進んで、新規クラスタを生成するが、基準点Ｂの例では、評価対象点２が既にクラスタＩＤ「１」の既存クラスタに所属しているため、クラスタの更新を行う（ステップＳＴ１９）。
【００２９】
即ち、判定行列生成部５は、評価対象点を共有する全てのクラスタを１つのクラスタに統合する。クラスタの統合手順は次の通りである。
まず、クラスタ管理部９から統合対象の既存のクラスタの散乱点判定行列を入手する。各判定行列は、基準点の情報が互いに独立のため（同じ基準点がない）、列方向は単純に、各配列での列を全て統合後の配列の項目に設定する。図７の例では、基準点Ａと基準点Ｂの項目は、単純に統合後の配列の項目に設定する。一方、行方向は、共有される評価対象点が含まれるため、各配列での行の和を項目として設定する（重複する評価対象点の項目を重ねる）。図７の例では、統合後の配列は、評価対象点２の行を１つにまとめている。
【００３０】
また、散乱点間評価値のフィールドも重複しないので（列方向が重複しないため）、既存の散乱点間評価値をそのまま設定する。図７の例では、散乱点間評価値Ａ１，Ａ２，Ｂ１，Ｂ２は統合後の配列でも、そのまま設定している。
ただし、行の項目が増えることにより、散乱点間評価値が未定のフィールドができる可能性がある。この場合、判定規則５にしたがって、対応する散乱点無しの評価値「０」を設定する。図７の例では、基準点Ａと評価対象点３のフィールド、基準点Ｂと評価対象点１のフィールドには、統合前の配列に対応する散乱点間評価値がないため、「０」を設定する。
【００３１】
次に、統合対象のクラスタのうち、一番小さいクラスタＩＤを統合後のクラスタのＩＤ（統合ＩＤ）として情報の更新を行う。
判定行列生成部５は、統合ＩＤと統合後の散乱点判定行列をクラスタ管理部９に出力して、情報の更新をクラスタ管理部９に指示する。
クラスタ管理部９は、判定行列生成部５から情報更新の指示を受けると、クラスタ情報テーブルにおいて、統合ＩＤに対応する散乱点判定行列を、判定行列生成部５から出力された統合後の散乱点判定行列に更新する。
【００３２】
次に、統合後の散乱点判定行列を参照して、基準点表と評価対象点表を更新する。ここでは、統合後の散乱点判定行列に含まれる基準点と評価対象点のクラスタＩＤのフィールドを「統合ＩＤ」に設定する。
この際、「統合ＩＤ」に書き換えらたクラスタＩＤを「削除ＩＤ」として記憶する。
最後に、統合によりなくなるクラスタをクラスタ情報テーブルから削除する。この例では、統合対象の既存クラスタが１個のため、自動的にクラスタＩＤ「１」が統合ＩＤとして選択される。
このため、図７の統合後の散乱点判定行列がクラスタＩＤ「１」の散乱点判定行列として登録される。
また、基準点表と評価対象点表では、基準点Ａ、基準点Ｂ、評価対象点１、評価対象点２、評価対象点３のクラスタＩＤが「１」に設定される。
なお、この例では、統合によりなくなるクラスタの削除は発生しない。
【００３３】
判定行列生成部５は、クラスタの統合処理が完了すると、仮散乱点判定行列の情報をクリアし（仮散乱点判定行列が存在しない初期状態に戻る）、ステップＳＴ２０の処理に進む。
判定行列生成部５は、基準点Ａ，Ｂ以外に基準点がクラスタ管理部９に記録されているか否かを判定する（ステップＳＴ２０）。
即ち、図９（ａ）の基準点表を参照し、基準点Ａ，Ｂ以外に「無所属状態」（クラスタＩＤ＝０）となっている基準点の有無をチェックする。
この段階では、残りの基準点があるので、再度、ステップＳＴ１１の処理に戻り、３番目の基準点として基準点Ｃを選択する。
【００３４】
判定行列生成部５は、基準点Ｃについても、基準点Ａ，Ｂの場合と同様の処理を実施して散乱点間評価値を算出する。この実施の形態１では、説明の便宜上、全ての評価対象点がゲート内にないものとして説明する。
したがって、基準点Ｃについては、仮散乱点判定行列が生成されず、ステップＳＴ１１〜ＳＴ１６の処理を経て、ステップＳＴ２１の処理に移行する。
判定行列生成部５は、判定規則４に従って、評価値「０」を設定した散乱点判定行列を生成する。この散乱点判定行列では、列の項目は、実行中の基準点Ｃであるが、行の項目は対応する評価対象点がないため、図６に示すように、消失評価対象点という特別の項目を設定する。
その後、判定行列生成部５は、評価値「０」だけを設定した散乱点判定行列に対応する新規のクラスタの生成をクラスタ管理部９に指示する（ステップＳＴ２１）。
【００３５】
クラスタ管理部９は、判定行列生成部５から新規のクラスタの生成指示を受けると、ステップＳＴ１９の処理において、情報更新の指示を受けた場合と同様の手順により、新規クラスタの生成処理を実行する。ただし、評価対象点表は対応するデータがないため更新しない。
判定行列生成部５は、クラスタ管理部９から新規クラスタの登録完了通知を受けると、基準点Ａ，Ｂ，Ｃ以外に基準点がクラスタ管理部９に記録されているか否かを判定する（ステップＳＴ２０）。
判定行列生成部５は、残りの基準点がないと判定すると、散乱点判定行列の生成完了を画像評価部１０に通知する。この実施の形態１では、説明の便宜上、残りの基準点がないと判定するものとする。
【００３６】
ここで、図１０は散乱点判定行列の生成完了時の基準点表や評価対象点表を示している。基準点表では、全ての基準点に対応するクラスタＩＤが設定される。評価対象点表には、クラスタＩＤが設定されない点が残っていてもよい。また、クラスタ情報テーブルでは、評価値と相関行列のフィールドは空のままである。
【００３７】
画像評価部１０は、判定行列生成部５から散乱点判定行列の生成完了の通知を受けると、散乱点相関行列を生成して、その散乱点相関行列に対応する評価値（相関行列評価値）を算出するように相関行列管理部８に指示する（ステップＳＴ３）。
相関行列管理部８は、画像評価部１０から散乱点相関行列の生成と相関行列評価値の算出指示を受けると、相関行列生成ルール保持部７に保持されている基本相関行列生成ルールにしたがって判定行列生成部５により生成された散乱点判定行列から散乱点間の相関関係を示す散乱点相関行列をクラスタ別に生成する。また、相関評価値算出法保持部６に保持されている基本相関行列評価値算出法にしたがって散乱点相関行列に対する評価値を算出する。
【００３８】
ここで、相関評価値算出法保持部６に保持されている基本相関行列評価値算出法としては、例えば、次のようなものがある。
・算出法１
散乱点相関行列に含まれる評価値「０」以外の評価値を選択する。
その選択した全ての評価値の積を「散乱点評価値」とする。

ここで、消失評価値とは、本来あるはずの散乱点情報が消えてしまった場合の評価値とし、十分な大きさの負の値の評価値であり、超解像の割合、ＳＡＲのセンサの緒元、データ生成シミュレーションの条件などから任意に設定する。
・算出法３
相関行列評価値＝「散乱点評価値」＋「正解消失評価値」 （４）
【００３９】
また、相関行列生成ルール保持部７に保持されている基本相関行列生成ルールとしては、例えば、次のようなものがある。
・ルール１
各行では、散乱点判定行列から高々１個の評価値を選択し、他は評価値を「０」とする。
・ルール２
各列では、散乱点判定行列から高々１個の評価値を選択し、他は評価値を「０」とする。
・ルール３
同じ散乱点相関行列を重複して生成しない。
【００４０】
以下、相関行列管理部８の処理内容を詳細に説明する。
まず、相関行列管理部８は、クラスタ管理部９のクラスタ情報テーブルを参照して、クラスタを１個づつ選択する（ステップＳＴ３１）。ここでは、評価値と相関行列のフィールドが空のクラスタを選択する。
相関行列管理部８は、クラスタを１個選択すると、クラスタ管理部９から当該クラスタの散乱点判定行列を入手する。そして、相関行列生成ルール保持部７に保持されている基本相関行列生成ルールにしたがって、その散乱点判定行列から可能な範囲で散乱点相関行列を生成する（ステップＳＴ３２）。各クラスタ毎に、１個以上の散乱点相関行列を生成する。
【００４１】
ここで、図８は図７の統合後の散乱点判定行列に対して、基本相関行列生成ルールを適用して算出した散乱点相関行列の一例を示している。
図８の例では、基本相関行列生成ルールのルール１に従って、評価対象点１の行と評価対象点３の行では、１個の評価値（評価値Ａ１と評価値Ｂ３）を選択し、残りは評価値を「０」としている。また、評価対象点２の行では、全て評価値を「０」としている。
また、基本相関行列生成ルールのルール２に従って、基準点Ａの列と基準点Ｂの列では１個の評価値（評価値Ａ１と評価値Ｂ３）を選択し、残りは評価値を「０」としている。
【００４２】
相関行列管理部８は、散乱点判定行列から散乱点相関行列を生成すると、相関評価値算出法保持部６に保持されている基本相関行列評価値算出法にしたがって、その散乱点相関行列に対する評価値を算出する（ステップＳＴ３３）。
即ち、相関行列管理部８は、基本相関行列評価値算出法の算出法１を使用して、評価値Ａ１と評価値Ｂ３の積を散乱点評価値として算出する。
次に、算出法２を使用して、正解消失評価値を算出するが、ここでは、全ての要素が評価値「０」の列がないため、正解消失評価値は「０」となる（式（３）を参照）。
最後に、算出法３を使用して、相関行列評価値を求める。この例では、散乱点評価値がそのまま相関行列評価値となる（式（４）を参照）。
【００４３】
相関行列管理部８は、相関行列評価値を算出すると、クラスタ管理部９から対応するクラスタの評価値フィールドの値を入手し、その値と相関行列評価値を比較する。
相関行列管理部８は、その相関行列評価値の方が大きい場合、あるいは、評価値フィールドに値が設定されていない場合（最初に相関行列評価値を求めた時）、対応するクラスタの評価値フィールドと相関行列のフィールドを、今回新規に算出した相関行列評価値とステップＳＴ３２で生成した散乱点相関行列に更新するように、クラスタ管理部９に指示する（ステップＳＴ３４）。
逆に、既に設定されている評価値フィールドの値の方が大きい場合には、更新を行わない。
【００４４】
相関行列管理部８は、基本相関行列生成ルールのルール３に従って、重複しない範囲で可能な限り、ステップＳＴ３２〜ＳＴ３４の処理を繰り返すことにより、散乱点相関行列をできるだけ生成する。
例えば、図７の統合後の散乱点判定行列からは、図１２に示す散乱点相関行列が生成される。ここでは、全ての散乱点相関行列に対してステップＳＴ３２〜ＳＴ３４の処理を実行している。
【００４５】
ただし、ステップＳＴ３５の処理において、評価値「０」だけの散乱点判定行列が選択された場合には、クラスタ評価値を消失評価値とする。このケースでは、１行１列で評価値「０」の散乱点相関行列が１個しか生成できず、かつ、この散乱点相関行列の相関行列評価値が消失評価値となるためである（算出法１から散乱点評価値は「０」、算出法２から全ての要素が評価値「０」の列の数が１で正解消失評価値＝消失評価値、算出法３の式（３）から関行列評価値＝消失評価値）。
【００４６】
相関行列管理部８は、クラスタに対するクラスタ評価値の算出処理が終了すると、クラスタ評価値を算出していない未処理のクラスタの有無をチェックする（ステップＳＴ３６）。即ち、クラスタ管理部９のクラスタ情報テーブルを参照して、評価値と相関行列のフィールドが空のクラスタが残っているか否かをチェックする。
未処理のクラスタがあれば、再度、ステップＳＴ３１の処理に戻るが、全てのクラスタでクラスタ評価値が算出済みであれば、処理の完了を画像評価部１０に通知する。
ここで、図１１はクラスタ評価値の算出完了時の基準点表や評価対象点表を示している。クラスタ情報テーブルの評価値と相関行列のフィールドの全てに値が設定された状態になる。
画像評価部１０は、相関行列管理部８からクラスタ評価値の算出完了の通知を受けると、クラスタ管理部９のクラスタ情報テーブルに記録されている各クラスタ評価値の総和を算出し、その総和を超解像画像の最終的な評価値として出力する。
【００４７】
以下、この実施の形態１の画像評価装置の効果を明確にするため、図１３に示す評価対象画像に適用した例を説明する。
図１３の例では、基準点Ａ、基準点Ｂ、評価対象点１、評価対象点２が存在する。
散乱点間評価値は、基準点Ａと評価対象点１が評価値Ａ１、基準点Ａと評価対象点２が評価値Ａ２、基準点Ｂと評価対象点１が評価値Ｂ１、基準点Ｂと評価対象点２が評価値Ｂ２とする。
この大きさは、評価値Ｂ２＞評価値Ｂ１＞評価値Ａ１＞評価値Ａ２の順であり、評価値Ａ２だけがゲート内判定閾値よりも小さいものとする。
【００４８】
この条件では、ステップＳＴ２の処理において、図１３の散乱点判定行列が生成される。
ステップＳＴ３の処理では、図１３の散乱点相関行列１から散乱点相関行列５に対する相関行列評価値を算出する。
算出される相関行列評価値は、
散乱点相関行列１では「２×正解消失評価値」、
散乱点相関行列２では「評価値Ｂ１＋正解消失評価値」、
散乱点相関行列３では「評価値Ｂ２＋正解消失評価値」、
散乱点相関行列４では「評価値Ａ１＋正解消失評価値」、
散乱点相関行列５では「評価値Ａ１×評価値Ｂ１」となる。
【００４９】
ここで、正解消失評価値は、ある程度の大きさを持つ負の値であるため、相関行列評価値の大きさは、散乱点相関行列５＞散乱点相関行列３＞散乱点相関行列２＞散乱点相関行列４＞散乱点相関行列１の順になる。このため、散乱点相関行列５の対応関係と相関行列評価値が採用されることになる。
散乱点相関行列５では、基準点Ａと評価対象点１、基準点Ｂと評価対象点２が対応する関係であり、正しく判定できている。
【００５０】
因みに、単純に位置が最も近い頂点を選択する方法では、評価対象点１と評価対象点２の両方が、基準点Ｂとマッチングしてしまうため、基準点Ａに対応する評価対象点が存在しないと判定してしまう。その結果、評価対象点１と評価対象点２のいずれかをノイズと判定してしまうことなる（図１７を参照）。
図１３の条件では、評価対象点毎に独立して、散乱点間評価値を元に対応する基準点を決定すると、評価対象点１と評価対象点２で基準点Ｂを選択してしまうが、この実施の形態１は、複数の散乱点の間での信頼度を考慮して、散乱点相関行列５の対応関係を正確に選択することができることが分かる。
【００５１】
なお、基準点Ａと評価対象点１、基準点Ｂと評価対象点２の位置が入れ代わったケース、即ち、散乱点間評価値が、評価値Ｂ２＞評価値Ａ２＞評価値Ａ１＞評価値Ｂ１の順では、基準点毎に独立して、散乱点間評価値を元に対応する基準点を決定すると、基準点Ａと基準点Ｂで評価対象点２を選択してしまう。
しかし、この実施の形態１は、散乱点判定行列で評価値Ｂ１に対応する評価値が「０」、「０」であった部分が評価値Ａ２となる。また、散乱点相関行列２では、評価値Ｂ１に対応する評価値が「０」、基準点Ａと評価対象点２の対応するフィールドが評価値Ａ２となる。
ここで、散乱点相関行列２の相関行列評価値が「評価値Ａ２＋正解消失評価値」となるが、相関行列評価値の大きさは、散乱点相関行列５＞散乱点相関行列３＞散乱点相関行列２＞散乱点相関行列４＞散乱点相関行列１の順であり、正しい対応関係である散乱点相関行列５が選択される。
以上から明らかなように、この実施の形態１によれば、図１３のようなケースでも、正しく散乱点間の対応関係を選択することができることが分かる。
【００５２】
次に、図１４に示す評価対象画像に適用した例を説明する。
図１４の例では、基準点Ａ、基準点Ｂ、評価対象点１、評価対象点２が存在する。
散乱点間評価値は、基準点Ａと評価対象点１が評価値Ａ１、基準点Ａと評価対象点２が評価値Ａ２、基準点Ｂと評価対象点１が評価値Ｂ１、基準点Ｂと評価対象点２が評価値Ｂ２とする。
この大きさは、評価値Ｂ１＞評価値Ｂ２＞評価値Ａ１＞評価値Ａ２の順であり、評価値Ａ２だけがゲート内判定閾値よりも小さいものとする。
【００５３】
この条件では、ステップＳＴ２の処理において、図１４の散乱点判定行列が生成される。
ステップＳＴ３の処理では、図１４の散乱点相関行列１から散乱点相関行列５に対する相関行列評価値を算出する。
算出される相関行列評価値は、
散乱点相関行列１では「２×正解消失評価値」、
散乱点相関行列２では「評価値Ｂ１＋正解消失評価値」、
散乱点相関行列３では「評価値Ｂ２＋正解消失評価値」、
散乱点相関行列４では「評価値Ａ１＋正解消失評価値」、
散乱点相関行列５では「評価値Ａ１×評価値Ｂ１」となる。
【００５４】
相関行列評価値の大きさは、散乱点相関行列５＞散乱点相関行列２＞散乱点相関行列３＞散乱点相関行列４＞散乱点相関行列１の順になる。このため、散乱点相関行列５の対応関係と相関行列評価値が採用されることになる。
散乱点相関行列５では、基準点Ａと評価対象点１、基準点Ｂと評価対象点２が対応する関係であり、正しく判定できている。
【００５５】
因みに、単純に位置が最も近い頂点を選択する方法では、評価対象点１と基準点Ｂがマッチングして、評価対象点２と基準点Ａがマッチングしなくなるため、基準点Ａに対応する評価対象点が存在しないと判定してしまう。その結果、評価対象点２をノイズと判定してしまうことなる（図１８を参照）。
図１４の条件では、散乱点間評価値（相互の対応を無視して散乱点だけで信頼度を決めた場合）の中で評価値Ｂ１（基準点Ｂと評価対象点１が対応）が一番大きな値となるが、この実施の形態１は、複数の散乱点の間での信頼度を考慮して、散乱点相関行列５の対応関係を正確に選択することができることが分かる。
【００５６】
以上で明らかなように、この実施の形態１によれば、超解像処理が施されている超解像画像の散乱点に関する散乱点情報と、その超解像画像に対応する正解画像の散乱点に関する散乱点情報とを参照して、その超解像画像の散乱点と正解画像の散乱点との組み合わせの可能性を示す散乱点判定行列をクラスタ別に生成する判定行列生成部５を設け、その散乱点判定行列から散乱点間の相関関係を示す散乱点相関行列をクラスタ別に生成し、その散乱点相関行列に対する評価値を算出するように構成したので、超解像処理が施されて解像度が高められている超解像画像を評価することができる効果を奏する。
【００５７】
また、この実施の形態１によれば、判定を行う範囲をクラスタと呼ぶ近接した散乱点の間に限定して実行することができるので、組み合わせ爆発による実行時間の増加を抑えて効率良く判定することができる効果を奏する。このため、正解画像と超解像画像の散乱点での複雑な対応関係に対して、お互いの対応関係を考慮した適切な信頼度を設定することができ、かつ、実行時間の増加を抑えた効率の良い判定処理を行える効果を奏する。
【００５８】
この実施の形態１では、基本判定規則の式（１）の基本判定規則パラメータであるａ、ｂ、ｎ、ｍの値をすべて１としたものについて示したが、これらは任意の値を設定することが可能であり、任意の値を設定した場合でも同様の効果が得られる。
この実施の形態１の式（１）では、距離とピークの大きさの差の積に反比例する例で説明したが、距離とピークの大きさの差に基づいて、２つの散乱点の間で評価値を設定するものであれば、任意の式を式（１）として設定可能であり、同様の効果が得られる。
例えば、距離とピークの大きさの差でそれぞれ反比例する値を求めて、その和を評価値とするようにしても同様の効果が得られる。
また、この実施の形態１では、式（１）で単純にピークの大きさの差（絶対値）を基準としたが、正解画像よりも超解像画像のピークが大きい場合には、散乱点間評価値の減少率を小さくし、正解画像よりも超解像画像のピークが小さい合には、散乱点間評価値が減少率を大きくするように、ピークの大きさの差に対して正方向と負の方向で重み付けを変更した判定規則を設定してもよく、同様の効果が得られる。
【００５９】
この実施の形態１では、判定規則４と判定規則５での対応散乱点無しの評価値に対する評価値を「０」に設定するものについて示したが、散乱点情報が消えたことが分かる値であれば、任意の値を設定してもよく、同様の効果が得られる。この実施の形態１では、基本相関行列評価値算出法の算出法１において、選択した全ての評価値の積を「散乱点評価値」としているが、これを全ての評価値の総和とするなど、散乱点相関行列に含まれる評価値「０」以外の評価値を基準とする算出方法であれば、任意の算出式を設定してもよく、同様の効果が得られる。
【００６０】
この実施の形態１では、ステップＳＴ４の処理において、クラスタ情報テーブルに記録されている各クラスタ評価値の総和を算出し、その総和を超解像画像の最終的な評価値として出力するものについて示したが、各クラスタ評価値の積を算出して、その積を超解像画像の最終的な評価値として出力するなど、各クラスタ評価値を基準とする算出方法であれば、任意の算出式を設定してもよく、同様の効果が得られる。
例えば、クラスタ別評価値の総和を基準点数で割るなどの変形例も、同様の効果が得られる。
【００６１】
この実施の形態１では、超解像画像に対して汎用的に適用できる例を説明したが、超解像処理にある程度制約がある条件下では、画像評価装置を変形することで、処理を効率良く実行することができる。
図１５は画像評価装置（変形例）のクラスタ管理部９が保持する評価対象点表の一例である。
ＳＡＲ画像では、レンジ方向（センサが電波を照射する方向）とアジマス方向（センサを搭載したプラットホームの進行方向）を、それぞれ行又は列に割り当てて画像を作成することが多い。レンジ方向とアジマス方向では、画像の生成手法（画像再生のアルゴリズムでの算出方法）が異なることもあり、両者の解像度に違いがあるケースもある。このため、ＳＡＲ画像の超解像処理では、レンジ又はアジマスのうち、片方の方向だけ解像度を向上させることもある。
このように、片方の方向だけ解像度を向上させる時には、画像データの行又は列だけが超解像される。このようなケースでは、画像評価装置を変型することで、処理を効率良く実行できる。
【００６２】
例えば、画像のレンジ方向（この例では、レンジ方向が行に割り当てられたとする）だけ、超解像処理を適用して解像度を向上させることを考える。
この場合、超解像画像は、各行単位で評価すれば良い。このため、図２のフローチャートにおいて、ステップＳＴ１の一部と、ステップＳＴ２と、ステップＳＴ３とを各行単位に繰り返して実行するように変更する。
ステップＳＴ１の処理では、クラスタ管理部９で初期化して記録する基準点表と評価対象点表を、評価中の行毎に実施することになる。ここでは、行毎の基準点と評価対象点を、それぞれ位置座標を基準に昇順にソートして並べておく。
また、この変形例のクラスタ管理部９では、図１５のように評価対象点表に、ゲート判定開始位置と前クラスタ終了位置を設ける。
ステップＳＴ１の処理では、各行毎の処理の初期化時に、前クラスタ終了位置として「ＮＵＬＬ」（対象の評価対象点無し）を指させる。
【００６３】
図３のフローチャートでは、ステップＳＴ１１の基準点の選択、ステップＳＴ２０での残りの基準点の判定では、上記の変更によりクラスタ管理部９に記録されている基準点が、評価中の行に含まれるものに限定される。
これにより、判定対象の領域を汎用例よりも小さくし、処理を高速化することができる。
この他、図３のフローチャートでは、ゲート判定開始位置と前クラスタ終了位置を利用して、処理の高速化を図る。なお、評価対象点の選択に関する部分以外は、上記の実施の形態１と同様である。同様な部分の説明は省略する。
【００６４】
まず、ステップＳＴ１１の処理では、判定行列生成部５がクラスタ管理部９に指示して、ゲート判定開始位置として、評価対象点表の最初の評価対象点（最も座標の小さな評価対象点）を指させる。
また、この変形例では、判定行列生成部５の内部情報記憶用の「ゲート判定フラグ」を設ける。
そして、ステップＳＴ１１の処理では、「ゲート判定フラグ」を「０」に設定する。
【００６５】
ステップＳＴ１２の評価対象点の選択では、クラスタ管理部９に記録された評価対象点表を参照して評価対象点を１個ずつ選択するときに、ゲート判定開始位置から順番に、評価対象点を選択するように変更する。
ステップＳＴ１３のゲート判定では、ゲート判定フラグが「０」で評価対象点がゲート内と判定された場合は、ゲート判定フラグを「１」にしてからステップＳＴ１４の処理に進む。
ゲート判定フラグが「１」で評価対象点がゲート内と判定された場合は、ゲート判定フラグを「１」のままにしてステップＳＴ１４の処理に進む。
ゲート判定フラグが「０」で評価対象点がゲート外と判定された場合は、クラスタ管理部９内のゲート判定開始位置を次の評価対象点へ進めてステップＳＴ１５の処理に進む。
ゲート判定フラグが「１」で評価対象点がゲート外と判定された場合は、ゲート判定フラグを「２」にしてからステップＳＴ１５の処理に進むように変更する。
【００６６】
ステップＳＴ１５の残りの評価対象点の判定では、ゲート判定フラグが「０」または「１」であれば、クラスタ管理部９に記録されている評価対象点で、ステップＳＴ１２で選択したものより大きなものがあるかを調査して判定を行い、ステップＳＴ１２又はステップＳＴ１６の処理に進む。
ゲート判定フラグが「２」の場合には、自動的にステップＳＴ１６の処理に進むように変更する。
ステップＳＴ１６の処理では、仮散乱点判定行列がない場合に、前クラスタ終了位置として「ＮＵＬＬ」を指させるように変更する。
【００６７】
ステップＳＴ１７の処理では、クラスタの統合判定を次のように変更する。
前クラスタ終了位置が「ＮＵＬＬ」でならば、自動的にステップＳＴ１８の処理に進むように変更する。
前クラスタ終了位置が「ＮＵＬＬ」でなく、「仮散乱点判定行列の一番座標データが小さな評価対象点」が「前クラスタ終了位置」より大きい場合には、自動的にステップＳＴ１８の処理に進むように変更する。
逆に、「仮散乱点判定行列の一番座標データが小さな評価対象点」が「前クラスタ終了位置」以下の場合には、自動的にステップＳＴ１９の処理に進むように変更する。
なお、ステップＳＴ１７の処理では、統合判定の後、ステップＳＴ１８又はステップＳＴ１９の処理に進む前に、前クラスタ終了位置が「ＮＵＬＬ」ならば、前クラスタ終了位置として、仮散乱点判定行列の一番座標データが大きな評価対象点を指させる。
【００６８】
ステップＳＴ１９のクラスタの更新では、更新対象のクラスタは、一番最近に作成又は統合したクラスタ１個に限定される。このため、一番最近に作成又は統合したクラスタに、仮散乱点判定行列の情報を加えるようなクラスタの更新だけを行うように変更する。
上記のように、図３のフローチャートを変更することで、ステップＳＴ１２の評価対象点の選択では、捜索する評価対象点の範囲を評価中の行に含まれ、かつ、ゲート判定開始位置よりも大きいものに限定することができる。
【００６９】
ステップＳＴ１５の残りの評価対象点の判定では、捜索する評価対象点の範囲を評価中の行に含まれ、かつ、ステップＳＴ１２で選択したものより大きなも座標データを持つ評価対象点に限定することができる。
また、ステップＳＴ１３のゲート判定結果を利用して、無駄な判定処理を省くことができる（ゲート判定フラグが「２」となるケース）。
ステップＳＴ１７の処理では、上記の実施の形態１では、クラスタと仮散乱点判定行列での評価対象点の包含関係を全て調べる必要があったクラスタの統合判定を、「前クラスタ終了位置」と「仮散乱点判定行列の一番座標データが小さな評価対象点」の位置関係だけで、簡単かつ高速に判定することができるようになる。
ステップＳＴ１９の処理では、上記実施の形態１では複雑なクラスタの統合処理を実施する必要があったクラスタの更新を、一番最近に作成又は統合したクラスタへ仮散乱点判定行列の情報を加えるようなクラスタの更新だけを行えば済むようになる。
【００７０】
この他、上記の変形例には、クラスタの登録範囲も行単位となるため、クラスタ管理部９に記憶しておくメモリ領域のサイズを小さくできる効果や、頂点情報生成部１で頂点の情報を抽出する方法を単純化することができる効果もある。
このように、片方の方向だけ解像度を向上させるケースに特化した変形例を用いることで、上記実施の形態１での処理を高速化を図ることができる効果を奏する。また、メモリ領域のサイズを小さくすることができる効果も奏する。
この他、この変形例では、各種判定処理等を簡易な方法に変更できるため、装置の実装を容易にできる効果も奏する。
【００７１】
この変形例は、解像度を向上させる方向を限定することで処理の高速化等を行うが、散乱点判定行列と散乱点相関行列を使用して、正解画像と超解像画像での間で散乱点の相関関係を信頼度に基づいて決定する基本的な部分については、同じ決定法を用いており、上記実施の形態１と同様の効果を奏することができる。また、上記の変形例では、レンジ方向片方の拡張で説明したが、アジマス方向片方の拡張でも上記の変形例と同様の効果を奏する。
なお、変形前の画像評価装置は汎用的な装置であり、解像度を向上させる方向を限定したケースにおいても、評価値の算出を行うことができる。
【００７２】
この実施の形態１では、ＳＡＲ画像の超解像処理へ適用した例で説明したが、散乱点（頂点）の抽出が重要な指標であり、正解画像と超解像画像を比較して評価を行う場合に、複数の散乱点（頂点）の間での相関（対応）関係を用いた評価が有効なものであれば、同様の効果が得られる。
例えば、電波の到来方向の計測を超解像手法で向上させるケースでも、上記実施の形態１の画像評価装置を利用することができる。
【００７３】
図１６は画像評価装置をＳＡＲ画像以外に適用する場合の説明図である。
図１６で左側の画像は、ＳＡＲ画像に超解像処理を適用した結果であり、横軸は画素、縦軸は各画素のパワーを示している。
一方で、右側の画像は、電波の到来方向の計測に超解像処理を適用した結果であり、横軸は角度θ、縦軸は各画素のパワーを示している。
右側の画像では、角度θを各画素データに対応させることで、容易に画像データに変換して取り扱うことができる。画像データに変換できれば、上記実施の形態１と同様の方法で評価値を得られることは自明である。
この画像データでも、画像中に頂点として現れる散乱点の分離精度が重要であり、正解画像と超解像画像を比較して評価を行う場合には、散乱点（頂点）の間での相関（対応）関係を考慮した評価が有効である。
このように、上記実施の形態１をＳＡＲ画像以外の超解像処理に適用して評価することが可能であり、複数の散乱点（頂点）の間での相関（対応）関係を用いた評価が有効なものであれば、同様の効果が得られる。
【００７４】
この実施の形態１では、ステップＳＴ２の処理において、ステップＳＴ１２で単純に評価対象点を順次選択して、ステップＳＴ１３からステップＳＴ１５で散乱点評価値の算出やゲート判定を行う例で説明したが、粗ゲートと呼ぶ簡単な判定処理を加えた変形例も考えられる。
粗ゲートでは、全ての評価対象点に対して、簡易な判定計算を実行して、ステップＳＴ１３からステップＳＴ１５の処理を行う評価対象点を選別する。
この簡易な判定計算は、ステップＳＴ１３での散乱点評価値の算出からゲート判定の計算よりも小さな計算負荷で実行可能なものである。例えば、対応関係を調査する基準点の座標から、行と列の座標が５画素以内といった判定計算が指定される。
【００７５】
この場合、ステップＳＴ１２の処理では、粗ゲートに入る評価対象点を順次選択して、ステップＳＴ１３からステップＳＴ１５の処理ステップに進むように変更する。
また、粗ゲートに入る評価対象点が１個もない場合には、ステップＳＴ２１の処理に進むように変更する。
また、ステップＳＴ１５の処理でも、残りの評価対象点を調べるときに散乱点評価値の算出が済んでおらず、かつ、粗ゲートに入る評価対象点の有無を調べ、その有無によりステップＳＴ１２又はステップＳＴ１６に進むように変更する。なお、粗ゲートを使った判定を行う場合には、基本判定規則を変更して、粗ゲートの定義情報等を追加する。
粗ゲートでは、明らかにゲート内判定閾値を越えない評価対象点に対する計算を簡易な計算で事前に省略する方法である。このため、粗ゲートを利用しても最終的な評価結果には影響を与えないことが保証されており、上記実施の形態１と同様の効果が得られる。
【００７６】
さらに、画像サイズが大きい場合などで、評価対象点の個数が多いケースでは、適切な粗ゲートを設定することで、実行時間を短縮した効率の良いＳＡＲ超解像画像の評価装置を得られる効果がある。
なお、上記の変形例では、粗ゲートとして、対応関係を調査する基準点の座標から、行と列の座標が５画素以内といった判定計算を指定する例で説明したが、これ以外の任意の粗ゲートを設定することが可能であり、上記変形例と同様の効果が得られる。
【００７７】
実施の形態２．
図１９はこの発明の実施の形態２による画像評価装置を示す構成図であり、図において、図１と同一符号は同一または相当部分を示しているので説明を省略する。
シミュレーション正解頂点情報管理部１１は正解画像の画像データを保持するとともに、その正解画像を生成する際に実施されたシミュレーションの設定条件等から得られる理論上の散乱点（理論基準点）に関する散乱点情報を保持している。シミュレーション正解対応判定基準保持部１２は判定行列生成規則、クラスタの生成・更新条件や理論基準点に対応する散乱点相関行列に対する評価値算出法を保持している。なお、シミュレーション正解対応判定基準保持部１２は判定行列生成手段を構成している。
シミュレーション正解対応相関評価値算出法保持部１３は理論基準点に対応する基本相関行列評価値算出法などを保持している。なお、シミュレーション正解対応相関評価値算出法保持部１３は評価値算出手段を構成している。
【００７８】
上記実施の形態１では、判定行列生成部５が散乱点判定行列をクラスタ別に生成する際、正解画像の基準点に関する散乱点情報を参照するものについて示したが、その正解画像を生成する際に実施されたシミュレーションの設定条件などから得られる理論基準点に関する散乱点情報を参照するようにしてもよい。
【００７９】
即ち、判定行列生成部５は、シミュレーション正解頂点情報保持部１２に保持されている理論基準点に関する散乱点情報を使用して、正解画像と超解像画像の散乱点の対応関係を評価するようにする。
また、相関行列管理部８は、シミュレーション正解対応相関評価値算出法保持部１３に保持されている理論基準点に対応する基本相関行列評価値算出法を使用して、散乱点相関相関行列に対する評価値を算出するようにする。
【００８０】
全ての評価値の基準となる散乱点間評価値は、正解画像と超解像画像の散乱点の距離に依存する。基準点では、頂点の情報は画像の画素に対応する１点であったが、理論基準点では、画素に対応するとは限らず、画素の右寄りといった値を取ることも可能である。
このため、シミュレーション正解対応判定基準保持部１２とシミュレーション正解対応相関評価値算出法保持部１３は、こうした値を取れる理論基準点に対応する基本判定規則と基本相関行列評価値算出法の計算方法を保持している。
この実施の形態２では、基準点が理論基準点に変更され、参照される基本判定規則と基本相関行列評価値算出法が変更される以外は、上記実施の形態１と同様であるため、処理ステップの詳細な説明は省略する。
【００８１】
この実施の形態２では、超解像処理が施施されて解像度が高められた超解像画像の評価で、正解画像を生成する際に実施されたシミュレーションの設定条件などから得られる理論基準点に関する散乱点情報を参照するので、上記実施の形態１と同様に、超解像画像を評価することができる効果を奏する。
【００８２】
実施の形態３．
図２０はこの発明の実施の形態３による画像評価装置を示す構成図であり、図において、図１及び図１９と同一符号は同一または相当部分を示しているので説明を省略する。
シミュレーション・画像混合対応判定基準保持部１４は図１の判定基準保持部４の保持内容と図１９のシミュレーション正解対応判定基準保持部１２の保持内容とを保持している。なお、シミュレーション・画像混合対応判定基準保持部１４は判定行列生成手段を構成している。
シミュレーション・画像混合対応相関評価値算出法保持部１５は図１の相関評価値算出法保持部６の保持内容と図１９のシミュレーション正解対応相関評価値算出法保持部１３の保持内容とを保持している。なお、シミュレーション・画像混合対応相関評価値算出法保持部１５は評価値算出手段を構成している。
【００８３】
上記実施の形態１では、判定行列生成部５が散乱点判定行列をクラスタ別に生成する際、正解画像の基準点に関する散乱点情報を参照するものについて示したが、正解画像の基準点に関する散乱点情報と、そのシミュレーションの設定条件などから得られる理論基準点に関する散乱点情報とを参照するようにしてもよい。
【００８４】
即ち、この実施の形態３では、正解画像管理手段２が保持する基準点に関する散乱点情報と、シミュレーション正解頂点情報管理部１１が保持する理論基準点に関する散乱点情報とを使用して、正解画像と超解像画像の散乱点の対応関係を評価する。
このため、判定行列生成部５は、シミュレーション・画像混合対応判定基準保持部１４の保持内容を参照して、散乱点間評価値の算出やゲート判定処理など、ステップＳＴ２の処理内容を実施する。
また、相関行列管理部８は、シミュレーション・画像混合対応相関評価値算出法保持部１５の保持内容を参照して、散乱点相関相関行列に対する評価値の算出処理など、ステップＳＴ３の処理内容を実施する。
【００８５】
この実施の形態３では、散乱点間評価値等を算出する際に基準となる散乱点間の距離情報として、評価対象点と基準点、評価対象点と理論基準点の２つの値を算出することができる。このため、シミュレーション・画像混合対応判定基準保持部１４とシミュレーション・画像混合対応相関評価値算出法保持部１５では、こうした値を取れるケースに対応した基本判定規則と基本相関行列評価値算出法の計算方法を保持している。
この実施の形態３では、基本判定規則と基本相関行列評価値算出法が変更される以外は、上記実施の形態１と同様であるため、処理ステップの詳細な説明は省略する。
この実施の形態３によれば、正解画像に基づく基準点に関する散乱点情報と、理論基準点に関する散乱点情報とを使用して、正解画像と超解像画像の散乱点の対応関係を評価することができるため、上記実施の形態１よりも、超解像画像の評価精度を高めることができる効果を奏する。
【００８６】
実施の形態４．
図２１はこの発明の実施の形態４による画像評価装置を示す構成図であり、図において、図１と同一符号は同一または相当部分を示しているので説明を省略する。
ノイズ対応相関評価値算出法保持部１６はノイズ（対応する基準点がないと判定された評価対象点）の影響を考慮した相関行列評価値算出法（ノイズ対応相関行列評価値算出法）などを保持している。なお、ノイズ対応相関評価値算出法保持部１６は評価値算出手段を構成している。
【００８７】
上記実施の形態１では、特に言及していないが、相関行列管理部８が散乱点相関行列に対する評価値を算出する際、超解像画像の散乱点に対応する正解画像の散乱点が存在しない場合、その超解像画像の散乱点をノイズとみなして評価値を算出するようにしてもよい。
【００８８】
即ち、この実施の形態４では、相関行列管理部８が散乱点相関行列に対する評価値を算出する際、ノイズ対応相関評価値算出法保持部１６に保持されているノイズ対応相関行列評価値算出法を使用するようにしている。
ノイズ対応相関評価値算出法保持部１６に保持されているノイズ対応相関行列評価値算出法は、次の通りである（ノイズ算出法１とノイズ算出法２は、基本相関行列評価値算出法の算出法１と算出法２と同じ）。
【００８９】
・ノイズ算出法１
散乱点相関行列に含まれる評価値「０」以外の評価値を選択する。
その選択した全ての評価値の積を「散乱点評価値」とする。

消失評価値は、本来あるはずの散乱点情報が消えてしまった場合の評価値とし、十分な大きさの負の値の評価値であり、超解像の割合、ＳＡＲのセンサの緒元、データ生成シミュレーションの条件などから任意に設定する。
【００９０】

ノイズ評価値係数とは、ノイズと判定された散乱点に対する評価係数である。「ノイズ評価値」が消失評価値よりも小さな負の値になるように設定する。超解像の割合、ＳＡＲのセンサの緒元、データ生成シミュレーションの条件などを考慮して決定する。

【００９１】
この実施の形態４では、相関行列管理部８がステップＳＴ３３の処理において、ノイズ対応相関評価値算出法保持部１６に保持されているノイズ対応相関行列評価値算出法にしたがって相関行列評価値を算出する。
相関行列評価値の算出を、図８の散乱点相関行列に対して相関行列評価値を算出する例で説明する。
【００９２】
まず、ノイズ算出法１を使用して、評価値Ａ１と評価値Ｂ３の積を散乱点評価値として算出する。
次に、ノイズ算出法２を使用して、正解消失評価値を算出するが、ここでは、全ての要素が評価値「０」の列がないため、正解消失評価値は「０」となる（式（５）を参照）。
ここまでは、上記実施の形態１と同じである（ノイズ算出法１、ノイズ算出法２が算出法１、算出法２と同じである）。
【００９３】
その後、ノイズ算出法３の式（６）を使用して、ノイズ評価値を求める。ここでは、全ての要素が評価値「０」の行の数が「１」のため（評価対象点２の行）、ノイズ評価値はノイズ評価係数の値になる。
最後に、ノイズ算出法４の式（７）を使用して、相関行列評価値を求める。ここでは、ノイズ評価値の分だけ、相関行列評価値が上記実施の形態１よりも小さな値になる。
【００９４】
このように、この実施の形態４では、対応する正解画像の散乱点がないと判定した超解像画像の散乱点をノイズとみなし、このノイズの影響を考慮して散乱点相関行列の評価値を決定できるため、クラスタ内でノイズと判定した散乱点があるケースの影響も考慮して、超解像画像の善し悪しを評価することができる効果を奏する。
【００９５】
なお、この実施の形態４では、ノイズ算出法３で全ての要素が評価値「０」の行の数を基準にノイズ評価値を決定するものについて示したが、全ての要素が評価値「０」の行に対する評価対象点の情報を使った任意のノイズ評価値の決定法も設定可能であり、この場合も同様の効果を奏することができる。
例えば、全ての要素が評価値「０」となった行毎に、散乱点のピークの大きさを反映させた値を算出することも有効である。ここでは、単純にピークの大きさを利用する他、ピークが最小となる基準点との差を利用することも有効である。また、この実施の形態４では、上記実施の形態１を基本にノイズ対応相関評価値算出法保持部１６を加えるものについて示したが、上記実施の形態２，３に適用してもよく、同様の効果を奏することができる。
【００９６】
実施の形態５．
図２２はこの発明の実施の形態５による画像評価装置を示す構成図であり、図において、図２１と同一符号は同一または相当部分を示しているので説明を省略する。
クラスタ外ノイズ評価部１７はクラスタに所属する評価対象点で、対応する基準点がないものをノイズと判定する。なお、クラスタ外ノイズ評価部１７は評価値算出手段を構成している。
図２３は画像評価部１０の処理内容を示すフローチャートである。
【００９７】
上記実施の形態４では、超解像画像の散乱点に対応する正解画像の散乱点が存在しない場合、その超解像画像の散乱点をノイズとみなして評価値を算出するものについて示したが、クラスタに所属しない超解像画像の散乱点をノイズとみなして評価値を算出するようにしてもよい。
【００９８】
即ち、上記実施の形態４では、ノイズ対応相関評価値算出法保持部１６に保持されているノイズ対応相関行列評価値算出法を使用することにより、クラスタに所属する評価対象点で、対応する基準点がないものをノイズと判定して、その影響を超解像画像の評価値に反映させているが、クラスタは基準点をベースに生成していくため、基準点から離れ、クラスタに所属しない評価対象点については、その影響が無視されている。
この実施の形態５では、クラスタ外ノイズ評価部１７が、このようなクラスタに所属しない評価対象点をノイズとみなし、これらのノイズに対する評価値の補正量を算出する。
なお、ステップＳＴ１〜ＳＴ４までの処理は、上記実施の形態４と同様であり、ステップＳＴ５の処理が追加されているので、ステップＳＴ５の処理について説明する。
【００９９】
画像評価部１０は、ステップＳＴ４の処理で、超解像画像の評価値を算出すると、クラスタ外ノイズに対する評価値の算出をクラスタ外ノイズ評価部１７に指示する。
クラスタ外ノイズ評価部１７は、画像評価部１０からクラスタ外ノイズに対する評価値の算出指示を受けると、クラスタ管理部９の評価対象点表を参照して、「無所属状態」（この例では、クラスタＩＤ＝０の散乱点の個数をカウントする（この個数を「無所属評価対象点数」と称する）。
【０１００】
次に、クラスタ外ノイズ評価部１７は、ノイズ対応相関評価値算出法保持部１６からノイズ算出法３の「ノイズ評価係数」の値を入手する。
最後に、クラスタ外ノイズ評価部１７は、「無所属評価対象点数」×「ノイズ評価係数」の値をクラスタ外ノイズに対する評価値として算出し（ノイズ評価係数が負の値のため、負の評価値になる）、その算出結果を画像評価部１０に出力する。
【０１０１】
画像評価部１０は、クラスタ外ノイズ評価部１７から「クラスタ外ノイズに対する評価値」を受けると、次の式（８）を使用して、超解像画像の評価値を補正する。
超解像画像の評価値＝
処理結果画像の評価値＋「クラスタ外ノイズに対する評価値」 （８）
【０１０２】
この実施の形態５によれば、クラスタに所属せず、対応する正解画像の散乱点がないと判定した超解像画像の散乱点までもノイズとみなし、このノイズの影響を考慮して超解像画像を評価することができるため、超解像画像におけるノイズの影響をより正確に反映した評価値を算出することができる効果を奏する。
【０１０３】
実施の形態６．
図２４はこの発明の実施の形態６による画像評価装置を示す構成図であり、図において、図１と同一符号は同一または相当部分を示しているので説明を省略する。
分離距離対応相関評価値算出法保持部１８は基準点間の距離の影響を考慮した相関行列評価値算出法（基準点間距離対応相関行列評価値算出法）を保持している。なお、分離距離対応相関評価値算出法保持部１８は評価値算出手段を構成している。
【０１０４】
上記実施の形態１では、特に言及していないが、正解画像の散乱点間の距離を考慮して散乱点相関行列に対する評価値を算出するようにしてもよい。
即ち、相関行列管理部８は、分離距離対応相関評価値算出法保持部１８に保持されている基準点間距離対応相関行列評価値算出法にしたがって、相関行列評価値を算出するようにする。
分離距離対応相関評価値算出法保持部１８に保持されている基準点間距離対応相関行列評価値算出法は、次の通りである（距離算出法２は、基本相関行列評価値算出法の算出法２と同じ）。
【０１０５】
・距離算出法１
散乱点相関行列に含まれる評価値「０」以外の評価値を選択する。
まず、その選択した全ての評価値の積を「散乱点評価値」とする。
次に、評価値「０」以外の評価値を持つ基準点が２個以上ある場合、その２点の距離を求める（これを、「相関基準点間距離」とする）。
相関基準点間距離を元に下記の式（９）を使用して、「２点分離評価値」を求める。

ｄは任意の値の定数であり、この例では説明を簡単にするため１とする。ここで、評価値「０」以外の評価値を持つ基準点が３個以上ある場合には、近接する２点間毎に「２点分離評価値」を求め、その総和を「２点分離評価値」とする。なお、分離評価係数とは、分離できた散乱点の距離に対する評価係数である。分離に対するボーナスの評価値のため正の値を取る。超解像の割合、ＳＡＲのセンサの緒元、データ生成シミュレーションの条件などを考慮して決定する。
【０１０６】

【０１０７】
この実施の形態６では、相関行列管理部８がステップＳＴ３３の処理において、分離距離対応相関評価値算出法保持部１８に保持されている基準点間距離対応相関行列評価値算出法にしたがって相関行列評価値を算出する。
相関行列評価値の算出を、図８の散乱点相関行列に対して相関行列評価値を算出する例で説明する。
ここで、評価値Ａ１と評価値Ｂ３の積を散乱点評価値として算出するまでは上記実施の形態１と同じである。
【０１０８】
この後、相関行列管理部８は、距離算出法１を使用して、基準点Ａと基準点Ｂの相関基準点間距離を求める。
この際、相関行列管理部８は、クラスタ管理部９の基準点表から基準点Ａと基準点Ｂの座標データを得て、相関基準点間距離を求める。
相関行列管理部８は、相関基準点間距離を算出したのち、式（９）を使用して、「２点分離評価値」を求める。
【０１０９】
次に、相関行列管理部８は、距離算出法２から「正解消失評価値」を求めるが、これは上記実施の形態１における算出法２を使った場合と同じである。
最後に、相関行列管理部８は、距離算出法３の式（１０）を使用して、相関行列評価値を算出する（「２点分離評価値」が相関行列評価値の算出に加わっていることが、上記実施の形態１と異なる）。
ここでは、「２点分離評価値」の分だけ、相関行列評価値が上記実施の形態１よりも大きな値になる。
【０１１０】
この実施の形態６によれば、超解像処理の結果、分離できた散乱点に対して、その正解画像での距離を考慮した散乱点相関行列の評価値を決定できるため、分離可能な散乱点の距離を反映して超解像処理の結果を評価することができる効果を奏する。
【０１１１】
この実施の形態６では、式（９）で定数ｄの値を１とするものについて示したが、任意の値に設定してもよく、同様の効果を奏することができる。
また、分母を「相関基準点間距離＋１」としたが、ここでは、分母が「０」にならないように計算でき、相関基準点間に距離が近い時に高い評価値が設定できれば良く、分母を「相関基準点間距離」とし、相関基準点間距離が「０」の時は例外処理で高い評価値を設定するような設定としてもよく、同様の効果を奏することができる。
また、分離評価係数についても、ｄの値と連動させて、任意の値を設定することが可能であり、任意の値に設定しても、同様の効果を奏することができる。
この実施の形態６では、式（９）で相関基準点間距離だけを基準にして、２点分離評価値を決定しているが、適用する超解像処理でのアルゴリズム等から理論上の分離可能な距離を求め、この理論上の分離可能な距離を基準にして、２点分離評価値を決定するような算出式に置き換えた変形例も可能であり、同様の効果を奏することができる。
また、理論上の分離可能な距離を評価値に反映させることで、分離距離に対するボーナスの評価値である２点分離評価値を、より適切な値として算出できる確率を向上できる効果も奏する。
【０１１２】
理論上の分離可能な距離を基準にして、２点分離評価値を決定するような算出式の例としては、式（７）の相関基準点間距離に代わって、相関基準点間距離と理論上の分離可能な距離の差を利用する例が考えられる。
この実施の形態６では、上記実施の形態１を基本に分離距離対応相関評価値算出法保持部１８を追加するものについて示したが、上記実施の形態２，３に適用してもよく、同様の効果を奏することができる。
また、上記実施の形態３では、通常の評価値の算出には基準点を使用し、式（９）の基準となる相関基準点間距離は理論基準点で求めるなど、複数の種類の基準点情報を有効に利用することで、より効果的な２点分離評価値の算出を行える確率を向上することができる。
【０１１３】
実施の形態７．
図２５はこの発明の実施の形態７による画像評価装置を示す構成図であり、図において、図１と同一符号は同一または相当部分を示しているので説明を省略する。
散乱点密集密度対応相関評価値算出法保持部１９は基準点間の密集度合の影響を考慮した相関行列評価値算出法（密集対応相関行列評価値算出法）を保持している。なお、散乱点密集密度対応相関評価値算出法保持部１９は評価値算出手段を構成している。
【０１１４】
上記実施の形態１では、特に言及していないが、正解画像の散乱点の密集密度を考慮して散乱点相関行列に対する評価値を算出するようにしてもよい。
即ち、相関行列管理部８は、散乱点密集密度対応相関評価値算出法保持部１９に保持されている密集対応相関行列評価値算出法にしたがって、相関行列評価値を算出するようにする。
散乱点密集密度対応相関評価値算出法保持部１９に保持されている密集対応相関行列評価値算出法は、次の通りである（密集算出法２は、基本相関行列評価値算出法の算出法２と同じ）。
【０１１５】
・密集算出法１
散乱点相関行列に含まれる評価値「０」以外の評価値を選択する。
まず、その選択した全ての評価値の積を「散乱点評価値」とする。
次に、評価値「０」以外の評価値を持つ基準点が２個以上ある場合、クラスタの領域の大きさ（面積）を求める（領域の大きさを「クラスタ領域サイズ」と称する）。
相関基準点間距離を元に下記の式（１１）を使用して、「密集分離評価値」を求める。
「密集分離評価値」＝
密集評価係数×「評価値「０」以外の評価値を持つ基準点の数」
／「クラスタ領域サイズ」 （１１）
なお、密集評価係数とは、散乱点の密集度合に対する評価係数である。分離に対するボーナスの評価値のため正の値を取る。超解像の割合、ＳＡＲのセンサの緒元、データ生成シミュレーションの条件などを考慮して決定する。
【０１１６】

【０１１７】
この実施の形態７では、相関行列管理部８がステップＳＴ３３の処理において、散乱点密集密度対応相関評価値算出法保持部１９に保持されている密集対応相関行列評価値算出法にしたがって、相関行列評価値を算出する。
相関行列評価値の算出を、図８の散乱点相関行列に対して相関行列評価値を算出する例で説明する。
ここで、評価値Ａ１と評価値Ｂ３の積を散乱点評価値として算出するまでは、上記実施の形態１と同じである。
【０１１８】
この後、相関行列管理部８は、距離算出法１を使用して、クラスタ領域サイズを算出する。クラスタ領域サイズは、クラスタに含まれる評価値「０」以外の評価値を持つ基準点を頂点とする範囲の領域である。ここでは、基準点Ａと基準点Ｂの２つの頂点しかないため、両者の距離×１画素分の領域となる（３点あれば３角形、４点あれば４角形の領域となる）。
なお、全ての基準点が直線上に並ぶケース（一方向での超解像処理等）では、両端の基準点の距離×１画素分の領域とする。領域決定で利用する基準点の位置は、クラスタ管理部９の基準点表を参照して入手する。
【０１１９】
相関行列管理部８は、クラスタ領域サイズを算出したのち、式（１１）を使用して、「密集分離評価値」を求める。
次に、相関行列管理部８は、密集算出法２から「正解消失評価値」を求めるが、これは上記実施の形態１で算出法２を使った場合と同じである。
最後に、相関行列管理部８は、密集算出法３の式（１２）を使用して、相関行列評価値を算出する（「密集分離評価値」が相関行列評価値の算出に加わっていることが、上記実施の形態１と異なる）。
ここでは、「密集分離評価値」の分だけ、相関行列評価値が上記実施の形態１よりも大きな値になる。
【０１２０】
この実施の形態７によれば、超解像処理の結果、分離できた散乱点に対して、その正解画像での散乱点の密集密度を考慮した散乱点相関行列の評価値を決定できるため、分離可能な散乱点の密集密度を反映して超解像画像を評価することができる効果を奏する。
【０１２１】
この実施の形態７では、式（１１）で密集分離評価値算出の基準として、「クラスタ領域サイズ」としてクラスタ領域の大きさを（面積）を使用するものについて示したが、単純に面積を利用するだけでなく、拡張率（超解像で元の画像を何倍にするか）や、クラスタ領域の形状などを考慮して、密集分離評価値を算出するような変形例も可能であり、同様の効果を奏することができる。
また、上記実施の形態１での変形例のように片方向だけを拡張する例では、クラスタの両端の距離×１画素をクラスタの領域の大きさとしたり、クラスタの両端の距離の２乗を密集分離評価値算出の基準として利用することも可能であり、同様の効果を奏することができる。
【０１２２】
この実施の形態７では、式（１１）で密集分離評価値算出の基準として「クラスタ領域サイズ」と「評価値「０」以外の評価値を持つ基準点の数」だけを使用しているが、適用する超解像処理のアルゴリズム等から対象の密度で発見可能な理論上の散乱点数を求め、この数と発見した散乱点の個数（「評価値「０」以外の評価値を持つ基準点の数」）を比較して、密集分離評価値を決定するような算出式に置き換えた変形例も可能であり、同様の効果を奏することができる。
ここでは、対象の密度で発見可能な理論上の散乱点数を反映させることで、より適切な密集分離評価値を算出できる確率を向上するこができる効果もある。
【０１２３】
この実施の形態７では、上記実施の形態１を基本に散乱点密集密度対応相関評価値算出法保持部１９を追加するものについて示したが、上記実施の形態２，３に適用してもよく、同様の効果を奏することができる。
【０１２４】
実施の形態８．
図２６はこの発明の実施の形態８による画像評価装置を示す構成図であり、図において、図１と同一符号は同一または相当部分を示しているので説明を省略する。
移動方向対応相関評価値算出法保持部２０は基準点と評価対象点のずれ方向を考慮した相関行列評価値算出法（移動方向対応相関行列評価値算出法）を保持している。なお、移動方向対応相関評価値算出法保持部２０は評価値算出手段を構成している。
【０１２５】
上記実施の形態１では、特に言及していないが、正解画像の散乱点と超解像画像の散乱点とのずれ方向を考慮して散乱点相関行列に対する評価値を算出するようにしてもよい。
即ち、相関行列管理部８は、移動方向対応相関評価値算出法保持部２０に保持されている移動方向対応相関行列評価値算出法にしたがって、相関行列評価値を算出するようにする。
移動方向対応相関評価値算出法保持部２０に保持されている移動方向対応相関行列評価値算出法は、次の通りである（移動算出法２は、基本相関行列評価値算出法の算出法２と同じ）。
【０１２６】
・移動算出法１
散乱点相関行列に含まれる評価値「０」以外の評価値を選択する。
まず、その選択した全ての評価値の積を「散乱点評価値」とする。
次に、評価値「０」以外の評価値を持つ基準点が２個以上ある場合、評価値「０」以外の各フィールド毎に、基準点と評価対象点の差異をベクトルで求める（このベクトルを「移動ベクトル」と称する）。例えば、Ｘ軸にレンジ方向、Ｙ軸にアジマス方向の画像であれば、ＸとＹ方向のベクトルとして移動ベクトルを求める。
各移動ベクトルの間で、ベクトルの差を差異ベクトルとして算出後、差異ベクトルの大きさの総和を「移動量」として算出する。この「移動量」を元に下記の式（１３）を使用して、「移動評価値」を求める。
「移動評価値」＝移動評価係数×移動量 （１３）
なお、移動評価係数とは、基準点と評価対象点のずれ方向に対する評価係数である。異なる方向に散乱点がずれている度合に対するペナルティの評価値のため負の値を取る。超解像の割合、ＳＡＲのセンサの緒元、データ生成シミュレーションの条件などを考慮して決定する。
【０１２７】

【０１２８】
この実施の形態８では、相関行列管理部８がステップＳＴ３３の処理において、移動方向対応相関評価値算出法保持部２０に保持されている移動方向対応相関行列評価値算出法にしたがって相関行列評価値を算出する。
ここでは、相関行列評価値を算出する際に、散乱点相関行列で評価値「０」以外の評価値を持つ基準点が２個以上ある場合、評価値「０」以外の各フィールド毎に、移動ベクトルを求める。
その後、各移動ベクトルの間で、相互にベクトルの差を差異ベクトルとして算出後、差異ベクトルの大きさの総和を「移動量」として算出する。
この「移動量」を元に式（１３）を使用して「移動評価値」を求める。
【０１２９】
次に、相関行列管理部８は、移動算出法２から「正解消失評価値」を求めるが、これは上記実施の形態１で算出法２を使った場合と同じである。
最後に、相関行列管理部８は、移動算出法３の式（１４）を使用して相関行列評価値を算出する（「移動評価値」が相関行列評価値の算出に加わっていることが、上記実施の形態１と異なる）。
ここでは、「移動評価値」の分だけ、相関行列評価値が上記実施の形態１よりも小さな値になる。
【０１３０】
この実施の形態８によれば、正解画像の散乱点と超解像画像でのずれ方向を考慮して散乱点相関行列の評価値を決定できるため、散乱点の分離精度だけでなく、ずれた方向を考慮して超解像画像を評価することができる効果を奏する。
【０１３１】
この実施の形態８では、式（１３）で「移動評価値」を求めるのに移動ベクトルを基準に求めていく手順を示したが、上記実施の形態１での変形例のように片方向だけを拡張する例では、移動ベクトルを正負の数値だけで表現することも可能であり、同様の効果を奏することができる。
この場合、「移動評価値」を容易にかつ効率よく求められる効果もある。
この実施の形態８では、上記実施の形態１を基本に移動方向対応相関評価値算出法保持部２０を追加するものについて示したが、上記実施の形態２，３に適用してもよく、同様の効果を奏することができる。
【０１３２】
実施の形態９．
図２７はこの発明の実施の形態９による画像評価装置を示す構成図であり、図において、図１と同一符号は同一または相当部分を示しているので説明を省略する。
合成型相関評価値算出法保持部２１は合成散乱点対応相関行列評価値算出法を保持し、合成型相関行列生成ルール保持部２２は合成散乱点対応相関行列生成ルールを保持している。なお、合成型相関評価値算出法保持部２１及び合成型相関行列生成ルール保持部２２は評価値算出手段を構成している。
【０１３３】
上記実施の形態１では、特に言及していないが、超解像画像における複数の散乱点が超解像処理によって１つの散乱点に合成されている場合、その合成散乱点と正解画像の複数の散乱点が対応するように散乱点相関行列を生成してもよい。図２９は合成型相関評価値算出法保持部２１及び合成型相関行列生成ルール保持部２２を利用することにより新たに算出される散乱点相関行列の一例を示す説明図である。
【０１３４】
この実施の形態９では、散乱点相関行列生成ルールが、上記実施の形態１における基本相関行列生成ルールから、合成型相関行列生成ルール保持部２２が保持する合成散乱点対応相関行列生成ルールに代えている。
合成散乱点対応相関行列生成ルールでは、超解像処理の結果、複数の基準点に対する処理結果が１つの評価対象点に合成されたとして（このような評価対象点を「合成評価対象点」と称する）、複数の基準点と合成評価対象点が対応するような散乱点相関行列を生成する。
このため、基本相関行列生成ルールのルール１を無効とし、新たに次の「合成ルール４」と「合成ルール５」を追加する（基本相関行列生成ルールの「ルール２」と「ルール３」は有効である）。
【０１３５】
・合成ルール４
基準点が２個以上のクラスタにおいて、散乱点相関行列で「０」以外の評価値が複数設定されている行の評価対象点で、合成点判定値を算出する。この合成点判定値が合成判定閾値よりも大きい場合、評価対象点を合成候補点とする。ここでは、対象の評価対象点の「ピークの大きさ」を合成点判定値とする。また、合成判定閾値は、合成評価対象点となる可能性がある散乱点を判定するための閾値であり、超解像の割合、ＳＡＲのセンサの緒元、データ生成シミュレーションの条件、合成点判定値の算出方法などから任意に設定する。
・合成ルール５
合成候補点の行では、「０」以外の評価値を複数個選択可能とする。
合成候補点の行以外では、従来通り、「０」以外の評価値を高々１個選択可能とする。
【０１３６】
また、この実施の形態９では、合成型相関行列生成ルール保持部２２の保持内容に従って生成される散乱点対応相関行列での評価に対応するため、上記実施の形態１における基本相関行列評価値算出法から、合成型相関評価値算出法保持部２１が保持する合成散乱点対応相関行列評価値算出法に代えている。
合成散乱点対応相関行列評価値算出法では、基本相関行列評価値算出法に次の「合成算出法４」を追加する（基本相関行列評価値算出法の算出法１から算出法３は有効）。
【０１３７】
・合成算出法４
合成候補点の行で、「０」以外の評価値を複数個選択した場合、まず、「０」以外の評価値を選択した個数を「合成数」とする（合成算出法４−１）。
次に、対象の行での「０」以外の評価値を下記の式（１５）で再計算して修正する（合成算出法４−２）。
補正散乱点間評価値＝評価値／（ｇ×合成数^ｈ） （１５）
ここで、ｇ、ｈは任意の定数を設定することができる。この例では、説明を簡単化するため両方「１」に設定する。
最後に、修正後の補正散乱点間評価値を使用して、基本パターンの算出ルール（算出法１から算出法３）で相関評価値を求める（合成算出法４−３）。
【０１３８】
この実施の形態９におけるステップＳＴ３２，ＳＴ３３の処理内容を、図８の散乱点相関行列に対して相関行列評価値を算出する例で説明する。
相関行列管理部８は、合成候補点の有無を調べる（ステップＳＴ３２）。評価対象点２が「合成ルール４」の条件を満たして合成候補点と判定された例で説明する。
ここでは、合成ルール５から図２９の「合成散乱点対応相関行列生成ルールで認められる散乱点相関行列」が生成される（上記実施の形態１の基本相関行列生成ルールでは許されない）。
【０１３９】
相関行列管理部８は、ステップＳＴ３３の処理において、この「合成散乱点対応相関行列生成ルールで認められる散乱点相関行列」に対する評価値を算出する場合、合成算出法４を適用する。
この例では、まず、評価対象点２で合成される基準点数が２個のため、「合成数」＝２となる（合成算出法４−１）。
次に、式（１５）を試用して、対象の行（ここでは評価対象点２の行）の散乱点間評価値を補正散乱点間評価値に修正する（合成算出法４−２）。
ここまでの処理の結果、図２９の「合成散乱点対応相関行列評価値算出法で利用する散乱点相関行列」が生成される。
【０１４０】
相関行列管理部８は、最後に基本パターンの算出ルール（算出法１から算出法３）を使用して、相関行列評価値を求める。ここでは、評価の基準となる散乱点相関行列の内容が異なるが、算出方法は上記実施の形態１と同じである。
この後、ステップＳＴ３４の処理に進んで、相関行列評価値の最も大きいものを、クラスタ評価値として選定していく手順も上記実施の形態１と同じである。この例では、合成候補点の影響を受けて、上記実施の形態１と変わるのは、図２９の「合成散乱点対応相関行列評価値算出法で利用する散乱点相関行列」のパターンだけであるが、他の実施の形態と同様に、合成散乱点対応相関行列生成ルールに従って生成可能な範囲で、ステップＳＴ３１〜ＳＴ３３の操作を繰り返すようにする。
この例でも、図２９の「合成散乱点対応相関行列評価値算出法で利用する散乱点相関行列」だけでなく、図１２に示す散乱点相関行列を生成する。相関行列評価値を求める処理は、上記実施の形態１と同じである。
【０１４１】
この実施の形態９の画像評価装置の効果を図３０を参照して説明する。
図３０の評価対象の画像は、複数の近接した散乱点がパワーの大きな１点として現れたケース（ケース１）と、片側の散乱点を検出できなかったケース（ケース２）の例である。
ここで、横軸は画素、縦軸は各画素のパワーであり、正解の散乱点として基準点Ａ、基準点Ｂの２つがあり、処理結果の散乱点として評価対象点１が１つがある。
また、ケース１では基準点Ａと基準点Ｂの情報が合成されて評価対象点１が算出され、ケース２では基準点Ａと評価対象点１が対応して基準点Ｂの情報は消失したものが正解とする。
【０１４２】
このケース１とケース２を２つの画像を比較する単純な方法で評価すると、共に２つの点が１つの点になるという評価を得ることになる。
図３０における評価対象の画像に対する散乱点判定行列は、ケース１とケース２で共通の形状であり、評価値Ａ１＞評価値Ｂ１となる。
ただし、ケース１とケース２では、評価値Ａ１と評価値Ｂ１の値が異なる（行列の形状と、評価値間の大小関係だけが同じである）。
図３０の散乱点判定行列をもとに、上記実施の形態１〜８の画像評価装置で散乱点相関行列を求めると、図３０の散乱点相関行列１から散乱点相関行列３までが算出される。
【０１４３】
この場合には、ケース１とケース２の両方で、最も評価値が高くなる散乱点相関行列２が選択される。
これは、基準点Ａと評価対象点１が対応して基準点Ｂの情報は消失したという判定をしたことになる。
一方で、この実施の形態９の画像評価装置では、合成散乱点を考慮できる。即ち、合成ルール４で示したように、評価対象点のピークの大きさを、合成判定閾値と比較して合成散乱点の候補を選出する。
ここでは、ケース１の評価対象点１では、ピークが大きいため合成判定閾値を上回ったとする。また、ケース２の評価対象点１では、ピークが小さいため合成判定閾値を下回ったとする。
この結果、ケース１では、新たに散乱点相関行列４が算出され、ケース２では、上記実施の形態１〜８と同様に散乱点相関行列１から散乱点相関行列３までしか算出されない。ここでは、散乱点相関行列４の評価値が散乱点相関行列２よりも大きかったものとして説明する。
【０１４４】
この際、ケース１では、散乱点相関行列４の対応関係が選択される。これは、基準点Ａと基準点Ｂの情報が合成されて評価対象点１が算出された対応関係を選択したことになる。
ケース２では、散乱点相関行列２が選択される。これは、基準点Ａと評価対象点１が対応して基準点Ｂの情報は消失した対応関係を選択したことになる。
このように、この実施の形態９の画像評価装置では、合成散乱点を考慮できることで、図３０のケース１のように、散乱点の情報が合成されたケースでも、対応関係を正しく判定できる。散乱点の対応関係を正しく判定できると、超解像画像の評価をより正確に行うことができる。
【０１４５】
この実施の形態９によれば、複数の散乱点情報が合成された散乱点を考慮して散乱点の対応関係を判定できるため、単純な画像の比較では困難であった１対多の散乱点の対応関係に適切な評価値を与えることができる効果を奏する。
【０１４６】
この実施の形態９では、式（１５）で補正散乱点間評価値を求める際に、ｇ、ｈを「１」とするものについて示したが、ｇ、ｈは任意の定数に設定してもよく、同様の効果を奏することができる。
この実施の形態９では、上記実施の形態１を基本に合成型相関評価値算出法保持部２１及び合成型相関行列生成ルール保持部２２を追加するものについて示したが、上記実施の形態２〜８に適用してもよく、同様の効果を奏することができる。
【０１４７】
実施の形態１０．
図２８はこの発明の実施の形態１０による画像評価装置を示す構成図であり、図において、図２７と同一符号は同一または相当部分を示しているので説明を省略する。
距離密度対応合成型相関評価値算出法保持部２３は距離密度拡張合成散乱点対応相関行列評価値算出法を保持している。距離密度対応合成型相関評価値算出法保持部２３は評価値算出手段を構成している。
【０１４８】
この実施の形態１０では、上記実施の形態９の合成型相関評価値算出法保持部２１が保持する合成散乱点対応相関行列評価値算出法を、距離密度対応合成型相関評価値算出法保持部２３が保持する距離密度拡張合成散乱点対応相関行列評価値算出法に代えている。
距離密度拡張合成散乱点対応相関行列評価値算出法では、合成散乱点対応相関行列評価値算出法の「合成算出法４」を「合成算出法５」に変更している。
【０１４９】
・合成算出法５
合成候補点の行で、「０」以外の評価値を複数個選択した場合、まず、「０」以外の評価値を選択した個数を「合成数」とする（合成算出法５−１。これは合成算出法４−１と同じ）。
次に、対象の行での「０」以外の評価値を再計算して修正する（合成算出法５−２）。ここでは、合成される基準点の間の「２点間の距離」及び「複数点の間の密度」と「合成数」を任意に組み合わせで選択し、任意の重み付け定数を設定して再計算法を定義する。また、説明を簡単にするため「複数点の間の密度」を利用した、以下の単純な方法で説明する。
まず、合成される基準点を頂点とする多角形の面積を求める（頂点が２点または直線上の場合は、１画素×両端までの長さとする）。
次に、下記の式（１６）で補正散乱点間評価値を求める。
補正散乱点間評価値＝評価値
／（ｇ×合成数^ｈ）×（合成数／多角形の面積） （１６）
ｇ、ｈは任意の定数を設定することが可能であり。この例では説明を簡単化するためともに「１」を設定する。
最後に、修正後の補正散乱点間評価値を使用して、基本パターンの算出ルール（算出法１から算出法３）で相関評価値を求める（合成算出法５−２）。
【０１５０】
この実施の形態１０におけるステップＳＴ３３の処理内容を、図８の散乱点相関行列に対して相関行列評価値を算出する例で説明する。
ここでは、図２９の「合成散乱点対応相関行列生成ルールで認められる散乱点相関行列」に対する評価値の算出だけを説明する。他の散乱点相関行列については、上記実施の形態１と同じであるため説明を省略する。
この実施の形態１０では、「合成散乱点対応相関行列生成ルールで認められる散乱点相関行列」の評価値算出で、合成算出法５を適用する。
【０１５１】
まず、評価対象点２で合成される基準点数が２個のため、「合成数」＝２となる（合成算出法５−１）。
次に、合成される基準点Ａと基準点Ｂを頂点とする多角形の面積を求める（２点のため、１画素×両者の距離）。
その後、式（１６）を使用して、対象の行（評価対象点２の行）の散乱点間評価値を補正散乱点間評価値に修正する（合成算出法５−２）。
【０１５２】
この実施の形態１０によれば、複数の散乱点情報が合成された散乱点を考慮して散乱点の対応関係を判定でき、かつ、合成される正解画像の散乱点間の距離や密度を考慮して超解像画像の評価値を決定できるため、合成が起きる状況をより適切に超解像画像の評価値に反映することができる効果を奏する。
また、散乱点の対応関係を決定する際にも、正解画像の散乱点間の距離や密度を考慮した評価値をベースに優劣を決定するため、より適切な対応関係を判定することができる効果を奏する。
【０１５３】
この実施の形態１０では、合成算出法５での補正散乱点間評価値の算出で、「複数点の間の密度」を利用した単純な方法で説明したが、合成される基準点の間の「２点間の距離」及び「複数点の間の密度」と「合成数」を任意に組み合わせで選択し、任意の重み付け定数を設定した算出方法を定義することが可能であり、同様の効果を奏することができる。
例えば、合成される基準点の間の「２点間の距離」の総和を、補正散乱点間評価値の算出に反映させる算出方法も定義可能である。
この実施の形態１０では、式（１６）で補正散乱点間評価値を求める際に、ｇ、ｈを「１」とするものについて示したが、ｇ、ｈは任意の定数を設定してもよく、同様の効果を奏することができる。
【０１５４】
実施の形態１１．
図３１はこの発明の実施の形態１１による画像評価装置を示す構成図であり、図において、図２７と同一符号は同一または相当部分を示しているので説明を省略する。
合成点判定ルール設定対応相関行列生成ルール保持部２４は可変合成散乱点判定ルール対応相関行列生成ルールを保持している。なお、合成点判定ルール設定対応相関行列生成ルール保持部２４は評価値算出手段を構成している。
【０１５５】
この実施の形態１１では、上記実施の形態９における合成型相関行列生成ルール保持部２２の代わりに、合成点判定ルール設定対応相関行列生成ルール保持部２４を加えたものであり、合成点判定ルール設定対応相関行列生成ルール保持部２４が保持する可変合成散乱点判定ルール対応相関行列生成ルールは、上記実施の形態９における合成散乱点対応相関行列生成ルールの合成ルール４で、合成点判定値の算出方法を任意に設定できるように変更したものである。
このため、合成ルール４を次の合成ルール４αに変更することができる。なお、基本相関行列生成ルールの「ルール２」と「ルール３」と合成散乱点対応相関行列生成ルールの合成ルール５は、そのまま有効である。
【０１５６】
・合成ルール４α
基準点が２個以上のクラスタにおいて、散乱点相関行列で「０」以外の評価値が複数設定されている行の評価対象点で、合成点判定値を算出する。この合成点判定値が合成判定閾値よりも大きい場合、評価対象点を合成候補点とする。
この合成点判定値の算出では、対象の評価対象点の「ピークの大きさ」に加えて、合成時に対応する複数の基準点と対象の評価対象点の間の「散乱点間評価値」や「距離の差」、合成時に対応する複数の基準点どうしの「距離」や「密度（密集の程度）」などを任意に組み合わせて、任意の重み付けをした合成点判定値の算出法を指定できる。
また、合成判定閾値は、合成評価対象点となる可能性がある散乱点を判定するための閾値であり、超解像の割合、ＳＡＲのセンサの緒元、データ生成シミュレーションの条件、合成点判定値の算出方法などから任意に設定する。
【０１５７】
ここでは、合成ルール４αで合成候補点が選定されることが上記実施の形態９と異なる。
これにより、ステップＳＴ３２の処理において、散乱点相関行列生成時に合成候補点と判定される評価対象点が上記実施の形態９と異なる場合がある。
ただし、散乱点相関行列の生成方法や評価値の算出方法など、処理手順と方法は上記実施の形態９と同じであるため説明を省略する。
【０１５８】
この実施の形態１１によれば、複数の散乱点情報が合成された散乱点を考慮して散乱点の対応関係を判定する際に、合成された散乱点を決定する基準の値を様々なパラメータを組み合わせて設定することができるため、より適切な合成散乱点の判定基準を定めることができる効果を奏する。
散乱点の合成では、対象の評価対象点の「ピークの大きさ」や、合成対象の複数の基準点どうしの「距離」や「密度（密集の程度）」、合成対象の複数の基準点と対象の評価対象点の間の「散乱点間評価値」や「距離の差」など、判定の指標となり得るパラメータが多くある。これらのパラメータを任意に組み合わせて、合成点判定値の算出法を決定することで、より適切な合成散乱点の判定基準を定めることができる。
【０１５９】
この実施の形態１１では、上記実施の形態９を基本に合成点判定ルール設定対応相関行列生成ルール保持部２４を追加するものについて示したが、上記実施の形態１０に適用しても同様の効果を奏することができる。
【０１６０】
実施の形態１２．
図３２はこの発明の実施の形態１２による画像評価装置を示す構成図であり、図において、図１と同一符号は同一または相当部分を示しているので説明を省略する。
入力画像管理部２５は超解像処理に対する入力画像（原画像）と、その入力画像の散乱点に関する散乱点情報を保持している。入力画像クラスタ範囲算出部２６は算出したクラスタに対応する入力画像の領域を算出する。入力画像対応相関評価値算出法保持部２７は、入力画像での散乱点数と超解像画像で検出した散乱点数を比較した結果を反映できる散乱点相関行列に対する相関評価値算出法を保持している。なお、入力画像管理部２５、入力画像クラスタ範囲算出部２６及び入力画像対応相関評価値算出法保持部２７は評価値算出手段を構成している。
【０１６１】
この実施の形態１２では、入力画像からの改善率を評価するため、上記実施の形態１における基本相関行列評価値算出法から、入力画像対応相関評価値算出法保持部２７が保持する入力対応相関行列評価値算出法に代えている。
入力対応相関行列評価値算出法では、基本相関行列評価値算出法の「算出法３」を無効にし、次の「入力算出法４」と「入力算出法５」を追加している（基本相関行列評価値算出法の算出法１と算出法２は有効）。
【０１６２】
・入力算出法４
まず、基準点が２個以上のクラスタで、対応する範囲の入力画像での散乱点の数「原画像散乱点数」をカウントする（入力算出法４−１）。
次に下記の式（１７）で「解像度改善数」を算出する（入力算出法４−２）。
「解像度改善数」＝
（評価値「０」以外の要素を含む列の数）−「原画像散乱点数」 （１７）
最後に、下記の式（１８）で「解像度改善数評価値」を算出する（入力算出法４−３）。
「解像度改善数評価値」＝「解像度改善数」^ｐ×解像度改善評価係数（１８）
ここで、ｐは任意の定数であり、説明の簡単化のため「１」を設定する。なお、解像度改善評価係数は原画像よりも解像度が改善したときに、ボーナスとして加える（正）の評価値の係数である。超解像の割合、ＳＡＲのセンサの緒元、データ生成シミュレーションの条件などを考慮して設定する。
・入力算出法５
下記の式（１９）で相関評価値を算出する。
相関評価値＝
「散乱点評価値」＋「正解消失評価値」＋「解像度改善数評価値」（１９）
【０１６３】
この実施の形態１２におけるステップＳＴ３３の処理内容を説明する。
相関行列管理部８は、クラスタ管理部９を参照して、処理対象のクラスタでの基準点の位置情報を入手し、この位置情報に基づいてクラスタに対応する入力画像の領域を算出するように、入力画像クラスタ範囲算出部２６に指示する。
入力画像クラスタ範囲算出部２６は、相関行列管理部８から入力画像の領域算出指示を受けると、超解像の割合（入力画像を何倍に拡張しているか）と、基準点の位置情報（超解像画像での位置情報）から、クラスタに対応する入力画像の領域を算出し、その算出結果を相関行列管理部８に出力する。
【０１６４】
相関行列管理部８は、入力画像クラスタ範囲算出部２６から入力画像の領域を受け取ると、入力画像管理部２５に保持されている入力画像の散乱点情報を参照して、クラスタに対応する入力画像の散乱点の個数をカウントする。
なお、ここまでの処理は、１つのクラスタで共通のため、最初に１度実行して、クラスタに対応する入力画像の散乱点の個数を覚えておき、以後の処理で利用するように実現してもよい。
相関行列管理部８は、クラスタに対応する入力画像の散乱点の個数が判明すると、その個数を「原画像散乱点数」とする（入力算出法４−１）。
【０１６５】
次に、相関行列管理部８は、評価値算出対象として選択されている散乱点相関行列で、評価値「０」以外の要素を含む列の数をカウントし、式（１７）を使用して「解像度改善数」を求める（入力算出法４−２）。
その後で、相関行列管理部８は、式（１８）を使用して、「解像度改善数評価値」を求める（入力算出法４−３）。
また、相関行列管理部８は、基本相関行列評価値算出法の算出法１と算出法２を使用して、上記実施の形態１と同じ手順で「散乱点評価値」と「正解消失評価値」を求める。
ここで、入力算出法４−１から入力算出法４−３を使って「解像度改善数」を求める処理と、算出法１と算出法２を使って「散乱点評価値」と「正解消失評価値」を求める処理は、どちらを先に実行しても構わない。
【０１６６】
相関行列管理部８は、「散乱点評価値」と「正解消失評価値」と「解像度改善数」を算出すると、式（１９）を使用して、相関評価値を求める（入力算出法５）。ここでは、「解像度改善数」の分だけ、相関行列評価値が上記実施の形態１から変動する。
【０１６７】
この実施の形態１２の画像評価装置の効果を図３３を用いて説明する。
図３３のケース１では、入力画像の散乱点数が２個であるのに対して、様々なパターンで超解像処理を行った結果、超解像画像の散乱点（評価対象点）が１個から５個（実行パターン１から実行パターン５）となった例を示している。なお、この入力画像に対する正解画像の散乱点数は４個である。
ケース２では、入力画像の散乱点数が４個であるのに対して、様々なパターンで超解像処理を行った結果、超解像画像の散乱点（評価対象点）が１個から５個（実行パターン１から実行パターン５）となった例を示している。この入力像に対する正解画像の散乱点数も４個である。
【０１６８】
上記実施の形態１〜８の画像評価装置を使用して評価した場合について説明する。
上記実施の形態１〜８の画像評価装置では、基本的に正解画像との対応関係だけで、評価値を決定していくものである。したがって、対応関係がある散乱点評価値の積と、発見できなかった散乱点のペナルティを引いた評価値となる。このため、ケース１の実行パターン４とケース２の実行パターン８など、見つかった散乱点数が同じ場合には、比較的近い値の評価値となる可能性が高い。
一方で、この実施の形態１２の画像評価装置では、発見した散乱点の個数を入力画像と比較して解像度改善数を算出し、この解像度改善数を反映した評価値を利用する。このため、ケース１の実行パターン４とケース２の実行パターン８のように、同じ正解が４で発見が２のケースでも、入力画像からの改善の度合いによって評価値に差をつけることができる。
このように、この実施の形態１２の画像評価装置では、入力画像からの改善の度合いを考慮して、評価値を決定することができる利点がある。
【０１６９】
この実施の形態１２によれば、入力画像からの改善の度合いを考慮して、超解像画像を評価することができるが、解像度の向上を目的とする超解像処理では、正解画像との一致の度合いとともに、入力画像からの改善の度合いも、処理結果の評価の重要な指標である。本装置を利用することで、電波画像の超解像処理での入力画像からの改善度合いを、正解画像との一致の度合いと組み合わせて評価することができる効果を奏する。
【０１７０】
この実施の形態１２では、式（１８）でｐを「１」とするものについて示したが、ｐは任意の定数を設定してもよく、同様の効果を奏することができる。
また、この実施の形態１２では、上記実施の形態１の構成に入力画像管理部２５等を追加するものについて示したが、上記実施の形態２〜８に適用しても同様の効果を奏することができる。
【０１７１】
実施の形態１３．
図３４はこの発明の実施の形態１３による画像評価装置を示す構成図であり、図において、図３２と同一符号は同一または相当部分を示しているので説明を省略する。
合成散乱点用入力画像対応相関評価値算出法保持部２８は入力画像での散乱点数と超解像画像で検出した散乱点数及び合成散乱点に対応する入力画像での散乱点数を考慮して評価値を決定する相関評価値算出法を保持している。なお、合成散乱点用入力画像対応相関評価値算出法保持部２８は評価値算出手段を構成している。
【０１７２】
この実施の形態１３は、基本的には上記実施の形態９と同じであるが、ステップＳＴ３３の処理において、各散乱点相関行列の評価値を算出する際に、相関行列管理部８が、合成散乱点用入力画像対応相関評価値算出法保持部２８の保持内容を参照して評価値を算出する点が異なる。
合成散乱点用入力画像対応相関評価値算出法保持部２８では、上記実施の形態９における合成型相関評価値算出法保持部２１に保持されている合成算出法４での補正散乱点間評価値の算出方法（式（１５））を次のように変更している。
合成解像度改善数＝
合成される基準点の数−対応する入力画像での散乱点の個数 （２０）
補正散乱点間評価値＝
評価値／（ｇ×合成数^ｈ）×（Ｖ×合成解像度改善数^Ｔ） （２１）
ここで、ｇ、ｈ、Ｖ、Ｔは任意の定数を設定することが可能であり、この例では説明の簡単化のためともに「１」を設定する。
【０１７３】
この実施の形態１３によれば、超解像画像で検出した散乱点数及び合成散乱点に対応する入力画像での散乱点数を考慮して評価値を決定することができる。
この実施の形態１３では、式（２１）でｇ、ｈ、Ｖ、Ｔを「１」に設定するものについて示したが、ｇ、ｈ、Ｖ、Ｔは任意の定数を設定してもよく、同様の効果を奏することができる。
また、この実施の形態１３では、上記実施の形態９の構成に合成散乱点用入力画像対応相関評価値算出法保持部２８を追加するものについて示したが、上記実施の形態１０，１１に適用しても同様の効果を奏することができる。
【０１７４】
実施の形態１４．
図３５はこの発明の実施の形態１４による画像評価装置を示す構成図であり、図において、図３２と同一符号は同一または相当部分を示しているので説明を省略する。
入力画像ノイズ算出部２９は入力画像管理部２５に保持されている入力画像からノイズとなる散乱点の情報を抽出する。なお、入力画像ノイズ算出部２９は評価値算出手段を構成している。
図３５では図示していないが、実際には図２１のノイズ対応相関評価値算出法保持部１６または図２２のクラスタ外ノイズ評価部１７が実装されている。
【０１７５】
この実施の形態１４におけるノイズ対応相関評価値算出法保持部１６またはクラスタ外ノイズ評価部１７では、入力画像ノイズ算出部２９により抽出されたノイズとなる散乱点の情報から、ノイズ判定の評価値を補正して算出する。
この実施の形態１４によれば、入力画像でのノイズとなる散乱点の情報を考慮して評価値を決定することができるため、超解像画像に現れたノイズが、入力画像の情報を反映したものか、入力画像とは無関係に処理アルゴリズムの計算で現れたのかなどを、超解像画像の評価値に反映させることできる。したがって、ノイズに対する評価をより正確に行える効果を奏する。
【０１７６】
この実施の形態１４では、上記実施の形態１２の構成に入力画像ノイズ算出部２９等を追加するものについて示したが、上記実施の形態１３の構成に入力画像ノイズ算出部２９と、ノイズ対応相関評価値算出法保持部１６やクラスタ外ノイズ評価部１７を追加するようにしてもよく、同様の効果を奏することができる。
【０１７７】
実施の形態１５．
図３６はこの発明の実施の形態１５による画像評価装置を示す構成図であり、図において、図１と同一符号は同一または相当部分を示しているので説明を省略する。
可変頂点情報算出部３０は超解像画像及び正解画像から散乱点を検出する検出方法の設定を受け付けるとともに、その検出方法を使用して散乱点を検出する。なお、可変頂点情報算出部３０は散乱点検出手段を構成している。
【０１７８】
この実施の形態１５では、ステップＳＴ１の初期化処理において、可変頂点情報算出部３０が正解画像管理部２及び超解像画像管理部３の記録内容を参照して、散乱点を検出する方法を任意に設定して散乱点情報を生成することができる。なお、初期化処理において、散乱点を生成する以外の処理手順は、上記実施の形態１と同じであるため詳細な動作の説明は省略する。
【０１７９】
この実施の形態１５では、画像データから散乱点を検出する方法を任意に設定して散乱点情報を生成できるため、特定のケースで超解像画像の評価をより正確に行える効果を奏する。
例えば、パワーの大きさの傾きだけで散乱点を判定することを考える。散乱点が密集して存在している場合には、本来散乱点と認識されるべき画素が隣接してしまうことがある。この場合、隣接した画素よりも大きいものは、散乱点となるが、小さい方は散乱点として検出されない。散乱点として検出されない情報は、ノイズにも正解としても反映されないため、パワーの大きな画素の情報が埋もれてしまうことになる。
一方で、パワーの大きさの傾きに加えて、一定の大きさ以上のピークは散乱点とするような設定で散乱点を抽出すれば、上記のような密集したケースでも、散乱点として抽出することができる。
散乱点として検出すれば、この実施の形態１５の画像評価装置を使用して、散乱点の間での対応関係を調べ、超解像画像の評価値にその情報が反映される。
【０１８０】
同じ超解像画像に対して、散乱点の抽出方法を変えて評価を行って比較することも、超解像画像の評価を行う上で有効である。
例えば、上記の例で、パワーの大きさの傾きだけで散乱点を判定するものと、一定の大きさ以上のピークも散乱点とする例で評価値を比較する。
仮に、ピークの大きな散乱点がまばらに分布するような画像では、両者の評価値は大きくは変わらない。一方で、ピークの大きな画素が密集しているようなケースでは、両者の評価値が大きく異なる可能性が高い。
このように、散乱点の切り出しを変えることで、評価対象の画像のデータによる影響を推測することもできるようになる。
【０１８１】
また、逆に、パワーの大きさの傾きが増加から減少に転じる条件に加えて、その点で一定の大きさ以上のピークを有する場合にのみ、散乱点とすることで有利な例もある。
例えば、散乱点に対してピークの小さなノイズ情報がたくさんあるために、評価の計算に時間がかかるケースでは、ピークの小さな頂点を評価対象からはずすことで、計算を効率良く実行できることがある。
このような情報を蓄積することで、評価値を算出するのに適切な散乱点の抽出方法を選択できる効果を奏する。
このように、散乱点として検出する情報を調整することで、より適切な条件で超解像画像の評価を行うことができるようになる。
この実施の形態１５では、上記実施の形態１の構成に可変頂点情報算出部３０を追加するものについて示したが、上記実施の形態２〜１４に適用しても、同様の効果を奏することができる。
【０１８２】
実施の形態１６．
図３７はこの発明の実施の形態１６による画像評価装置を示す構成図であり、図において、図１と同一符号は同一または相当部分を示しているので説明を省略する。
判定規則管理設定部３１は各散乱点の間での評価値の算出方法と散乱点判定行列及びクラスタの生成・更新条件での各種パラメータの値や閾値や係数の値を管理し、これらの値を外部から変更できるインタフェースを提供する。なお、判定規則管理設定部３１は判定行列生成手段を構成している。
【０１８３】
この実施の形態１６における判定規則管理設定部３１は、判定基準保持部４に対して、各散乱点の間での評価値の算出方法と散乱点判定行列、及びクラスタの生成・更新条件での各種パラメータの値や閾値や係数の値を記録している。
また、判定規則管理設定部３１は、これらの値を操作するためのインタフェースがあり、外部から更新の指示を受けると、ステップＳＴ１の初期化処理において、判定基準保持部４に保持される上記記録内容を変更する。
例えば、上記実施の形態１での式（１）のパラメータを変更して、距離の差に反比例した値を散乱点間評価値とするような変更を行える。
なお、判定規則管理設定部３１がステップＳＴ１の初期化処理において、各種パラメータの値や閾値や係数の値を変更した後の手順は、上記実施の形態１と同じであるため詳細な動作の説明は省略する。
【０１８４】
この実施の形態１６によれば、各散乱点の間での評価値の算出方法と散乱点判定行列及びクラスタの生成・更新条件での各種パラメータの値や閾値や係数の値として、任意の値を設定することができるが、ここで設定する値は、評価値算出の基礎となる散乱点判定行列での生成条件である。この条件を任意に設定できることで、超解像画像の評価をより柔軟に行える効果を奏する。
この実施の形態１６では、上記実施の形態１の構成に判定規則管理設定部３１を追加するものについて示したが、上記実施の形態２〜１５に適用しても同様の効果を奏することができる。
【０１８５】
実施の形態１７．
図３８はこの発明の実施の形態１７による画像評価装置を示す構成図であり、図において、図１等と同一符号は同一または相当部分を示しているので説明を省略する。
相関評価管理設定部３２は各相関評価値算出法での各種パラメータの値や閾値や係数の値を管理し、外部からこれらの値を変更することで各算出法を任意に設定でき、かつ、複数の算出法を任意の組み合わせで選択し、各相関評価値算出法の評価値の間での重み付けを設定するインタフェースを提供する。なお、相関評価管理設定部３２は評価値算出手段を構成している。
【０１８６】
この実施の形態１７における相関評価管理設定部３２は、ノイズ対応相関評価値算出法保持部１６に対して、ノイズ対応相関行列評価値算出法でのノイズ評価係数を記録し、また、分離距離対応相関評価値算出法保持部１８に対して、式（９）の定数ｄや分離評価係数などのパラメータの値や任意の値を設定するインタフェースを提供する。
また、ノイズ対応相関行列評価値算出法での「ノイズ評価値」と基準点間距離対応相関行列評価値算出法での「２点分離評価値」の重み付けを任意に設定するインタフェースも提供する。
【０１８７】
この実施の形態１７では、相関行列管理部８がステップＳＴ３３の処理において、各散乱点相関行列の評価値を算出する際に、相関評価管理設定部３２が設定したノイズ評価係数や、式（９）の定数ｄや分離評価係数などのパラメータの値を使用して、ノイズ対応相関評価値算出法保持部１６と分離距離対応相関評価値算出法保持部１８の両方のルールで評価値を算出する。
さらに、相関評価管理設定部３２により設定された両者の重み付け情報を得て、両方のルールで算出した評価値から、最終的な評価値を算出する。
なお、上記の評価値算出のためのパラメータ等の設定とステップＳＴ３３での算出に関する部分以外は、上記実施の形態１と同様であるため説明を省略する。
【０１８８】
この実施の形態１７によれば、各相関評価値算出法での各種パラメータの値や閾値や係数の値を管理し、外部からこれらの値を変更することで各算出法を任意に設定でき、かつ、複数の算出法を任意の組み合わせで選択し、各相関評価値算出法の評価値の間での重み付けも設定できるため、超解像画像の評価をより柔軟に行える効果を奏する。
【０１８９】
この実施の形態１７では、上記実施の形態１の構成に相関評価管理設定部３２等を追加するものについて示したが、上記実施の形態２〜１５に適用しても同様の効果を奏することができる。
また、相関評価値算出法を保持する手段として、ノイズ対応相関評価値算出法保持部１６と分離距離対応相関評価値算出法保持部１８とを加えるものについて示したが、他の実施の形態の相関評価値算出法を、任意の個数で、任意の組み合わせで加えても、相関行列管理部８は対応することが可能であるため同様の効果を奏することができる。
【０１９０】
実施の形態１８．
図３９はこの発明の実施の形態１８による画像評価装置を示す構成図であり、図において、図１等と同一符号は同一または相当部分を示しているので説明を省略する。
動的判定相関評価管理設定部３３は評価実行中に処理対象の画像データに依存して、各散乱点の間での評価値の算出方法と散乱点判定行列、及びクラスタの生成・更新条件や相関評価値算出法の切り替えの設定及び指示を行う。なお、動的判定相関評価管理設定部３３は設定変更手段を構成している。
【０１９１】
この実施の形態１８では、ステップＳＴ１の初期化処理において、動的判定相関評価管理設定部３３を使用することにより、処理対象の画像データに依存して、各散乱点の間での評価値の算出方法と散乱点判定行列及びクラスタの生成・更新条件や相関評価値算出法を切り替える判断基準と、切り替え方法を設定することができる。
動的判定相関評価管理設定部３３は、選択された切り替えの判断基準を画像評価部１０経由で、正解画像管理部２と相関行列管理部８に出力する。
この実施の形態１８では、正解画像管理部２が切り替えの判断基準を調査しながらステップＳＴ２の処理を進行し、相関行列管理部８が切り替えの判断基準を調査しながらステップＳＴ３の処理を進行する。
正解画像管理部２及び相関行列管理部８は、切り替えの判断基準を満足すると、条件が満足した旨を動的判定相関評価管理設定部３３に通知する。
【０１９２】
動的判定相関評価管理設定部３３は、正解画像管理部２及び相関行列管理部８から通知を受け取ると、設定済みの切り替え方法を参照し、判定規則管理設定部３１と相関評価管理設定部３２を使用して、必要なパラメータ等の変更を行う。動的判定相関評価管理設定部３３は、変更が完了すると完了通知を正解画像管理部２と相関行列管理部８に出力する。
正解画像管理部２及び相関行列管理部８は、動的判定相関評価管理設定部３３から完了通知を受け取ると、それぞれの処理を進める。
なお、各ステップでの詳細な動作は、上記実施の形態１と同じであるため説明を省略する。
【０１９３】
この実施の形態１８によれば、評価実行中に、処理対象の画像データに依存して、各散乱点の間での評価値の算出方法と散乱点判定行列及びクラスタの生成・更新条件や相関評価値算出法の切り替えの設定・指示ができるるため、超解像画像を散乱点を基準に比較する場合には、散乱点の密集密度などにより、評価値での重み付けを変更することで、より適切な評価値を算出することができる効果を奏する。
また、評価実行中に、評価対象の画像の状況に適した評価条件を動的に選択することができれば、このようなケースで、より適切な評価値を算出することができる効果を奏する。
【０１９４】
この実施の形態１８では、上記実施の形態１の構成に動的判定相関評価管理設定部３３等を追加するものについて示したが、上記実施の形態２〜１５に適用しても同様の効果を奏することができる。
【０１９５】
実施の形態１９．
図４０はこの発明の実施の形態１９による画像評価装置を示す構成図であり、図において、図３７と同一符号は同一または相当部分を示しているので説明を省略する。
入力条件対応判定相関評価管理設定部３４は超解像処理で利用したアルゴリズムやセンサの緒元やデータ生成時のシミュレーションの条件などの前提条件から、評価で利用する各種パラメータを選択する。
【０１９６】
この実施の形態１９における入力条件対応判定相関評価管理設定部３４は、超解像処理で利用したアルゴリズムやセンサの緒元やデータ生成時のシミュレーションの条件などの前提条件から、評価で利用する各種パラメータを自動的に選択する。
この実施の形態１９では、入力条件対応判定相関評価管理設定部３４が超解像処理で利用したアルゴリズムやセンサの緒元やデータ生成時のシミュレーションの条件などの前提条件から、散乱点判定行列の生成ルールでのパラメータの値を決定すると、判定規則管理設定部３１を使用して、その決定した値を判定基準保持部４に反映させる。
なお、判定規則管理設定部３１を使用して、散乱点判定行列の生成ルールを変更する手順や変更後の超解像処理の評価手順は、上記実施の形態１６と同じであるため説明を省略する。
【０１９７】
この実施の形態１９によれば、超解像処理で利用したアルゴリズムやセンサの緒元やデータ生成時のシミュレーションの条件などの前提条件から、評価で利用する各種パラメータを選択できるが、超解像装置の評価では、シミュレーションによる正解画像と超解像画像を比較して評価値を決定する。このため、シミュレーションの条件などの前提条件から、適切な評価値算出のパラメータが分かるケースもある。このようなケースでは、適切な評価値算出のパラメータを設定して、超解像処理の評価を行える効果を奏する。
【０１９８】
この実施の形態１９では、上記実施の形態１６の構成に入力条件対応判定相関評価管理設定部３４を追加するものについて示したが、上記実施の形態１７，１８に適用しても同様の効果を奏することができる。
【０１９９】
実施の形態２０．
図４１はこの発明の実施の形態２０による画像評価装置を示す構成図であり、図において、図１と同一符号は同一または相当部分を示しているので説明を省略する。
相関行列保存部３５は超解像画像の評価処理中に算出された散乱点相関行列及び散乱点相関行列生成時のクラスタ管理部９の情報を記録する。相関評価値算出法制御部３６は相関行列保存部３５に記録されている散乱点相関行列の情報を使用して、散乱点相関行列に対する評価値の算出方法やそのパラメータの値を変えて、超解像画像に対する評価値を再計算する。なお、相関行列保存部３５及び相関評価値算出法制御部３６は評価値算出手段を構成している。
【０２００】
この実施の形態２０では、相関行列管理部８は、画像評価部１０から指示されてステップＳＴ３１の処理を開始するときに、クラスタ管理部９の内容を記録するように相関行列保存部３５に指示してから、以後の処理を開始する。
また、ステップＳＴ３３の処理において、散乱点相関行列を生成する度に、その散乱点相関行列を相関行列保存部３５に記録する。
相関行列保存部３５では、クラスタ別に散乱点相関行列を記録する。ここでは、算出した全ての散乱点相関行列を記録する。
【０２０１】
評価作業実行中に、上記の作業を実行することで、超解像画像の評価処理中に算出した散乱点相関行列及び散乱点相関行列生成直前のクラスタ管理部９の情報が相関行列保存部３５に記録される。
相関評価値算出法制御部３６は、一旦評価作業が終わった後で、散乱点相関行列に対する評価値の算出方法やそのパラメータの値を変えて、超解像画像に対する評価値を再計算したい時に使用する。
ここでは、既に１回以上通常の超解像画像の評価作業が完了していて、かつ、その情報が相関行列保存部３５に記録されていることが前提になる。
【０２０２】
再計算は次の手順で実行する。
まず、相関評価値算出法制御部３６は、クラスタ管理部９と相関行列保存部３５に対して、クラスタ管理手段９の内容を相関行列保存部３５に記録された状態に設定するように指示を与える。
相関行列保存部３５は、相関評価値算出法制御部３６から指示を受けると、自己の内部に記録された情報をクラスタ管理部９に設定する。クラスタ管理部９に対する設定が終了すると、その旨を相関評価値算出法制御部３６に通知する。
【０２０３】
相関評価値算出法制御部３６は、相関行列保存部３５からのクラスタの設定完了通知を受け取ると、再計算を開始する。
この再計算の処理内容は、基本的にステップＳＴ３３の処理と同じである。ただし、ステップＳＴ３２の処理では、散乱点相関行列の生成は行わず、相関行列保存部３５に記録されている散乱点相関行列を１個づつ取出して実行する。
散乱点相関行列を取出した後のステップＳＴ３３，ＳＴ３４は、相関行列管理部８と同じである。
【０２０４】
相関行列保存部３５では、散乱点相関行列をクラスタ別に記録している。このため、相関評価値算出法制御部３６は、各クラスタ単位で、ステップＳＴ３２〜ＳＴ３４の処理を行い、その評価結果を相関行列管理部８と同じように、クラスタ管理部９に記録する。
相関評価値算出法制御部３６の再計算は、相関行列保存部３５の散乱点相関行列に対して、評価値の再計算が終了するまで繰り返し実施する。
【０２０５】
この実施の形態２０によれば、超解像画像の評価処理中に算出した散乱点相関行列の処理結果を保持しておき、このデータを使って散乱点相関行列に対する評価値の算出方法やそのパラメータの値を変えた時の評価結果を効率良く算出できるため、同じ画像データに対して、散乱点相関行列に対する評価値の算出方法やそのパラメータの値を変えた時の評価値の再計算を容易、かつ、効率良く実行することができる効果を奏する。
クラスタが大きくなり、散乱点判定行列に含まれる基準点や評価対象点が増えると、そこから生成される散乱点判定行列も多くなる。このため、クラスタが大きくなるような画像データに対して、評価値の算出方法やそのパラメータの値を変えた時の評価結果を比較するために、評価値の再計算を最初からやり直すと実行時間がかかる。この実施の形態２０によれば、この再計算を効率良く実行できる効果を奏する。
【０２０６】
この実施の形態２０では、上記実施の形態１６の構成に相関評価値算出法制御部３６等を追加するものについて示したが、上記実施の形態２〜１５に適用しても同様の効果を奏することができる。
【０２０７】
実施の形態２１．
図４２はこの発明の実施の形態２１による画像評価装置を示す構成図であり、図において、図１と同一符号は同一または相当部分を示しているので説明を省略する。
判定行列保存部３７は超解像画像の評価処理中に算出された散乱点判定行列及び散乱点相関行列生成時のクラスタ管理部９の情報を記録する。相関ルール評価制御部３８は判定行列保存部３７に記録されている散乱点判定行列の情報を使用して、散乱点相関行列の生成ルールとその評価値の算出方法を変えて、超解像画像に対する評価値を再計算する。なお、判定行列保存部３７及び相関ルール評価制御部３８は評価値算出手段を構成している。
【０２０８】
この実施の形態２１では、判定行列生成部５は、ステップＳＴ２の処理を完了して画像評価部１０に通知するときに、判定行列保存部３７にクラスタ管理部９の内容を記録するように指示する。
判定行列保存部３７は、判定行列生成部５から通知を受け取ると、クラスタ管理部９から散乱点判定行列の情報を取り出して記録する。また、基準点表や評価点表の情報も同時に記録する。
評価作業実行中に、上記の作業を実行することで、超解像画像の評価処理中に算出された散乱点判定行列及び散乱点判定行列生成直後のクラスタ管理部９の情報が判定行列保存部３７に記録される。
【０２０９】
相関ルール評価制御部３８は、一旦評価作業が終わった後、散乱点相関行列に対する評価値の算出方法及び散乱点相関行列の生成ルールを変えて、超解像画像に対する評価値を再計算したい時に使用する。
ここでは、既に１回以上通常の超解像画像の評価作業が完了していて、かつ、その情報が判定行列保存部３７ に記録されていることが前提になる。
【０２１０】
再計算は次の手順で実行する。
まず、相関ルール評価制御部３８は、クラスタ管理手段９と判定行列保存部３７に対して、クラスタ管理部９の内容を判定行列保存部３７に記録された状態に設定するように指示を与える。
判定行列保存部３７は、相関ルール評価制御部３８から指示を受けると、自己の内部に記録された情報を使って、クラスタ管理部９の内容を設定する。クラスタ管理部９の内容設定が終了すると、その旨を相関ルール評価制御部３８に通知する。
【０２１１】
相関ルール評価制御部３８は、判定行列保存部３７からクラスタの設定完了通知を受け取ると、再計算を開始する。
この再計算の処理内容は、基本的にステップＳＴ３の処理と同じである。この再計算では、相関ルール評価制御部３８が通常実行時の相関行列管理部８でのステップＳＴ３の処理と同じ動作をする。
【０２１２】
この実施の形態２１によれば、超解像画像の評価処理中に算出された散乱点判定行列の処理結果を保持しておき、このデータを使って、散乱点相関行列の生成ルール及び散乱点相関行列に対する評価値の算出方法やそのパラメータの値を変えた時の評価結果を効率良く算出できるため、同じ画像データに対して、散乱点相関行列の生成ルール及び散乱点相関行列に対する評価値の算出方法やそのパラメータの値を変えたときに、評価値の再計算を容易に、かつ、効率良く実行することができる効果を奏する。
【０２１３】
この実施の形態２１では、上記実施の形態１の構成に相関ルール評価制御部３８等を追加するものについて示したが、上記実施の形態２〜１５に適用しても同様の効果を奏することができる。
【０２１４】
実施の形態２２．
図４３はこの発明の実施の形態２２による画像評価装置を示す構成図であり、図において、図１と同一符号は同一または相当部分を示しているので説明を省略する。
処理実行条件記録部３９は超解像処理で利用したアルゴリズムやＳＡＲセンサの緒元やデータ生成時のシミュレーションの条件及び評価した画像データといった超解像処理実行の条件の記録と検索を行う。評価環境データベース部４０は評価に利用された散乱点相関行列に対する評価値の算出手段や各種パラメータの値等の評価実行時の内部情報を処理実行条件記録部３９での入力条件と対応させて記録する。評価結果データベース部４１は処理実行条件記録部３９での入力条件と評価実行時の内部情報とに対応させて超解像画像の評価値を記録する。なお、処理実行条件記録部３９、評価環境データベース部４０及び評価結果データベース部４１から検索手段が構成されている。
【０２１５】
この実施の形態２２における画像評価部１０は、ステップＳＴ１の初期化作業として、処理実行条件記録部３９に対して、超解像処理で利用されたアルゴリズムやＳＡＲセンサの緒元やデータ生成時のシミュレーションの条件の他、評価された画像データといった超解像処理実行の条件（超解像処理実行の条件）を記録させる。
画像評価部１０は、全ての処理が終了したステップＳＴ４の処理の後（上記実施の形態５の場合は、ステップＳＴ５の処理の後）、その算出した画像に対する評価値を処理実行条件記録部３９に記録する。
【０２１６】
この際、処理実行条件記録部３９は、この実行情報に対する「実行ＩＤ番号」を設定する。そして、「実行ＩＤ番号」を送って、評価環境データベース部４０に、評価実行時の内部情報を記録するように指示する。
また、評価環境データベース部４０へは、「実行ＩＤ番号」とともに画像評価部１０から受け取った評価値を送り、記録するように指示する。
評価環境データベース部４０は、判定基準保持部４と相関評価値算出法保持部６と相関行列生成ルール保持部７とに保持されている散乱点判定行列と散乱点相関行列の生成条件や、評価値算出式等の評価実行時の内部情報を参照して記録する。
このとき、評価環境データベース部４０は、評価実行時の内部情報を「実行ＩＤ番号」と対応させて記録する。
【０２１７】
評価結果データベース部４１は、受け取った超解像画像に対する評価値を記録する。このとき、評価結果データベース部４１は、評価値を「実行ＩＤ番号」と対応させて記録する。
処理実行条件記録部３９は、評価環境データベース部４０と評価結果データベース部４１での処理完了を通知を受け取ると、自己が保持する超解像処理実行の条件に、「実行ＩＤ番号」の情報を付加して記録する。なお、超解像処理実行の条件には、複数の「実行ＩＤ番号」を記録することもできる。
「実行ＩＤ番号」の付加の処理終了後、処理実行条件記録部３９は、完了通知を画像評価部１０に送り、画像評価部１０は装置全体での処理を完了させる。
【０２１８】
ここまでの処理により、超解像処理で利用されたアルゴリズムやＳＡＲセンサの緒元やデータ生成時のシミュレーションの条件及び評価された画像データといった超解像処理実行の条件と、その条件に対応した超解像処理画像に対する評価値と評価実行時の内部情報を記録できる。
上記の記録処理により、既存の情報が蓄積されている場合、処理実行条件記録部３９は、情報の検索を実行することができる。この検索では、処理実行条件記録部３９は、検索のキーとして超解像処理実行の条件が与えられる。
【０２１９】
処理実行条件記録部３９は、検索のキーである超解像処理実行の条件と、内部で保持している超解像処理実行の条件を比較し、一致するもの、あるいは、最も近い条件を選択する。
処理実行条件記録部３９は、ここで選択した条件に対応した「実行ＩＤ番号」を使用して、超解像画像に対する評価値を評価結果データベース部４１から、評価実行時の内部情報を評価環境データベース部４０からそれぞれ取出し、検索結果として出力する。
【０２２０】
なお、評価結果データベース部４１と評価環境データベース部４０は、情報を「実行ＩＤ番号」と対応させて記録しているため、処理実行条件記録部３９からの指示に従って、容易に目的の情報を取り出すことができる。
この実施の形態２２によれば、超解像処理で利用されたアルゴリズムやＳＡＲセンサの緒元やデータ生成時のシミュレーションの条件及び評価された画像データといった超解像処理実行の条件をキーとして、超解像画像の評価値と、評価実行時の内部情報を記録できる一方、検索して取り出すことができる。このため、超解像処理実行の条件をキーとして、過去の超解像画像に対する評価結果を容易に検索することができる効果を奏する。
また、評価結果を算出したときの、評価装置内部の情報も容易に検索することができる効果を奏する。
【０２２１】
この実施の形態２２では、上記実施の形態１の構成に処理実行条件記録部３９等を追加するものについて示したが、上記実施の形態２〜１５に適用しても同様の効果を奏することができる。
【０２２２】
実施の形態２３．
図４４はこの発明の実施の形態２３による画像評価装置を示す構成図である。この実施の形態２３では、上記実施の形態２０，２１の手順で、相関評価値算出法制御部３６と相関行列保存部３５、または、相関ルール評価制御部３８と判定行列保存部３７が、散乱点相関行列の散乱点相関行列の生成ルールや評価値算出方法や評価で利用するパラメータの値を変えて、超解像画像に対する評価値を再計算し、再計算での評価結果を比較して、最適の散乱点相関行列の生成ルールや評価値算出方法や評価で利用するパラメータの値を決定する。
【０２２３】
次に、上記で決定した最適の散乱点相関行列の生成ルールや評価値算出方法や評価で利用するパラメータの値を、上記実施の形態１６，１７，１８の手順で、判定規則管理設定部３１、相関評価管理設定部３２または動的判定相関評価管理設定部３３が、判定基準保持部４、相関評価値算出法保持部６、相関行列生成ルール保持部７に設定する。
散乱点相関行列の生成ルールや評価値算出方法や評価で利用するパラメータの値を設定した後は、上記実施の形態１６，１７，１８の手順で、超解像画像の評価を行うことができる。
【０２２４】
この実施の形態２３によれば、評価値の再計算を効率的に行い、再計算結果から散乱点相関行列の生成ルール、算出方法、計算で利用するパラメータの値から最適のものを選択し、その選択した結果を実際の評価で利用する値やルールとして設定して、超解像画像を評価することができるため、再計算での最適な値の決定から、最適な値を装置内の各手段に設定するまでの操作を容易に行える効果を奏する。
【０２２５】
この実施の形態２３では、上記実施の形態１の構成に各手段を追加するものについて示したが、上記実施の形態２〜１５に適用しても同様の効果を奏することができる。
【０２２６】
実施の形態２４．
図４５はこの発明の実施の形態２４による画像評価装置を示す構成図である。この実施の形態２４では、上記実施の形態２２での記録操作が１回以上行われていて、処理実行条件記録部３９と評価環境データベース部４０と評価結果データベース部４１に既存の実行情報が蓄積されていることが前提となる。
この実施の形態２４では、まず、処理実行条件記録部３９へ超解像処理実行の条件が検索のキーとして与えられる。
この際、処理実行条件記録部３９は、上記実施の形態２２での検索操作を実施し、その検索のキーと一致するもの、あるいは、最も近い条件の超解像画像に対する評価値を評価結果データベース部４１から順次取り出すようにする。
【０２２７】
次に、取り出した評価値情報から、最適のものを選択する。この例では、最も評価値が高いものを最適とする例で説明する。
最も評価値が高いものを選択したのち、その「実行ＩＤ番号」から、これに対応する評価実行時の内部情報を評価環境データベース部４０から取り出すようにする。
この内部情報には、評価環境データベース部４０が、判定基準保持部４と相関評価値算出法保持部６と相関行列生成ルール保持部７とに保持されている散乱点判定行列と散乱点相関行列の生成条件や評価値算出式等の情報が含まれている。
【０２２８】
この実施の形態２４では、内部情報を取り出したのち、評価環境データベース部４０から取り出した評価実行時の内部情報である散乱点判定行列と散乱点相関行列の生成条件や評価値算出式等の情報を、上記実施の形態１６，１７，１８の手順で、判定規則管理設定部３１、相関評価管理設定部３２または動的判定相関評価管理設定部３３を使用して、判定基準保持部４、相関評価値算出法保持部６、相関行列生成ルール保持部７に設定する。
評価実行時の内部情報を設定した後は、上記実施の形態１６，１７，１８と同様の手順で超解像画像の評価を行うことができる。
【０２２９】
この実施の形態２４によれば、選択された超解像処理実行の条件に近い条件を検索し、検索された条件に対応するものから最適の評価値を選択し、選択した最適の評価値に対応する評価実行時の内部情報を抽出し、この内部情報に従って散乱点判定行列や散乱点相関行列の生成ルール、算出方法、計算で利用するパラメータの値を設定して超解像画像の評価ができるため、過去の実行情報から最適の評価条件を選択して、超解像画像を評価することができる効果を奏する。
【０２３０】
この実施の形態２４では、最も評価値が高いものを最適とするものについて示したが、最適な評価値の決定方法は任意のものを選択してもよく、同様の効果を奏することができる。
この実施の形態２４では、上記実施の形態１の構成に各手段を追加するものについて示したが、上記実施の形態２〜１５に適用しても同様の効果を奏することができる。
【０２３１】
実施の形態２５．
図４６はこの発明の実施の形態２５による画像評価装置を示す構成図であり、図において、図４３と同一符号は同一または相当部分を示しているので説明を省略する。
最適超解像処理選択部４２は入力画像に対する超解像処理を行う時の処理条件から処理実行条件記録部３９を参照して評価値が最大となる超解像手法を選択する。超解像実行制御部４３は最適超解像処理選択部４２により選択された手法で超解像処理を実行するように超解像画像処理装置４４に指示する。超解像画像処理装置４４は最適超解像処理選択部４２により選択された手法で超解像処理を実行する。なお、最適超解像処理選択部４２、超解像実行制御部４３及び超解像画像処理装置４４から超解像処理手段が構成されている。
【０２３２】
この実施の形態２５では、同じ入力画像に対して様々な条件で超解像処理を行い、それに対する評価の結果情報が処理実行条件記録部３９と評価環境データベース部４０と評価結果データベース部４１に記録されていることを前提とする。この記録の方法は上記実施の形態２２の方法と同じである。
この実施の形態２５では、最適超解像処理選択部４２が入力画像に対する超解像処理を行う時の処理条件から処理実行条件記録部３９を参照して、入力条件に近い条件での過去の評価結果を「実行ＩＤ番号」と共に入手する。この評価結果の検索方法は上記実施の形態２２の方法と同じである。
最適超解像処理選択部４２は、入手した評価結果から最適のものを選択する。ここでは、最も評価値が高いものを最適とする例で説明する。
【０２３３】
最適超解像処理選択部４２は、最も評価値が高いものに対する超解像方法を処理実行条件記録部３９を参照して入手する。
ここで、超解像方法は、処理実行条件記録部３９の超解像処理実行の条件に含まれる。また、検索のキーとしては、選択した評価値の「実行ＩＤ番号」を利用する。
処理実行条件記録部３９から超解像方法の情報を入手した最適超解像処理選択部４２は、超解像実行制御部４３に対して、指定の方法で超解像処理を実行するように指示する。
超解像実行制御部４３は、外部の装置である超解像画像処理装置４４へ指定の方法で超解像処理を実行するように伝える。
【０２３４】
この実施の形態２５によれば、新規に超解像処理を行うデータに対して、過去の評価結果から、最適の超解像方法を選択して実行するように指示することができる効果を奏する。
この実施の形態２５では、最も評価値が高いものを最適とするものについて示したが、最適な評価値の決定方法は任意のものを選択してもよく、同様の効果を奏することができる。
【０２３５】
【発明の効果】
以上のように、この発明によれば、超解像処理が施されている超解像画像の散乱点に関する散乱点情報と、その超解像画像に対応する正解画像の散乱点に関する散乱点情報とを参照して、その超解像画像の散乱点と正解画像の散乱点との組み合わせの可能性を示す散乱点判定行列をクラスタ別に生成する判定行列生成手段を設け、その散乱点判定行列から散乱点間の相関関係を示す散乱点相関行列をクラスタ別に生成し、その散乱点相関行列に対する評価値を算出するように構成したので、超解像処理が施されて解像度が高められている超解像画像を評価することができる効果がある。
【図面の簡単な説明】
【図１】この発明の実施の形態１による画像評価装置を示す構成図である。
【図２】画像評価部の処理内容を示すフローチャートである。
【図３】判定行列生成部の処理内容を示すフローチャートである。
【図４】相関行列管理部の処理内容を示すフローチャートである。
【図５】仮散乱点判定行列を示す説明図である。
【図６】消失評価値を設定した仮散乱点判定行列を示す説明図である。
【図７】判定行列の統合処理を示す説明図である。
【図８】散乱点相関行列を示す説明図である。
【図９】基準点表や評価対象点表を示す説明図である。
【図１０】基準点表や評価対象点表を示す説明図である。
【図１１】基準点表や評価対象点表を示す説明図である。
【図１２】生成可能な散乱点相関行列を示す説明図である。
【図１３】評価対象の画像や散乱点相関行列を示す説明図である。
【図１４】評価対象の画像や散乱点相関行列を示す説明図である。
【図１５】ゲート判定開始位置と前クラスタ終了位置が設けられている評価対象点表を示す説明図である。
【図１６】ＳＡＲ画像に超解像処理が施されている画像等を示す説明図である。
【図１７】単純に位置が最も近い頂点を選択する方法を示す説明図である。
【図１８】単純に位置が最も近い頂点を選択する方法を示す説明図である。
【図１９】この発明の実施の形態２による画像評価装置を示す構成図である。
【図２０】この発明の実施の形態３による画像評価装置を示す構成図である。
【図２１】この発明の実施の形態４による画像評価装置を示す構成図である。
【図２２】この発明の実施の形態５による画像評価装置を示す構成図である。
【図２３】画像評価部の処理内容を示すフローチャートである。
【図２４】この発明の実施の形態６による画像評価装置を示す構成図である。
【図２５】この発明の実施の形態７による画像評価装置を示す構成図である。
【図２６】この発明の実施の形態８による画像評価装置を示す構成図である。
【図２７】この発明の実施の形態９による画像評価装置を示す構成図である。
【図２８】この発明の実施の形態１０による画像評価装置を示す構成図である。
【図２９】合成型相関評価値算出法保持部及び合成型相関行列生成ルール保持部を利用することにより新たに算出される散乱点相関行列の一例を示す説明図である。
【図３０】評価対象の画像や散乱点相関行列を示す説明図である。
【図３１】この発明の実施の形態１１による画像評価装置を示す構成図である。
【図３２】この発明の実施の形態１２による画像評価装置を示す構成図である。
【図３３】各パターンの処理結果等を示す説明図である。
【図３４】この発明の実施の形態１３による画像評価装置を示す構成図である。
【図３５】この発明の実施の形態１４による画像評価装置を示す構成図である。
【図３６】この発明の実施の形態１５による画像評価装置を示す構成図である。
【図３７】この発明の実施の形態１６による画像評価装置を示す構成図である。
【図３８】この発明の実施の形態１７による画像評価装置を示す構成図である。
【図３９】この発明の実施の形態１８による画像評価装置を示す構成図である。
【図４０】この発明の実施の形態１９による画像評価装置を示す構成図である。
【図４１】この発明の実施の形態２０による画像評価装置を示す構成図である。
【図４２】この発明の実施の形態２１による画像評価装置を示す構成図である。
【図４３】この発明の実施の形態２２による画像評価装置を示す構成図である。
【図４４】この発明の実施の形態２３による画像評価装置を示す構成図である。
【図４５】この発明の実施の形態２４による画像評価装置を示す構成図である。
【図４６】この発明の実施の形態２５による画像評価装置を示す構成図である。
【符号の説明】
１ 頂点情報生成部、２ 正解画像管理部、３ 超解像画像管理部、４ 判定基準保持部（判定行列生成手段）、５ 判定行列生成部（判定行列生成手段）、６ 相関評価値算出法保持部（評価値算出手段）、７ 相関行列生成ルール保持部（評価値算出手段）、８ 相関行列管理部（評価値算出手段）、９ クラスタ管理部、１０ 画像評価部（画像評価手段）、１１ シミュレーション正解頂点情報管理部、１２ シミュレーション正解対応判定基準保持部（判定行列生成手段）、１３ シミュレーション正解対応相関評価値算出法保持部（評価値算出手段）、１４ シミュレーション・画像混合対応判定基準保持部（判定行列生成手段）、１５ シミュレーション・画像混合対応相関評価値算出法保持部（評価値算出手段）、１６ ノイズ対応相関評価値算出法保持部（評価値算出手段）、１７ クラスタ外ノイズ評価部（評価値算出手段）、１８ 分離距離対応相関評価値算出法保持部（評価値算出手段）、１９ 散乱点密集密度対応相関評価値算出法保持部（評価値算出手段）、２０ 移動方向対応相関評価値算出法保持部（評価値算出手段）、２１ 合成型相関評価値算出法保持部（評価値算出手段）、２２ 合成型相関行列生成ルール保持部（評価値算出手段）、２３ 距離密度対応合成型相関評価値算出法保持部（評価値算出手段）、２４ 合成点判定ルール設定対応相関行列生成ルール保持部（評価値算出手段）、２５ 入力画像管理部（評価値算出手段）、２６ 入力画像クラスタ範囲算出部（評価値算出手段）、２７ 入力画像対応相関評価値算出法保持部（評価値算出手段）、２８ 合成散乱点用入力画像対応相関評価値算出法保持部（評価値算出手段）、２９ 入力画像ノイズ算出部（評価値算出手段）、３０ 可変頂点情報算出部（散乱点検出手段）、３１ 判定規則管理設定部（判定行列生成手段）、３２ 相関評価管理設定部（評価値算出手段）、３３ 動的判定相関評価管理設定部（設定変更手段）、３４ 入力条件対応判定相関評価管理設定部、３５ 相関行列保存部（評価値算出手段）、３６ 相関評価値算出法制御部（評価値算出手段）、３７ 判定行列保存部（評価値算出手段）、３８ 相関ルール評価制御部（評価値算出手段）、３９ 処理実行条件記録部（検索手段）、４０ 評価環境データベース部（検索手段）、４１ 評価結果データベース部（検索手段）、４２ 最適超解像処理選択部（超解像処理手段）、４３ 超解像実行制御部（超解像処理手段）、４４ 超解像画像処理装置（超解像処理手段）。[0001]
TECHNICAL FIELD OF THE INVENTION
The present invention relates to an image evaluation device that evaluates a super-resolution image on which super-resolution processing has been performed.
[0002]
[Prior art]
As a conventional image evaluation device, a device that evaluates parameters and distortion correction accuracy in a reproduced image of a synthetic aperture radar (SAR) using simulation (see Patent Document 1 below) and a SAR reproduced image There is an apparatus for evaluating resolution, contrast, and the like (see Patent Document 2 below).
However, when a captured SAR reproduced image is subjected to super-resolution processing (for example, signal processing such as MUSIC (Multiple Signal Classification)), it may be converted to a high-resolution super-resolution image. These image evaluation devices cannot evaluate the super-resolution image.
[0003]
[Patent Document 1]
JP-A-58-179368 (pages 2 to 5, FIG. 1)
[Patent Document 2]
JP-A-60-195472 (pages 3 to 5, FIG. 1)
[0004]
[Problems to be solved by the invention]
Since the conventional image evaluation device is configured as described above, when an original image such as a SAR reproduced image is subjected to super-resolution processing and converted to a super-resolution image, the image is evaluated. There were issues such as being unable to do so.
[0005]
The present invention has been made in order to solve the above-described problems, and has as its object to obtain an image evaluation apparatus capable of evaluating a super-resolution image having been subjected to super-resolution processing and having an increased resolution. And
[0006]
[Means for Solving the Problems]
The image evaluation device according to the present invention includes: a scatter point information relating to a scatter point of a super-resolution image subjected to a super-resolution process; and a scatter point information relating to a scatter point of a correct image corresponding to the super-resolution image. Refer to, provided a determination matrix generating means for generating a scattering point determination matrix indicating the possibility of the combination of the scattering point of the super-resolution image and the scattering point of the correct image for each cluster, and the scattering point determination matrix A scattered point correlation matrix indicating the correlation between them is generated for each cluster, and an evaluation value for the scattered point correlation matrix is calculated.
[0007]
BEST MODE FOR CARRYING OUT THE INVENTION
Hereinafter, an embodiment of the present invention will be described.
Embodiment 1 FIG.
FIG. 1 is a configuration diagram showing an image evaluation apparatus according to Embodiment 1 of the present invention. In the figure, a vertex information generation unit 1 generates scattering point information on scattering points of a super-resolution image subjected to super-resolution processing. (The information indicating the position of the vertex and the power (the magnitude of the peak)) is calculated, and the scattering point information on the scattering point of the correct image corresponding to the super-resolution image is calculated. However, the correct image corresponding to the super-resolution image is generated by performing a simulation, for example. In the first embodiment, for convenience of explanation, the scattering points of the super-resolution image are referred to as “evaluation points”, and the scattering points of the correct image are referred to as “reference points”.
[0008]
The correct answer image management unit 2 holds the image data of the correct answer image and also holds the scatter point information on the reference point calculated by the vertex information generation unit 1 or the scatter point information on the externally input reference point. The super-resolution image management unit 3 holds the image data of the super-resolution image, and also holds the scattering point information on the evaluation target point calculated by the vertex information generation unit 1 or the scattering point information on the evaluation target point input externally. I do.
The judgment criterion holding unit 4 holds default judgment matrix generation rules (basic judgment rules), cluster generation / update conditions, and the like. The judgment matrix generation unit 5 generates scattering point information on the reference point of the correct image and scattering points on the evaluation target point of the super-resolution image in accordance with the basic judgment rule, cluster generation / update conditions, and the like held in the judgment reference holding unit 4. From the information, a scattering point determination matrix indicating the possibility of a combination of the evaluation target point and the reference point is generated for each cluster. Note that the determination criterion generation unit includes the determination criterion holding unit 4 and the determination matrix generation unit 5.
[0009]
The correlation evaluation value calculation method holding unit 6 holds a default correlation evaluation value calculation method (basic correlation matrix evaluation value calculation method), and the correlation matrix generation rule holding unit 7 stores a default scattering point correlation matrix generation rule (basic correlation matrix generation method). Rules). The correlation matrix management unit 8 performs scattering point correlation indicating a correlation between scattering points from the scattering point determination matrix generated by the determination matrix generation unit 5 according to the basic correlation matrix generation rule stored in the correlation matrix generation rule storage unit 7. Generate a matrix for each cluster. Further, the evaluation value for the scattering point correlation matrix is calculated according to the basic correlation matrix evaluation value calculation method stored in the correlation evaluation value calculation method storage unit 6. Note that an evaluation value calculation unit is configured by the correlation evaluation value calculation method storage unit 6, the correlation matrix generation rule storage unit 7, and the correlation matrix management unit 8.
[0010]
The cluster management unit 9 manages the scattering point determination matrix generated by the determination matrix generation unit 5, the scattering point correlation matrix generated by the correlation matrix management unit 8, and the evaluation value for the scattering point correlation matrix. In addition, it manages information on reference points and evaluation target points (information on clusters to which it belongs).
The image evaluation unit 10 constitutes an image evaluation unit that obtains an evaluation value of a super-resolution image from the evaluation value for each cluster calculated by the correlation matrix management unit 8. Note that the image evaluation unit 10 is also a control entity that controls the operation of each unit in the image evaluation device.
FIG. 2 is a flowchart showing the processing contents of the image evaluation unit 10, FIG. 3 is a flowchart showing the processing contents of the judgment matrix generation unit 5, and FIG. 4 is a flowchart showing the processing contents of the correlation matrix management unit 8.
[0011]
Next, the operation will be described.
First, the image evaluation unit 10 performs the following initialization work (step ST1). That is, the image evaluation unit 10 obtains the image data of the correct image and the scattering point information regarding the reference point from the correct image management unit 2. Further, the image data of the super-resolution image and the scattering point information regarding the evaluation target point are obtained from the super-resolution image management unit 3.
However, when the correct image management unit 2 and the super-resolution image management unit 3 hold only the image data and do not hold the scattering point information, the correct image management unit 2 and the super-resolution image management unit 3 Then, a calculation command of the scattering point information is output to the vertex information generating unit 1 so that the scattering point information can be obtained from the vertex information generating unit 1. When the scattering point information is obtained from the outside, it is not necessary to output a calculation instruction to the vertex information generation unit 1. At this time, whether or not to output a calculation command to the vertex information generation unit 1 depends on a user input, designation of a default, and the like.
[0012]
When obtaining the scattering point information on the reference points and the evaluation target points, the image evaluation unit 10 outputs the scattering point information to the cluster management unit 9 and requests the recording of all the reference points and the evaluation target points.
When receiving a request to record the reference point and the evaluation target point from the image evaluation unit 10, the cluster management unit 9 refers to the scattering point information (position coordinates, peak size) regarding the reference point and the evaluation target point, and As shown in (1), a reference point table and an evaluation point table are created.
However, at this point, since the cluster to which each reference point and the evaluation target point belong has not been determined, the cluster ID (Cluster ID) is set to 0.
[0013]
Next, the image evaluation unit 10 instructs the determination matrix generation unit 5 to generate a scattering point determination matrix (step ST2).
Upon receiving an instruction to generate a scattering point determination matrix from the image evaluation unit 10, the determination matrix generation unit 5 determines the scattering point determination matrix according to the basic determination rules and cluster generation / update conditions stored in the determination criterion storage unit 4. Is generated for each cluster.
Here, for example, the following are the basic determination rules stored in the determination criterion storage unit 4.
[0014]

Here, a, b, n, and m are basic determination rule parameters. The basic determination rule parameter is a numerical value of an appropriate value, and is arbitrarily set based on the super-resolution ratio (how many times the SAR reproduction image is expanded), the specifications of the SAR sensor, the simulation conditions at the time of data generation, and the like. I do.
In the first embodiment, all values are set to 1 for simplification of the description.
The distance on the image is the distance (absolute value) between the reference point to be compared and the evaluation target point, and the difference between the peak sizes is the difference between the reference point to be compared and the peak size between the evaluation target point (absolute value). Value).
[0015]
-Judgment rule 2
It is determined that the evaluation target point satisfying the following expression (2) is within the gate.
Scattering point evaluation value> In-gate judgment threshold (2)
The in-gate judgment threshold value is an appropriate value, and is arbitrarily set based on the super-resolution ratio (how many times the SAR reproduced image is expanded), the specifications of the SAR sensor, the simulation conditions at the time of data generation, and the like. I do.
-Judgment rule 3
When it is determined that the evaluation target point is inside the gate, the generation and update of the scattering point determination matrix and the cluster are performed.
[0016]
-Judgment rule 4
For a reference point having no inter-scattering point evaluation value in the gate, a scattering point determination matrix in which an evaluation value with no corresponding scattering point (in this example, an evaluation value “0”) is set, and a new corresponding evaluation matrix Generate a cluster of
-Judgment rule 5
The cluster is made to correspond one-to-one with the scattering point determination matrix.
For clusters having the same evaluation target point, information is integrated into one cluster (scattering point determination matrices in the cluster are also integrated). When integrating the scattering point determination matrix, an evaluation value without a corresponding scattering point is set where there is no evaluation target point corresponding to the reference point.
[0017]
Hereinafter, the processing content of the determination matrix generation unit 5 will be described in detail.
First, the determination matrix generation unit 5 selects one of the first reference points with reference to the recorded contents of the cluster management unit 9 (step ST11). In the example of FIG. 9, the reference point A is selected from the reference point table of FIG.
Next, the judgment matrix generation unit 5 refers to the recorded contents of the cluster management unit 9 and selects one of the first evaluation target points (step ST12). In the example of FIG. 9, the evaluation target point 1 is selected from the evaluation target point table of (b).
[0018]
The determination matrix generation unit 5 calculates the inter-scattering-point evaluation value A1 between the reference point A and the evaluation target point 1 using Expression (1) of the determination rule 1.
Next, it is determined whether or not the evaluation target point 1 is within the gate using Expression (2) of the determination rule 2 (step ST13). In the first embodiment, for convenience of description, the evaluation target point 1 will be described as being inside the gate.
When determining that the evaluation target point 1 is within the gate, the determination matrix generation unit 5 registers the inter-scattering point evaluation value A1 in the temporary scattering point determination matrix (step ST14).
[0019]
Here, the temporary scattering point determination matrix is a place where the information of the scattering points is temporarily stored in order for the determination matrix generation unit 5 to hold the internal intermediate processing information. In the temporary scattering point determination matrix, an item of a reference point is provided in a column direction and an item of an evaluation target point is provided in a row direction, and an evaluation value between scattering points is recorded in a corresponding field.
In the repetition step of steps ST12 to ST15, when the process of step ST14 is first performed, since there is no existing temporary scattering point determination matrix, the determination matrix generation unit 5 generates a temporary scattering point determination matrix. When performing the process of step ST14 after the second time, information is added to the generated temporary scattering point determination matrix.
Thus, at this stage, as shown in FIG. 5A, the item of the reference point A in the column direction, the item of the evaluation target point 1 in the row direction, and the inter-scattering point evaluation value A1 in the corresponding field were recorded. A temporary scattering point determination matrix is generated.
[0020]
Next, the determination matrix generation unit 5 determines whether or not an evaluation target point for which the gate determination has not been completed is recorded in the cluster management unit 9 with respect to the reference point A (step ST15). At this point, it is determined whether or not evaluation target points other than the evaluation target point 1 are recorded in the cluster management unit 9.
If there is an evaluation target point for which gate determination has not been completed, the process returns to step ST12 again. If all evaluation target points have been gated, the process proceeds to step ST16.
At this point, since evaluation target points other than the evaluation target point 1 have been recorded in the cluster management unit 9, the process returns to step ST12.
[0021]
Upon selecting the evaluation target point 2 in the processing of step ST12 for the second time, the judgment matrix generation unit 5 calculates the evaluation value A2 between the scattered points between the reference point A and the evaluation target point 2 in the same manner as described above. If it is determined that the target point 2 is within the gate, the evaluation value A2 between the scattering points is registered in the temporary scattering point determination matrix as shown in FIG. In the first embodiment, for convenience of description, the evaluation target point 2 will be described as being inside the gate.
However, in the process of step ST14, since a temporary scattering point determination matrix already exists, information is added to the existing temporary scattering point determination matrix. In the temporary scattering point determination matrix, since the evaluation result for the same reference point A is recorded, the number of items in the column direction does not increase, and the item of the evaluation target point 2 in the row direction and the evaluation value A2 between scattering points of the corresponding field are added. Is done.
[0022]
When selecting the evaluation target point 3 in the processing of step ST2 for the third time, the determination matrix generation unit 5 calculates the evaluation value A3 between the scattering points between the reference point A and the evaluation target point 3 in the same manner as described above. If it is determined that the target point 3 is not within the gate, the evaluation value A3 between scattering points is not registered in the temporary scattering point determination matrix. In the first embodiment, for convenience of explanation, the explanation will be made assuming that the evaluation target point 3 is not inside the gate.
[0023]
When the gate determination has been completed for all the evaluation target points with respect to the reference point A as described above, the determination matrix generation unit 5 proceeds to the process of step ST16. In the first embodiment, for convenience of explanation, it is assumed that only the evaluation target points 1 and 2 are inside the gate.
The determination matrix generator 5 checks whether there is a temporary scattering point determination matrix (step ST16). In this example, since a temporary scattering point determination matrix exists, the process proceeds to step ST17.
[0024]
The judgment matrix generation unit 5 checks whether there is a cluster (scattering point judgment matrix) including the same evaluation target point as the temporary scattering point judgment matrix (step ST17).
When there is no cluster including the same evaluation target point as the temporary scattering point determination matrix, the determination matrix generation unit 5 newly generates a cluster using the temporary scattering point determination matrix as the scattering point determination matrix, and assigns the cluster to the cluster management unit. 9 (step ST18).
At this time, the cluster management unit 9 assigns a new cluster ID number and records it in the cluster information table together with the scattering point determination matrix. Also, referring to the scattering point determination matrix, the field values of the cluster IDs of the reference point table and the evaluation target point table held internally are updated.
[0025]
At this stage, the temporary scattering point determination matrix of FIG. 5B is registered in the cluster management unit 9 as a scattering point determination matrix, and the cluster management unit 9 assigns the cluster ID “1” to the newly registered cluster. Then, the information of the scattering point determination matrix is recorded in the cluster information table. Also, referring to the scattering point determination matrix, the field values of the cluster IDs of the internally stored reference point table and evaluation target point table are updated to “1”.
When the judgment matrix generation unit 5 generates a new cluster and registers the cluster in the cluster management unit 9, it clears the information of the temporary scattering point judgment matrix (returns to the initial state where no temporary scattering point judgment matrix exists), It proceeds to the process of step ST20.
On the other hand, when there is a cluster including the same evaluation target point as the temporary scattering point determination matrix, the determination matrix generation unit 5 updates the cluster (step ST19).
However, at this stage, since the first step is being performed, there is no existing cluster, and the cluster is not updated.
[0026]
The determination matrix generation unit 5 determines whether a reference point other than the reference point A is recorded in the cluster management unit 9 (step ST20).
That is, with reference to the reference point table of FIG. 9A, it is checked whether there is any reference point other than the reference point A that is in the “independent state” (cluster ID = 0).
If there is a reference point of “independent state”, the process returns to step ST11 again. If there is no reference point of “independent state”, the processing of FIG. 3 is completed, and generation of a scattering point determination matrix for each cluster is completed. Is notified to the image evaluation unit 10.
At this stage, since there are remaining reference points, the process returns to step ST11 again, and the reference point B is selected as the second reference point.
[0027]
The determination matrix generation unit 5 calculates the evaluation values B2 and B3 between the scattering points for the reference point B by performing the same processing as that for the reference point A, and temporarily calculates the evaluation values B2 and B3 between the scattering points. Register in the point determination matrix (steps ST11 to ST16). In the first embodiment, for convenience of explanation, the description will be made on the assumption that the evaluation target points 2 and 3 are inside the gate.
At this stage, the temporary scattering point determination matrix of FIG. 7 is generated.
[0028]
The judgment matrix generation unit 5 checks whether there is a cluster (scattering point judgment matrix) including the same evaluation target point as the temporary scattering point judgment matrix (step ST17).
At this stage, since an existing cluster (scattering point determination matrix generated based on the reference point A) already exists, it is included in the temporary scattering point determination matrix with reference to the evaluation target point table of FIG. 9B. Tick whether the evaluation target point to be assigned belongs to an existing cluster.
If the evaluation target point included in the temporary scattering point determination matrix does not belong to any existing cluster, the process proceeds to step ST18 as in the case of the reference point A, and a new cluster is generated. In the example B, since the evaluation target point 2 already belongs to the existing cluster with the cluster ID “1”, the cluster is updated (step ST19).
[0029]
That is, the determination matrix generation unit 5 integrates all clusters sharing the evaluation target point into one cluster. The procedure for integrating the cluster is as follows.
First, a scattering point determination matrix of an existing cluster to be integrated is obtained from the cluster management unit 9. In each judgment matrix, since the information of the reference points is independent of each other (there is no same reference point), the columns in the columns are simply set as the items of the array after integration in all the arrays. In the example of FIG. 7, the items of the reference point A and the reference point B are simply set as the items of the array after integration. On the other hand, since the row direction includes a shared evaluation target point, the sum of the rows in each array is set as an item (overlapping evaluation target point items are overlapped). In the example of FIG. 7, in the array after integration, the rows of the evaluation target point 2 are combined into one.
[0030]
In addition, since the field of the evaluation value between scattering points does not overlap (because the column direction does not overlap), the existing evaluation value between scattering points is set as it is. In the example of FIG. 7, the evaluation values A1, A2, B1, and B2 between scattering points are set as they are even in the array after integration.
However, there is a possibility that a field having an undetermined evaluation value between scattering points may be formed by increasing the number of line items. In this case, according to the determination rule 5, the corresponding evaluation value “0” without the scattering point is set. In the example of FIG. 7, in the field of the reference point A and the evaluation target point 3 and in the field of the reference point B and the evaluation target point 1, there is no evaluation value between scattering points corresponding to the array before the integration. Set.
[0031]
Next, among the clusters to be integrated, the smallest cluster ID is updated as the ID of the integrated cluster (integrated ID).
The determination matrix generation unit 5 outputs the integrated ID and the integrated scattering point determination matrix to the cluster management unit 9, and instructs the cluster management unit 9 to update information.
When the cluster management unit 9 receives an instruction to update information from the determination matrix generation unit 5, the cluster management unit 9 compares the scattering point determination matrix corresponding to the integrated ID in the cluster information table with the integrated scattering points output from the determination matrix generation unit 5. Update to the judgment matrix.
[0032]
Next, the reference point table and the evaluation target point table are updated with reference to the integrated scattering point determination matrix. Here, the cluster ID fields of the reference point and the evaluation target point included in the integrated scattering point determination matrix are set to “integrated ID”.
At this time, the cluster ID rewritten to the “integrated ID” is stored as the “deletion ID”.
Lastly, the cluster that is lost due to the integration is deleted from the cluster information table. In this example, since there is one existing cluster to be integrated, the cluster ID “1” is automatically selected as the integrated ID.
Therefore, the integrated scattering point determination matrix of FIG. 7 is registered as the scattering point determination matrix of cluster ID “1”.
In the reference point table and the evaluation target point table, the cluster IDs of the reference point A, the reference point B, the evaluation target point 1, the evaluation target point 2, and the evaluation target point 3 are set to “1”.
In this example, the deletion of the cluster lost due to the integration does not occur.
[0033]
When the cluster integration process is completed, the determination matrix generation unit 5 clears the information of the temporary scattering point determination matrix (returns to the initial state where no temporary scattering point determination matrix exists), and proceeds to the process of step ST20.
The determination matrix generation unit 5 determines whether or not reference points other than the reference points A and B are recorded in the cluster management unit 9 (step ST20).
That is, with reference to the reference point table of FIG. 9A, it is checked whether there is a reference point in the “independent state” (cluster ID = 0) other than the reference points A and B.
At this stage, since there are remaining reference points, the process returns to step ST11 again, and the reference point C is selected as the third reference point.
[0034]
The determination matrix generation unit 5 also performs the same processing as for the reference points A and B for the reference point C to calculate the evaluation value between scattering points. In the first embodiment, for convenience of explanation, the description will be made assuming that all the evaluation target points are not inside the gate.
Therefore, a temporary scattering point determination matrix is not generated for the reference point C, and the process proceeds to step ST21 through steps ST11 to ST16.
The determination matrix generation unit 5 generates a scattering point determination matrix in which the evaluation value “0” is set according to the determination rule 4. In this scattering point determination matrix, the column item is the reference point C being executed, but the row item does not have a corresponding evaluation target point. Therefore, as shown in FIG. Set.
Thereafter, the determination matrix generation unit 5 instructs the cluster management unit 9 to generate a new cluster corresponding to the scattering point determination matrix in which only the evaluation value “0” is set (step ST21).
[0035]
When receiving the instruction to generate a new cluster from the determination matrix generation unit 5, the cluster management unit 9 executes the processing of generating a new cluster in the process of step ST19 according to the same procedure as in the case of receiving the instruction to update information. . However, the point table for evaluation is not updated because there is no corresponding data.
Upon receiving the notification of completion of registration of a new cluster from the cluster management unit 9, the determination matrix generation unit 5 determines whether or not reference points other than the reference points A, B, and C are recorded in the cluster management unit 9 (step S1). ST20).
When determining that there is no remaining reference point, the determination matrix generation unit 5 notifies the image evaluation unit 10 that the generation of the scattering point determination matrix has been completed. In the first embodiment, for convenience of explanation, it is determined that there is no remaining reference point.
[0036]
Here, FIG. 10 shows a reference point table and an evaluation target point table when generation of the scattering point determination matrix is completed. In the reference point table, cluster IDs corresponding to all reference points are set. A point for which a cluster ID is not set may remain in the evaluation target point table. In the cluster information table, the fields of the evaluation value and the correlation matrix remain empty.
[0037]
Upon receiving the notification of the completion of the generation of the scattering point determination matrix from the determination matrix generation unit 5, the image evaluation unit 10 generates a scattering point correlation matrix, and an evaluation value (correlation matrix evaluation value) corresponding to the scattering point correlation matrix. Is instructed to calculate the correlation matrix 8 (step ST3).
When receiving an instruction to generate a scattering point correlation matrix and calculate a correlation matrix evaluation value from the image evaluation unit 10, the correlation matrix management unit 8 makes a determination according to the basic correlation matrix generation rule stored in the correlation matrix generation rule storage unit 7. From the scattering point determination matrix generated by the matrix generation unit 5, a scattering point correlation matrix indicating a correlation between scattering points is generated for each cluster. Further, the evaluation value for the scattering point correlation matrix is calculated according to the basic correlation matrix evaluation value calculation method stored in the correlation evaluation value calculation method storage unit 6.
[0038]
Here, examples of the basic correlation matrix evaluation value calculation method stored in the correlation evaluation value calculation method storage unit 6 include the following.
・ Calculation method 1
An evaluation value other than the evaluation value “0” included in the scattering point correlation matrix is selected.
The product of all the selected evaluation values is referred to as “scattering point evaluation value”.

Here, the disappearance evaluation value is an evaluation value when scattering point information that should be originally disappeared, and is a sufficiently large negative value. The super-resolution ratio, the SAR sensor Arbitrarily set from the specifications of the data generation and the conditions of the data generation simulation.
・ Calculation method 3
Correlation matrix evaluation value = "scattering point evaluation value" + "correct answer disappearance evaluation value" (4)
[0039]
The basic correlation matrix generation rules stored in the correlation matrix generation rule storage unit 7 include, for example, the following.
・ Rule 1
In each row, at most one evaluation value is selected from the scattering point determination matrix, and the other evaluation values are set to “0”.
・ Rule 2
In each column, at most one evaluation value is selected from the scattering point determination matrix, and the other evaluation values are set to “0”.
・ Rule 3
Do not duplicate the same scattering point correlation matrix.
[0040]
Hereinafter, the processing contents of the correlation matrix management unit 8 will be described in detail.
First, the correlation matrix management unit 8 selects clusters one by one with reference to the cluster information table of the cluster management unit 9 (step ST31). Here, a cluster in which the fields of the evaluation value and the correlation matrix are empty is selected.
Upon selecting one cluster, the correlation matrix management unit 8 obtains a scattering point determination matrix of the cluster from the cluster management unit 9. Then, in accordance with the basic correlation matrix generation rule stored in the correlation matrix generation rule storage unit 7, a scattering point correlation matrix is generated within a possible range from the scattering point determination matrix (step ST32). One or more scattering point correlation matrices are generated for each cluster.
[0041]
Here, FIG. 8 shows an example of the scattering point correlation matrix calculated by applying the basic correlation matrix generation rule to the integrated scattering point determination matrix of FIG.
In the example of FIG. 8, one evaluation value (evaluation value A1 and evaluation value B3) is selected in the row of the evaluation target point 1 and the row of the evaluation target point 3 in accordance with the rule 1 of the basic correlation matrix generation rule, and Indicates that the evaluation value is “0”. In the row of the evaluation target point 2, the evaluation values are all “0”.
In addition, according to rule 2 of the basic correlation matrix generation rule, one evaluation value (evaluation value A1 and evaluation value B3) is selected in the column of reference point A and the column of reference point B, and the remaining evaluation values are set to “0”. And
[0042]
After generating the scattered point correlation matrix from the scattered point determination matrix, the correlation matrix management unit 8 evaluates the scattered point correlation matrix according to the basic correlation matrix evaluation value calculation method stored in the correlation evaluation value calculation method storage unit 6. A value is calculated (step ST33).
That is, the correlation matrix management unit 8 calculates the product of the evaluation value A1 and the evaluation value B3 as the scattering point evaluation value using the calculation method 1 of the basic correlation matrix evaluation value calculation method.
Next, the correct answer disappearance evaluation value is calculated using the calculation method 2. In this case, the correct answer disappearance evaluation value is “0” because all elements do not have the column of the evaluation value “0” (Equation 2). (See (3)).
Finally, the correlation matrix evaluation value is calculated using the calculation method 3. In this example, the scattering point evaluation value is directly used as the correlation matrix evaluation value (see Equation (4)).
[0043]
After calculating the correlation matrix evaluation value, the correlation matrix management unit 8 obtains the value of the evaluation value field of the corresponding cluster from the cluster management unit 9 and compares the value with the correlation matrix evaluation value.
When the correlation matrix evaluation value is larger or the value is not set in the evaluation value field (when the correlation matrix evaluation value is first obtained), the correlation matrix management unit 8 calculates the evaluation value of the corresponding cluster. The cluster management unit 9 is instructed to update the field of the field and the correlation matrix with the newly calculated correlation matrix evaluation value and the scattering point correlation matrix generated in step ST32 (step ST34).
Conversely, if the value of the evaluation value field that has already been set is larger, no update is performed.
[0044]
The correlation matrix management unit 8 generates the scattering point correlation matrix as much as possible by repeating the processes of steps ST32 to ST34 as far as possible without overlapping according to rule 3 of the basic correlation matrix generation rule.
For example, a scattering point correlation matrix shown in FIG. 12 is generated from the integrated scattering point determination matrix in FIG. Here, the processes of steps ST32 to ST34 are executed for all the scattering point correlation matrices.
[0045]
However, in the process of step ST35, when a scattering point determination matrix having only the evaluation value “0” is selected, the cluster evaluation value is set as the disappearance evaluation value. In this case, only one scattering point correlation matrix having an evaluation value of “0” can be generated in one row and one column, and the correlation matrix evaluation value of this scattering point correlation matrix becomes the disappearance evaluation value (calculation). From the method 1, the scattering point evaluation value is “0”, and from the calculation method 2, the number of columns in which all elements have the evaluation value “0” is 1, the correct disappearance evaluation value = the disappearance evaluation value, and the formula 3 of the calculation method 3 (Relationship matrix evaluation value = disappearance evaluation value).
[0046]
When the process of calculating the cluster evaluation value for the cluster ends, the correlation matrix management unit 8 checks whether there is an unprocessed cluster for which the cluster evaluation value has not been calculated (step ST36). That is, with reference to the cluster information table of the cluster management unit 9, it is checked whether or not there remains any cluster in which the fields of the evaluation value and the correlation matrix remain empty.
If there are unprocessed clusters, the process returns to step ST31 again. If the cluster evaluation values have been calculated for all clusters, the completion of the process is notified to the image evaluation unit 10.
Here, FIG. 11 shows a reference point table and an evaluation target point table when the calculation of the cluster evaluation value is completed. In this state, values are set in all of the evaluation values and the fields of the correlation matrix in the cluster information table.
Upon receiving the notification of the completion of the calculation of the cluster evaluation value from the correlation matrix management unit 8, the image evaluation unit 10 calculates the sum of the cluster evaluation values recorded in the cluster information table of the cluster management unit 9, and calculates the sum. Output as the final evaluation value of the super-resolution image.
[0047]
Hereinafter, in order to clarify the effect of the image evaluation device according to the first embodiment, an example in which the image evaluation device is applied to the evaluation target image illustrated in FIG. 13 will be described.
In the example of FIG. 13, there are a reference point A, a reference point B, an evaluation target point 1, and an evaluation target point 2.
The evaluation value between the scattering points is such that the reference point A and the evaluation target point 1 are the evaluation value A1, the reference point A and the evaluation target point 2 are the evaluation value A2, the reference point B and the evaluation target point 1 are the evaluation value B1, and the reference point B is the evaluation value. The evaluation target point 2 is an evaluation value B2.
This magnitude is in the order of the evaluation value B2> the evaluation value B1> the evaluation value A1> the evaluation value A2, and it is assumed that only the evaluation value A2 is smaller than the in-gate determination threshold.
[0048]
Under this condition, in the process of step ST2, the scattering point determination matrix of FIG. 13 is generated.
In the process of step ST3, a correlation matrix evaluation value for the scattering point correlation matrix 5 is calculated from the scattering point correlation matrix 1 of FIG.
The calculated correlation matrix evaluation value is
In the scattering point correlation matrix 1, “2 × correction disappearance evaluation value”
In the scattering point correlation matrix 2, “evaluation value B1 + correction disappearance evaluation value”
In the scattering point correlation matrix 3, “evaluation value B2 + correction disappearance evaluation value”
In the scattering point correlation matrix 4, "evaluation value A1 + correct answer disappearance evaluation value"
In the scattering point correlation matrix 5, the result is “evaluation value A1 × evaluation value B1”.
[0049]
Here, since the correct answer disappearance evaluation value is a negative value having a certain magnitude, the magnitude of the correlation matrix evaluation value is as follows: scattering point correlation matrix 5> scattering point correlation matrix 3> scattering point correlation matrix 2> scattering point Point correlation matrix 4> scattering point correlation matrix 1 Therefore, the correspondence of the scattering point correlation matrix 5 and the correlation matrix evaluation value are adopted.
In the scattering point correlation matrix 5, the reference point A and the evaluation target point 1 correspond to each other, and the reference point B and the evaluation target point 2 correspond to each other.
[0050]
By the way, in the method of simply selecting the vertex whose position is closest, both the evaluation target point 1 and the evaluation target point 2 match the reference point B, so that there is no evaluation target point corresponding to the reference point A. Is determined. As a result, either the evaluation target point 1 or the evaluation target point 2 is determined to be noise (see FIG. 17).
Under the condition of FIG. 13, if the corresponding reference point is determined based on the evaluation value between scattering points independently for each evaluation target point, the reference point B is selected from the evaluation target point 1 and the evaluation target point 2. According to the first embodiment, it is understood that the correspondence of the scattering point correlation matrix 5 can be accurately selected in consideration of the reliability among a plurality of scattering points.
[0051]
In addition, the case where the positions of the reference point A and the evaluation target point 1 and the positions of the reference point B and the evaluation target point 2 are interchanged, that is, the evaluation value between the scattering points is evaluated value B2> evaluation value A2> evaluation value A1> evaluation value In the order of B1, when a corresponding reference point is determined based on the evaluation value between scattering points independently for each reference point, the evaluation target point 2 is selected from the reference points A and B.
However, in the first embodiment, the evaluation value corresponding to the evaluation value B1 in the scattering point determination matrix is “0”, and the portion where the evaluation value is “0” is the evaluation value A2. In the scattering point correlation matrix 2, the evaluation value corresponding to the evaluation value B1 is “0”, and the fields corresponding to the reference point A and the evaluation target point 2 are the evaluation value A2.
Here, the correlation matrix evaluation value of the scattering point correlation matrix 2 is “evaluation value A2 + correct answer disappearance evaluation value”, and the magnitude of the correlation matrix evaluation value is: scattering point correlation matrix 5> scattering point correlation matrix 3> scattering point Correlation matrix 2> scattering point correlation matrix 4> scattering point correlation matrix 1 in this order, and a scattering point correlation matrix 5 having a correct correspondence is selected.
As is apparent from the above, according to the first embodiment, it is possible to correctly select the correspondence between the scattering points even in the case as shown in FIG.
[0052]
Next, an example applied to the evaluation target image shown in FIG. 14 will be described.
In the example of FIG. 14, there are a reference point A, a reference point B, an evaluation target point 1, and an evaluation target point 2.
The evaluation value between the scattering points is such that the reference point A and the evaluation target point 1 are the evaluation value A1, the reference point A and the evaluation target point 2 are the evaluation value A2, the reference point B and the evaluation target point 1 are the evaluation value B1, and the reference point B is the evaluation value. The evaluation target point 2 is an evaluation value B2.
The magnitudes are in the order of the evaluation value B1> the evaluation value B2> the evaluation value A1> the evaluation value A2, and it is assumed that only the evaluation value A2 is smaller than the in-gate determination threshold.
[0053]
Under this condition, the scattering point determination matrix of FIG. 14 is generated in the process of step ST2.
In the process of step ST3, a correlation matrix evaluation value for the scattering point correlation matrix 5 is calculated from the scattering point correlation matrix 1 of FIG.
The calculated correlation matrix evaluation value is
In the scattering point correlation matrix 1, “2 × correction disappearance evaluation value”
In the scattering point correlation matrix 2, “evaluation value B1 + correction disappearance evaluation value”
In the scattering point correlation matrix 3, “evaluation value B2 + correction disappearance evaluation value”
In the scattering point correlation matrix 4, "evaluation value A1 + correct answer disappearance evaluation value"
In the scattering point correlation matrix 5, the result is “evaluation value A1 × evaluation value B1”.
[0054]
The magnitude of the correlation matrix evaluation value is in the order of scattering point correlation matrix 5> scattering point correlation matrix 2> scattering point correlation matrix 3> scattering point correlation matrix 4> scattering point correlation matrix 1. Therefore, the correspondence of the scattering point correlation matrix 5 and the correlation matrix evaluation value are adopted.
In the scattering point correlation matrix 5, the reference point A and the evaluation target point 1 correspond to each other, and the reference point B and the evaluation target point 2 correspond to each other.
[0055]
Incidentally, in the method of simply selecting the vertex having the closest position, the evaluation target point 1 and the reference point B match, and the evaluation target point 2 and the reference point A do not match. It is determined that the point does not exist. As a result, the evaluation target point 2 is determined to be noise (see FIG. 18).
Under the condition of FIG. 14, the evaluation value B1 (the reference point B and the evaluation target point 1 correspond) in the evaluation value between the scattering points (when the reliability is determined only by the scattering points ignoring the mutual correspondence) is one. Although it is the largest value, it is understood that the first embodiment can accurately select the correspondence of the scattering point correlation matrix 5 in consideration of the reliability between a plurality of scattering points.
[0056]
As is clear from the above, according to the first embodiment, the scattering point information on the scattering points of the super-resolution image subjected to the super-resolution processing and the scattering of the correct image corresponding to the super-resolution image A determination matrix generation unit 5 for generating, by cluster, a scattering point determination matrix indicating the possibility of a combination of the scattering point of the super-resolution image and the scattering point of the correct image with reference to the scattering point information on the points; Since a scattering point correlation matrix showing a correlation between scattering points is generated for each cluster from the scattering point determination matrix and an evaluation value for the scattering point correlation matrix is calculated, super-resolution processing is performed and resolution is applied. This has the effect of being able to evaluate a super-resolution image with an increased resolution.
[0057]
Further, according to the first embodiment, since the determination can be performed with the range to be determined limited to adjacent scattering points called clusters, the determination can be performed efficiently by suppressing an increase in the execution time due to the combination explosion. The effect that can be achieved. For this reason, it is possible to set an appropriate degree of reliability in consideration of the mutual correspondence between the correct image and the super-resolution image at the scattering points, and suppress an increase in execution time. There is an effect that efficient determination processing can be performed.
[0058]
In the first embodiment, the values of the basic determination rule parameters a, b, n, and m of the basic determination rule expression (1) are all set to 1, but these values are set to arbitrary values. The same effect can be obtained even when an arbitrary value is set.
In the equation (1) of the first embodiment, an example is described in which the product is inversely proportional to the product of the distance and the peak size. However, based on the difference between the distance and the peak size, the difference between the two scattering points is determined. As long as the evaluation value is set, any expression can be set as Expression (1), and the same effect can be obtained.
For example, a similar effect can be obtained by obtaining values that are inversely proportional to the difference between the distance and the magnitude of the peak, and using the sum as the evaluation value.
In the first embodiment, the difference (absolute value) of the peak size is simply used as a reference in Expression (1). However, when the peak of the super-resolution image is larger than the correct image, the scattering point If the reduction rate of the inter-evaluation value is reduced and the peak of the super-resolution image is smaller than the correct image, the difference between the peak sizes is corrected so that the evaluation value between the scattering points increases. A determination rule in which the weight is changed in the direction and the negative direction may be set, and the same effect is obtained.
[0059]
In the first embodiment, the evaluation value for the evaluation value without the corresponding scattering point in the determination rules 4 and 5 is set to “0”. However, the evaluation value is a value that indicates that the scattering point information has disappeared. If so, any value may be set, and the same effect is obtained. In the first embodiment, in the calculation method 1 of the basic correlation matrix evaluation value calculation method, the product of all the selected evaluation values is referred to as the “scattering point evaluation value”, but this is used as the sum of all the evaluation values. If the calculation method is based on an evaluation value other than the evaluation value “0” included in the scattering point correlation matrix, any calculation formula may be set, and the same effect is obtained.
[0060]
In the first embodiment, the processing of step ST4 calculates the sum of the cluster evaluation values recorded in the cluster information table and outputs the sum as the final evaluation value of the super-resolution image. However, if the calculation method is based on each cluster evaluation value, such as calculating the product of each cluster evaluation value and outputting the product as the final evaluation value of the super-resolution image, any calculation formula can be used. May be set, and a similar effect is obtained.
For example, a modified example in which the total sum of the evaluation values for each cluster is divided by the number of reference points can obtain the same effect.
[0061]
In the first embodiment, an example that can be universally applied to a super-resolution image has been described. However, under conditions where the super-resolution processing is somewhat restricted, the image evaluation device is modified to improve the processing efficiency. Can perform well.
FIG. 15 is an example of an evaluation target point table held by the cluster management unit 9 of the image evaluation device (modification).
In an SAR image, an image is often created by assigning a range direction (a direction in which a sensor emits radio waves) and an azimuth direction (a traveling direction of a platform on which a sensor is mounted) to rows or columns, respectively. In the range direction and the azimuth direction, an image generation method (a calculation method by an image reproduction algorithm) may be different, and there may be a case where the resolution is different between the two. For this reason, in the super-resolution processing of the SAR image, the resolution may be improved in only one of the range and the azimuth.
As described above, when the resolution is improved in one direction, only the rows or columns of the image data are super-resolution. In such a case, the processing can be executed efficiently by modifying the image evaluation device.
[0062]
For example, consider the case where the resolution is improved by applying the super-resolution processing only in the range direction of the image (in this example, the range direction is assigned to the row).
In this case, the super-resolution image may be evaluated for each row. For this reason, in the flowchart of FIG. 2, a part of step ST1, step ST2, and step ST3 are changed so as to be repeatedly executed for each row.
In the process of step ST1, the reference point table and the evaluation target point table, which are initialized and recorded by the cluster management unit 9, are executed for each row under evaluation. Here, the reference point and the evaluation target point for each row are sorted and arranged in ascending order based on the position coordinates.
Further, in the cluster management unit 9 of this modification, a gate determination start position and a previous cluster end position are provided in the evaluation target point table as shown in FIG.
In the processing of step ST1, "NULL" (no evaluation target point to be evaluated) is pointed as the previous cluster end position at the time of initialization of processing for each row.
[0063]
In the flowchart of FIG. 3, in the selection of the reference point in step ST11 and the determination of the remaining reference points in step ST20, the reference point recorded in the cluster management unit 9 due to the above change is included in the line under evaluation. Limited to those.
As a result, the area to be determined can be made smaller than in the general-purpose example, and the processing can be speeded up.
In addition, in the flowchart of FIG. 3, the processing is speeded up by using the gate determination start position and the previous cluster end position. Except for the portion related to the selection of the evaluation target point, the configuration is the same as that of the first embodiment. The description of the same parts is omitted.
[0064]
First, in the process of step ST11, the determination matrix generation unit 5 instructs the cluster management unit 9 to designate the first evaluation target point (the evaluation target point having the smallest coordinate) in the evaluation target point table as the gate determination start position. Let it.
In this modification, a “gate determination flag” for storing internal information of the determination matrix generation unit 5 is provided.
Then, in the process of step ST11, the “gate determination flag” is set to “0”.
[0065]
In the selection of the evaluation target points in step ST12, when the evaluation target points are selected one by one with reference to the evaluation target point table recorded in the cluster management unit 9, the evaluation target points are sequentially selected from the gate determination start position. Change to select.
In the gate determination in step ST13, when the gate determination flag is "0" and the evaluation target point is determined to be inside the gate, the gate determination flag is set to "1", and the process proceeds to step ST14.
If the gate determination flag is “1” and the evaluation target point is determined to be inside the gate, the process proceeds to step ST14 with the gate determination flag set to “1”.
When the gate determination flag is “0” and the evaluation target point is determined to be outside the gate, the gate determination start position in the cluster management unit 9 is advanced to the next evaluation target point, and the process proceeds to step ST15.
If the gate determination flag is "1" and the evaluation target point is determined to be outside the gate, the gate determination flag is set to "2", and the process proceeds to step ST15.
[0066]
In the determination of the remaining evaluation target points in step ST15, if the gate determination flag is “0” or “1”, the evaluation target points recorded in the cluster management unit 9 that are larger than those selected in step ST12. A check is made to determine whether or not there is, and the process proceeds to step ST12 or step ST16.
When the gate determination flag is "2", the process is automatically changed to the process of step ST16.
In the process of step ST16, when there is no temporary scattering point determination matrix, a change is made to point to “NULL” as the previous cluster end position.
[0067]
In the process of step ST17, the cluster integration determination is changed as follows.
If the previous cluster end position is "NULL", the process is changed to automatically proceed to the process of step ST18.
When the previous cluster end position is not “NULL” and the “evaluation target point having the smallest coordinate data in the temporary scattering point determination matrix” is larger than the “previous cluster end position”, the process automatically proceeds to step ST18. To change.
Conversely, when the “evaluation target point having the smallest coordinate data in the temporary scattering point determination matrix” is equal to or smaller than the “previous cluster end position”, the process is automatically changed to step ST19.
In the process of step ST17, if the previous cluster end position is “NULL” before proceeding to the process of step ST18 or step ST19 after the integration judgment, the previous cluster end position is set to the first position in the temporary scattering point judgment matrix. A point to be evaluated whose coordinate data is large is pointed out.
[0068]
In the cluster update in step ST19, the cluster to be updated is limited to one cluster created or integrated most recently. For this reason, the cluster is updated so that only the cluster that adds the information of the temporary scattering point determination matrix to the cluster created or integrated most recently is updated.
As described above, by changing the flowchart of FIG. 3, in the selection of the evaluation target point in step ST12, the range of the evaluation target point to be searched for is included in the line being evaluated and is larger than the gate determination start position. Can be limited to those.
[0069]
In the determination of the remaining evaluation target points in step ST15, the range of the evaluation target points to be searched is limited to the evaluation target points that are included in the line being evaluated and that have coordinate data larger than that selected in step ST12. Can be.
Further, useless determination processing can be omitted by using the gate determination result in step ST13 (the case where the gate determination flag is “2”).
In the process of step ST17, in the above-described first embodiment, the integration determination of the cluster, which needs to examine all the inclusion relations between the cluster and the evaluation target point in the temporary scattering point determination matrix, is performed by the “previous cluster end position” and the “ The determination can be made easily and at high speed only by the positional relationship of the evaluation point having the smallest coordinate data in the temporary scattering point determination matrix.
In the process of step ST19, the update of the cluster, which had to be performed in the above-described first embodiment, in which the complex cluster was required to be integrated, is added to the most recently created or integrated cluster by adding the information of the temporary scattering point determination matrix. You only need to update the appropriate cluster.
[0070]
In addition, in the above-described modification, since the registration range of the cluster is also in units of rows, the effect that the size of the memory area stored in the cluster management unit 9 can be reduced, and the vertex information generation unit 1 There is also an effect that the extraction method can be simplified.
As described above, by using the modified example specialized in the case where the resolution is improved in only one direction, there is an effect that the processing in the first embodiment can be speeded up. In addition, there is an effect that the size of the memory area can be reduced.
In addition, in this modified example, since various determination processes and the like can be changed to a simple method, there is an effect that the device can be easily mounted.
[0071]
This modification speeds up processing by limiting the direction in which the resolution is improved.However, the scattering between the correct image and the super-resolution image is performed using the scattering point determination matrix and the scattering point correlation matrix. The same determination method is used for the basic part that determines the correlation between points based on the reliability, and the same effect as in the first embodiment can be obtained. Further, in the above-described modified example, the description has been made of one extension in the range direction. However, the same effect as in the above-described modified example can be obtained with one extension in the azimuth direction.
Note that the image evaluation device before deformation is a general-purpose device, and can calculate an evaluation value even in a case where the direction in which the resolution is improved is limited.
[0072]
In the first embodiment, an example in which the present invention is applied to the super-resolution processing of the SAR image has been described. However, the extraction of the scattering points (vertexes) is an important index. In the case where the evaluation is performed, a similar effect can be obtained as long as the evaluation using the correlation (correspondence) between a plurality of scattering points (vertices) is effective.
For example, even in a case where the measurement of the direction of arrival of a radio wave is improved by a super-resolution method, the image evaluation device of the first embodiment can be used.
[0073]
FIG. 16 is an explanatory diagram when the image evaluation device is applied to a device other than the SAR image.
The image on the left side in FIG. 16 is a result of applying the super-resolution processing to the SAR image. The horizontal axis indicates pixels, and the vertical axis indicates power of each pixel.
On the other hand, the image on the right side is the result of applying the super-resolution processing to the measurement of the direction of arrival of the radio wave. The horizontal axis indicates the angle θ, and the vertical axis indicates the power of each pixel.
In the image on the right side, by associating the angle θ with each pixel data, it can be easily converted into image data and handled. Obviously, if the image data can be converted, the evaluation value can be obtained in the same manner as in the first embodiment.
Also in this image data, the separation accuracy of the scattering points appearing as vertices in the image is important, and when comparing the correct image and the super-resolution image for evaluation, the correlation between the scattering points (vertices) ( Response) Evaluation taking into account the relationship is effective.
As described above, the first embodiment can be evaluated by applying the first embodiment to super-resolution processing other than the SAR image, and can be evaluated using the correlation (correspondence) between a plurality of scattering points (vertexes). Is effective, the same effect can be obtained.
[0074]
In the first embodiment, an example has been described in which, in the process of step ST2, evaluation target points are simply sequentially selected in step ST12, and calculation of a scattering point evaluation value and gate determination are performed in steps ST13 to ST15. A modified example in which a simple determination process called a coarse gate is added is also conceivable.
In the rough gate, a simple determination calculation is performed for all the evaluation target points, and the evaluation target points to be subjected to the processing from step ST13 to step ST15 are selected.
This simple determination calculation can be executed with a smaller calculation load than the calculation of the gate determination from the calculation of the scattering point evaluation value in step ST13. For example, a determination calculation is made such that the coordinates of the row and the column are within 5 pixels from the coordinates of the reference point for examining the correspondence.
[0075]
In this case, in the process of step ST12, the evaluation target points that enter the coarse gate are sequentially selected, and the process is changed from step ST13 to the process step of step ST15.
If there is no evaluation point in the rough gate, the process is changed to proceed to the process of step ST21.
Also in the process of step ST15, when examining the remaining evaluation target points, the calculation of the scattering point evaluation value is not completed, and the presence or absence of an evaluation target point that enters the coarse gate is checked. Change to proceed to ST16. When the determination using the coarse gate is performed, the basic determination rule is changed and the definition information of the coarse gate and the like are added.
In the rough gate, the calculation for the evaluation target points that clearly do not exceed the in-gate determination threshold is omitted by a simple calculation in advance. Therefore, it is guaranteed that the use of the coarse gate does not affect the final evaluation result, and the same effect as in the first embodiment can be obtained.
[0076]
Furthermore, in a case where the number of evaluation target points is large such as when the image size is large, by setting an appropriate coarse gate, it is possible to obtain an efficient SAR super-resolution image evaluation apparatus with reduced execution time. There is.
In the above-described modified example, the rough gate has been described as an example in which the determination calculation that the row and column coordinates are within 5 pixels is designated from the coordinates of the reference point for examining the correspondence relationship. A gate can be set, and the same effect as in the above-described modification can be obtained.
[0077]
Embodiment 2 FIG.
FIG. 19 is a configuration diagram showing an image evaluation apparatus according to Embodiment 2 of the present invention. In the figure, the same reference numerals as those in FIG. 1 denote the same or corresponding parts, and a description thereof will be omitted.
The simulation correct answer vertex information management unit 11 holds the image data of the correct answer image and scatter points related to the theoretical scatter points (theoretical reference points) obtained from the setting conditions of the simulation performed when the correct answer image is generated. Holds information. The simulation correct answer correspondence criterion holding unit 12 holds a judgment matrix generation rule, cluster generation / update conditions, and an evaluation value calculation method for a scattering point correlation matrix corresponding to a theoretical reference point. The simulation correct answer determination criterion holding unit 12 constitutes a determination matrix generation unit.
The simulation correct answer corresponding correlation evaluation value calculation method holding unit 13 holds a basic correlation matrix evaluation value calculation method corresponding to a theoretical reference point, and the like. The simulation correct answer corresponding correlation evaluation value calculation method holding unit 13 constitutes an evaluation value calculation unit.
[0078]
In the first embodiment, the case where the determination matrix generation unit 5 refers to the scattering point information related to the reference point of the correct image when generating the scattering point determination matrix for each cluster has been described. You may make it refer to the scattering point information about the theoretical reference point obtained from the setting conditions of the executed simulation.
[0079]
That is, the determination matrix generation unit 5 evaluates the correspondence between the scatter points of the correct image and the super-resolution image using the scatter point information on the theoretical reference point held in the simulation correct answer vertex information holding unit 12. To
Further, the correlation matrix management unit 8 evaluates the scattering point correlation correlation matrix using the basic correlation matrix evaluation value calculation method corresponding to the theoretical reference point held in the simulation correct answer correspondence evaluation value calculation method holding unit 13. Calculate the value.
[0080]
The evaluation value between scattering points, which is a reference for all evaluation values, depends on the distance between the scattering points of the correct image and the super-resolution image. At the reference point, the information of the vertex is one point corresponding to the pixel of the image. However, the theoretical reference point does not always correspond to the pixel, and can take a value such as the right side of the pixel.
Therefore, the simulation correct answer correspondence determination criterion holding unit 12 and the simulation correct answer corresponding correlation evaluation value calculation method holding unit 13 use the basic determination rule and the basic correlation matrix evaluation value calculation method corresponding to the theoretical reference point that can take such values. keeping.
The second embodiment is the same as the first embodiment except that the reference point is changed to the theoretical reference point, and the referenced basic determination rule and the basic correlation matrix evaluation value calculation method are changed. Detailed description of the steps will be omitted.
[0081]
In the second embodiment, in the evaluation of a super-resolution image whose resolution has been enhanced by performing super-resolution processing, a theoretical reference point obtained from setting conditions of a simulation performed when a correct image is generated, and the like. Since the scattered point information is referred to, it is possible to evaluate a super-resolution image as in the first embodiment.
[0082]
Embodiment 3 FIG.
FIG. 20 is a configuration diagram showing an image evaluation apparatus according to Embodiment 3 of the present invention. In the figure, the same reference numerals as those in FIGS. 1 and 19 denote the same or corresponding parts, and a description thereof will be omitted.
The simulation / image mixed correspondence determination criterion holding unit 14 holds the held contents of the judgment criterion holding unit 4 of FIG. 1 and the held contents of the simulation correct answer correspondence criterion holding unit 12 of FIG. Note that the simulation / image mixed correspondence determination criterion holding unit 14 constitutes a determination matrix generation unit.
The simulation / image mixture correspondence correlation evaluation value calculation method holding unit 15 holds the contents held by the correlation evaluation value calculation method holding unit 6 of FIG. 1 and the contents held by the simulation correct answer correspondence evaluation value calculation method holding unit 13 of FIG. ing. Note that the simulation / image mixed correspondence evaluation value calculation method holding unit 15 constitutes an evaluation value calculation unit.
[0083]
In the first embodiment, when the determination matrix generation unit 5 generates the scattering point determination matrix for each cluster, the scattering matrix information relating to the reference point of the correct image is referred to. Information and scattering point information on a theoretical reference point obtained from setting conditions of the simulation may be referred to.
[0084]
That is, in the third embodiment, the correct image is obtained by using the scatter point information on the reference point held by the correct image management means 2 and the scatter point information on the theoretical reference point held by the simulation correct vertex information management unit 11. And the corresponding relationship between the scattering points of the super-resolution images.
For this reason, the determination matrix generation unit 5 performs the processing content of step ST2, such as calculation of the evaluation value between scattering points and the gate determination process, with reference to the content stored in the simulation / image mixed correspondence determination standard storage unit 14.
Further, the correlation matrix management unit 8 refers to the held contents of the simulation / image mixed correspondence evaluation value calculation method holding unit 15 and performs the processing contents of step ST3 such as the evaluation value calculation processing for the scattering point correlation correlation matrix. I do.
[0085]
In the third embodiment, two values of an evaluation target point and a reference point, and an evaluation target point and a theoretical reference point are calculated as distance information between the scattering points which is a reference when calculating the evaluation value between the scattering points and the like. be able to. For this reason, the simulation / image mixing correspondence determination criterion holding unit 14 and the simulation / image mixing correspondence correlation evaluation value calculation method holding unit 15 calculate the basic determination rule and the basic correlation matrix evaluation value calculation method corresponding to the case where such values can be obtained. Holding the way.
The third embodiment is the same as the first embodiment except that the basic determination rule and the basic correlation matrix evaluation value calculation method are changed, and thus detailed description of the processing steps is omitted.
According to the third embodiment, the correspondence between the scatter points of the correct image and the super-resolution image is evaluated using the scatter point information on the reference point based on the correct image and the scatter point information on the theoretical reference point. Therefore, there is an effect that the evaluation accuracy of the super-resolution image can be improved as compared with the first embodiment.
[0086]
Embodiment 4 FIG.
FIG. 21 is a configuration diagram showing an image evaluation apparatus according to Embodiment 4 of the present invention. In the figure, the same reference numerals as those in FIG. 1 denote the same or corresponding parts, and a description thereof will be omitted.
The noise-correlation-correlation-value-calculation-method holding unit 16 stores a correlation-matrix evaluation-value calculation method (a noise-correlation-correlation-matrix evaluation-value-calculation method) that considers the influence of noise (evaluation target points determined to have no corresponding reference point). keeping. The noise-correlation-correlation-evaluation-value calculating method holding unit 16 constitutes an evaluation value calculating unit.
[0087]
Although not specifically mentioned in the first embodiment, when the correlation matrix management unit 8 calculates the evaluation value for the scattering point correlation matrix, there is no scattering point of the correct image corresponding to the scattering point of the super-resolution image. In this case, the evaluation value may be calculated by regarding the scattering points of the super-resolution image as noise.
[0088]
That is, in the fourth embodiment, when the correlation matrix management unit 8 calculates the evaluation value for the scattering point correlation matrix, the noise-correlation correlation matrix evaluation value calculation method stored in the noise-correlation correlation evaluation value calculation method holding unit 16 I'm trying to use
The noise-correlation-correlation-evaluation-value calculation method The noise-correlation-correlation-matrix evaluation-value calculation method held in the holding unit 16 is as follows (the noise calculation method 1 and the noise calculation method 2 correspond to the basic correlation matrix evaluation-value calculation method). (Same as calculation method 1 and calculation method 2).
[0089]
・ Noise calculation method 1
An evaluation value other than the evaluation value “0” included in the scattering point correlation matrix is selected.
The product of all the selected evaluation values is referred to as “scattering point evaluation value”.

The extinction evaluation value is an evaluation value when the scattering point information that should have existed has disappeared, and is an evaluation value of a sufficiently large negative value. The super-resolution ratio, the specifications of the SAR sensor, Arbitrarily set from conditions of data generation simulation.
[0090]

The noise evaluation value coefficient is an evaluation coefficient for a scattering point determined to be noise. The “noise evaluation value” is set to be a negative value smaller than the disappearance evaluation value. The determination is made in consideration of the super-resolution ratio, the specifications of the SAR sensor, the conditions of the data generation simulation, and the like.

[0091]
In the fourth embodiment, the correlation matrix management unit 8 calculates the correlation matrix evaluation value according to the noise-correlation correlation matrix evaluation value calculation method held in the noise-correlation correlation evaluation value calculation method holding unit 16 in the process of step ST33. I do.
The calculation of the correlation matrix evaluation value will be described with an example of calculating the correlation matrix evaluation value for the scattering point correlation matrix in FIG.
[0092]
First, using the noise calculation method 1, the product of the evaluation value A1 and the evaluation value B3 is calculated as a scattering point evaluation value.
Next, the correct answer disappearance evaluation value is calculated using the noise calculation method 2. In this case, the correct answer disappearance evaluation value is “0” because all elements do not have the column of the evaluation value “0” ( Equation (5)).
The steps up to here are the same as those in the first embodiment (the noise calculation method 1 and the noise calculation method 2 are the same as the calculation method 1 and the calculation method 2).
[0093]
Thereafter, a noise evaluation value is obtained by using the equation (6) of the noise calculation method 3. Here, since the number of rows in which all elements have the evaluation value “0” is “1” (the row of the evaluation target point 2), the noise evaluation value is the value of the noise evaluation coefficient.
Finally, the correlation matrix evaluation value is obtained using the equation (7) of the noise calculation method 4. Here, the correlation matrix evaluation value becomes smaller than that of the first embodiment by the noise evaluation value.
[0094]
As described above, in the fourth embodiment, the scatter points of the super-resolution image determined to have no corresponding scatter points of the correct image are regarded as noise, and the evaluation value of the scatter point correlation matrix is considered in consideration of the noise. Is determined, the effect of evaluating the quality of the super-resolution image can be evaluated in consideration of the effect of the case where there is a scattering point determined as noise in the cluster.
[0095]
Although the fourth embodiment has been described with reference to the case where the noise evaluation value is determined based on the number of rows in which all the elements have the evaluation value “0” in the noise calculation method 3, all the elements have the evaluation value “0”. The method of determining an arbitrary noise evaluation value using the information of the evaluation target point for the row of "" can be set, and in this case, the same effect can be obtained.
For example, it is also effective to calculate a value reflecting the size of the peak of the scattering point for each row in which all the elements have the evaluation value “0”. Here, in addition to simply using the size of the peak, it is also effective to use the difference from the reference point where the peak is the minimum. Further, in the fourth embodiment, a case has been described in which the noise-correlation correlation evaluation value calculation method holding unit 16 is added based on the first embodiment. However, the fourth embodiment may be applied to the second and third embodiments. The effect can be achieved.
[0096]
Embodiment 5 FIG.
FIG. 22 is a configuration diagram showing an image evaluation apparatus according to Embodiment 5 of the present invention. In the figure, the same reference numerals as in FIG. 21 denote the same or corresponding parts, and a description thereof will be omitted.
The out-of-cluster noise evaluation unit 17 determines an evaluation target point belonging to the cluster that has no corresponding reference point as noise. The extra-cluster noise evaluation unit 17 constitutes an evaluation value calculation unit.
FIG. 23 is a flowchart showing the processing content of the image evaluation unit 10.
[0097]
In the above fourth embodiment, when there is no scatter point of the correct image corresponding to the scatter point of the super-resolution image, the evaluation value is calculated by regarding the scatter point of the super-resolution image as noise. Alternatively, the evaluation value may be calculated by regarding the scattering points of the super-resolution image that do not belong to the cluster as noise.
[0098]
That is, in the fourth embodiment, by using the noise-correlation correlation matrix evaluation value calculation method stored in the noise-correlation correlation evaluation value calculation method holding unit 16, the evaluation target points belonging to the cluster Noise without points is determined as noise, and the effect is reflected in the evaluation value of the super-resolution image.Since the cluster is generated based on the reference point, it is separated from the reference point and does not belong to the cluster. The effects of the evaluation points have been ignored.
In the fifth embodiment, the out-of-cluster noise evaluation unit 17 regards evaluation target points that do not belong to such a cluster as noise, and calculates a correction amount of an evaluation value for these noises.
Note that the processing of steps ST1 to ST4 is the same as that of the fourth embodiment, and the processing of step ST5 is added. Therefore, the processing of step ST5 will be described.
[0099]
After calculating the evaluation value of the super-resolution image in the process of step ST4, the image evaluation unit 10 instructs the extra-cluster noise evaluation unit 17 to calculate an evaluation value for extra-cluster noise.
When receiving an instruction to calculate an evaluation value for noise outside the cluster from the image evaluation unit 10, the extra-cluster noise evaluation unit 17 refers to the evaluation target point table of the cluster management unit 9 and “independent state” (in this example, The number of scattering points with ID = 0 is counted (this number is referred to as “the number of independent evaluation points”).
[0100]
Next, the extra-cluster noise evaluation unit 17 obtains the value of the “noise evaluation coefficient” of the noise calculation method 3 from the noise-correlation correlation evaluation value calculation method holding unit 16.
Finally, the extra-cluster noise evaluation unit 17 calculates the value of “independent evaluation target points” × “noise evaluation coefficient” as an evaluation value for extra-cluster noise (since the noise evaluation coefficient is a negative value, the negative evaluation value ), And outputs the calculation result to the image evaluation unit 10.
[0101]
When receiving the “evaluation value for extra-cluster noise” from the extra-cluster noise evaluation unit 17, the image evaluation unit 10 corrects the super-resolution image evaluation value using the following equation (8).
Evaluation value of super-resolution image =
Evaluation value of processing result image + “evaluation value for noise outside cluster” (8)
[0102]
According to the fifth embodiment, even a scattered point of a super-resolution image that does not belong to a cluster and is determined to have no corresponding scattered point of a correct image is regarded as noise. Since the image image can be evaluated, it is possible to calculate an evaluation value that more accurately reflects the influence of noise in the super-resolution image.
[0103]
Embodiment 6 FIG.
FIG. 24 is a configuration diagram showing an image evaluation apparatus according to Embodiment 6 of the present invention. In the figure, the same reference numerals as those in FIG. 1 denote the same or corresponding parts, and a description thereof will be omitted.
The separation distance correspondence correlation evaluation value calculation method holding unit 18 holds a correlation matrix evaluation value calculation method (reference point distance correspondence matrix evaluation value calculation method) in consideration of the influence of the distance between reference points. Note that the separation distance corresponding correlation evaluation value calculation method holding unit 18 constitutes an evaluation value calculation unit.
[0104]
Although not specifically mentioned in the first embodiment, the evaluation value for the scattering point correlation matrix may be calculated in consideration of the distance between the scattering points of the correct image.
That is, the correlation matrix management unit 8 calculates the correlation matrix evaluation value according to the correlation matrix evaluation value calculation method corresponding to the reference point distance stored in the separation distance correspondence correlation evaluation value calculation method holding unit 18.
The method of calculating the correlation matrix between the reference points, which is stored in the storage unit 18 is as follows (distance calculation method 2 is the calculation of the basic correlation matrix evaluation value calculation method). Same as method 2).
[0105]
・ Distance calculation method 1
An evaluation value other than the evaluation value “0” included in the scattering point correlation matrix is selected.
First, the product of all the selected evaluation values is referred to as a “scattering point evaluation value”.
Next, when there are two or more reference points having an evaluation value other than the evaluation value “0”, the distance between the two points is obtained (this is referred to as “distance between correlation reference points”).
The “two-point separation evaluation value” is obtained using the following equation (9) based on the distance between the correlation reference points.

d is a constant of an arbitrary value, and is set to 1 in this example for the sake of simplicity. Here, when there are three or more reference points having an evaluation value other than the evaluation value “0”, a “two-point separation evaluation value” is obtained for every two adjacent points, and the sum thereof is referred to as a “two-point separation evaluation value”. Value ”. The separation evaluation coefficient is an evaluation coefficient for the distance between the separated scattering points. Takes a positive value for the bonus evaluation value for separation. The determination is made in consideration of the super-resolution ratio, the specifications of the SAR sensor, the conditions of the data generation simulation, and the like.
[0106]

[0107]
In the sixth embodiment, in the process of step ST33, the correlation matrix management unit 8 calculates the correlation matrix in accordance with the correlation matrix evaluation value calculation method corresponding to the distance between reference points held in the separation distance correspondence correlation value calculation method holding unit 18. Calculate the evaluation value.
The calculation of the correlation matrix evaluation value will be described with an example of calculating the correlation matrix evaluation value for the scattering point correlation matrix in FIG.
Here, the process is the same as that of the first embodiment until the product of the evaluation value A1 and the evaluation value B3 is calculated as the scattering point evaluation value.
[0108]
After that, the correlation matrix management unit 8 calculates the distance between the reference points A and B using the distance calculation method 1.
At this time, the correlation matrix management unit 8 obtains coordinate data of the reference points A and B from the reference point table of the cluster management unit 9 and obtains a distance between the correlation reference points.
After calculating the distance between the correlation reference points, the correlation matrix management unit 8 obtains the “two-point separation evaluation value” using Expression (9).
[0109]
Next, the correlation matrix management unit 8 obtains the “correct answer elimination evaluation value” from the distance calculation method 2, which is the same as the case where the calculation method 2 in the first embodiment is used.
Finally, the correlation matrix management unit 8 calculates the correlation matrix evaluation value using the equation (10) of the distance calculation method 3 (“two-point separation evaluation value” is added to the calculation of the correlation matrix evaluation value). This is different from the first embodiment).
Here, the correlation matrix evaluation value is larger than that of the first embodiment by the value of the “two-point separation evaluation value”.
[0110]
According to the sixth embodiment, since the evaluation value of the scattering point correlation matrix considering the distance in the correct image can be determined for the scattering points that can be separated as a result of the super-resolution processing, the separable scattering points can be determined. There is an effect that the result of the super-resolution processing can be evaluated by reflecting the point distance.
[0111]
In the sixth embodiment, the value of the constant d is set to 1 in Expression (9). However, the value may be set to an arbitrary value, and the same effect can be obtained.
In addition, the denominator is set to “distance between correlation reference points + 1”. Here, it is sufficient that the denominator can be calculated so as not to be “0” and a high evaluation value can be set when the distance between the correlation reference points is short. When the distance between the correlation reference points is “0”, a setting may be made such that a high evaluation value is set by exception processing, and the same effect can be obtained.
Also, the separation evaluation coefficient can be set to an arbitrary value in conjunction with the value of d, and the same effect can be obtained even if the separation evaluation coefficient is set to an arbitrary value.
In the sixth embodiment, the two-point separation evaluation value is determined based on only the distance between the correlation reference points in Expression (9). However, theoretical separation is performed based on an algorithm or the like in the applied super-resolution processing. A modified example in which a possible distance is obtained and a calculation formula for determining a two-point separation evaluation value based on the theoretical separable distance is also possible, and the same effect can be obtained.
Further, by reflecting the theoretically separable distance in the evaluation value, there is an effect that the probability that the two-point separation evaluation value, which is the evaluation value of the bonus for the separation distance, can be calculated as a more appropriate value can be improved.
[0112]
As an example of a calculation formula for determining the two-point separation evaluation value based on the theoretically separable distance, the distance between the correlation reference points and the theoretical An example in which the above difference in separable distance is used is considered.
In the sixth embodiment, a description has been given of a case in which the separation distance correspondence correlation evaluation value calculation method holding unit 18 is added based on the first embodiment. However, the sixth embodiment may be applied to the second and third embodiments. The effect can be achieved.
Further, in the third embodiment, the reference point is used for calculating the normal evaluation value, and the distance between the correlation reference points, which is the reference of Expression (9), is obtained by the theoretical reference point. By effectively using the information, it is possible to improve the probability that a more effective two-point separation evaluation value can be calculated.
[0113]
Embodiment 7 FIG.
FIG. 25 is a configuration diagram showing an image evaluation apparatus according to Embodiment 7 of the present invention. In the figure, the same reference numerals as those in FIG. 1 denote the same or corresponding parts, and a description thereof will be omitted.
The scattering point dense density correspondence correlation evaluation value calculation method holding unit 19 holds a correlation matrix evaluation value calculation method (dense correspondence correlation matrix evaluation value calculation method) in consideration of the influence of the degree of density between reference points. Note that the correlation evaluation value calculation method holding unit 19 corresponding to the scattering point dense density constitutes an evaluation value calculation unit.
[0114]
Although not particularly mentioned in the first embodiment, an evaluation value for the scattering point correlation matrix may be calculated in consideration of the density of scattering points in the correct image.
In other words, the correlation matrix management unit 8 calculates the correlation matrix evaluation value according to the correlation matrix evaluation value calculation method stored in the scattering point dense density corresponding correlation evaluation value calculation method holding unit 19.
The method of calculating the correlation matrix evaluation value corresponding to the density of scattering points is as follows (the method of calculating the correlation matrix evaluation value of the basic correlation matrix is the method 2). 2).
[0115]
・ Dense calculation method 1
An evaluation value other than the evaluation value “0” included in the scattering point correlation matrix is selected.
First, the product of all the selected evaluation values is referred to as a “scattering point evaluation value”.
Next, when there are two or more reference points having an evaluation value other than the evaluation value “0”, the size (area) of the cluster region is obtained (the size of the region is referred to as “cluster region size”).
Based on the distance between the correlation reference points, the “dense separation evaluation value” is obtained using the following equation (11).
"Dense separation evaluation value" =
Dense evaluation coefficient x "Number of reference points having evaluation values other than evaluation value" 0 ""
/ “Cluster area size” (11)
Note that the density evaluation coefficient is an evaluation coefficient for the degree of density of scattering points. Takes a positive value for the bonus evaluation value for separation. The determination is made in consideration of the super-resolution ratio, the specifications of the SAR sensor, the conditions of the data generation simulation, and the like.
[0116]

[0117]
In the seventh embodiment, the correlation matrix management unit 8 performs the correlation matrix calculation process in step ST33 according to the dense correlation matrix evaluation value calculation method held in the scattering point dense density correspondence evaluation value calculation method holding unit 19. Calculate the evaluation value.
The calculation of the correlation matrix evaluation value will be described with an example of calculating the correlation matrix evaluation value for the scattering point correlation matrix in FIG.
Here, the process is the same as that of the first embodiment until the product of the evaluation value A1 and the evaluation value B3 is calculated as the scattering point evaluation value.
[0118]
Thereafter, the correlation matrix management unit 8 calculates the cluster region size using the distance calculation method 1. The cluster region size is a region in which a reference point having an evaluation value other than the evaluation value “0” included in the cluster is set as a vertex. Here, since there are only two vertices of the reference point A and the reference point B, the area is a distance of one pixel × one pixel (a triangular area with three points and a rectangular area with four points).
In a case where all the reference points are arranged on a straight line (super-resolution processing in one direction or the like), the area is set to the distance of the reference points at both ends × one pixel. The position of the reference point used in the area determination is obtained by referring to the reference point table of the cluster management unit 9.
[0119]
After calculating the cluster region size, the correlation matrix management unit 8 obtains a “dense separation evaluation value” using Expression (11).
Next, the correlation matrix management unit 8 obtains the “correct answer disappearance evaluation value” from the dense calculation method 2, which is the same as the case where the calculation method 2 is used in the first embodiment.
Finally, the correlation matrix management unit 8 calculates the correlation matrix evaluation value using the equation (12) of the density calculation method 3 (“Dense separation evaluation value” is added to the calculation of the correlation matrix evaluation value. However, this is different from the first embodiment).
Here, the correlation matrix evaluation value is larger than that of the first embodiment by the value of “dense separation evaluation value”.
[0120]
According to the seventh embodiment, for the scattering points that can be separated as a result of the super-resolution processing, the evaluation value of the scattering point correlation matrix can be determined in consideration of the density of the scattering points in the correct image. There is an effect that the super-resolution image can be evaluated by reflecting the density of the separable scattering points.
[0121]
In the seventh embodiment, a case where the size of the cluster area is used as the “cluster area size” (area) as the criterion for calculating the dense separation evaluation value in equation (11) has been described. In addition to the above, a modification example in which a dense separation evaluation value is calculated in consideration of an expansion rate (how many times the original image is super-resolution and the shape of a cluster region) is also possible. Similar effects can be obtained.
Further, in an example in which only one direction is extended as in the modification of the first embodiment, the distance between both ends of the cluster × 1 pixel is set to the size of the cluster area, or the square of the distance between both ends of the cluster is densely arranged. It can be used as a reference for calculating the separation evaluation value, and the same effect can be obtained.
[0122]
In the seventh embodiment, only the “cluster area size” and “the number of reference points having evaluation values other than the evaluation value“ 0 ”” are used as the criteria for calculating the dense separation evaluation value in Expression (11). The number of theoretical scattering points that can be found at the target density is determined from the applied super-resolution processing algorithm, etc., and this number and the number of found scattering points ("reference points having evaluation values other than the evaluation value" 0 ") ) Can be compared and replaced with a calculation formula that determines the dense separation evaluation value, and the same effect can be obtained.
Here, by reflecting the theoretical number of scattering points that can be found at the target density, there is also an effect that the probability that a more appropriate dense separation evaluation value can be calculated can be improved.
[0123]
In the seventh embodiment, the case where the correlation evaluation value calculating method holding unit 19 corresponding to the scattering point density is added based on the first embodiment is described. However, the seventh embodiment may be applied to the second and third embodiments. The same effect can be obtained.
[0124]
Embodiment 8 FIG.
FIG. 26 is a block diagram showing an image evaluation apparatus according to Embodiment 8 of the present invention. In the figure, the same reference numerals as those in FIG. 1 denote the same or corresponding parts, and a description thereof will be omitted.
The moving direction corresponding correlation evaluation value calculation method holding unit 20 holds a correlation matrix evaluation value calculating method (moving direction corresponding correlation matrix evaluation value calculating method) in consideration of the shift direction between the reference point and the evaluation target point. The moving direction corresponding correlation evaluation value calculating method holding unit 20 constitutes an evaluation value calculating unit.
[0125]
Although not specifically mentioned in the first embodiment, the evaluation value for the scattering point correlation matrix may be calculated in consideration of the direction of deviation between the scattering point of the correct image and the scattering point of the super-resolution image. .
That is, the correlation matrix management unit 8 calculates the correlation matrix evaluation value according to the moving direction corresponding correlation matrix evaluation value calculation method stored in the moving direction corresponding correlation evaluation value calculation method holding unit 20.
The moving direction corresponding correlation matrix evaluation value calculation method held in the moving direction corresponding correlation evaluation value calculation method holding unit 20 is as follows (movement calculation method 2 is a calculation method 2 of the basic correlation matrix evaluation value calculation method). Same as).
[0126]
・ Moving calculation method 1
An evaluation value other than the evaluation value “0” included in the scattering point correlation matrix is selected.
First, the product of all the selected evaluation values is referred to as a “scattering point evaluation value”.
Next, when there are two or more reference points having an evaluation value other than the evaluation value “0”, the difference between the reference point and the evaluation target point is obtained as a vector for each field other than the evaluation value “0” (this vector Is referred to as a “movement vector”). For example, if the image is in the range direction on the X axis and in the azimuth direction on the Y axis, a movement vector is obtained as a vector in the X and Y directions.
After calculating the difference between the vectors as the difference vector between the movement vectors, the sum of the magnitudes of the difference vectors is calculated as the “movement amount”. Based on the “movement amount”, a “movement evaluation value” is obtained using the following equation (13).
“Movement evaluation value” = movement evaluation coefficient × movement amount (13)
Note that the movement evaluation coefficient is an evaluation coefficient for the direction of deviation between the reference point and the evaluation target point. It takes a negative value for the evaluation value of the penalty for the degree to which the scattering points are shifted in different directions. The determination is made in consideration of the super-resolution ratio, the specifications of the SAR sensor, the conditions of the data generation simulation, and the like.
[0127]

[0128]
In the eighth embodiment, in the process of step ST33, the correlation matrix management unit 8 calculates the correlation matrix evaluation value according to the moving direction corresponding correlation matrix evaluation value calculation method held in the moving direction corresponding correlation matrix evaluation value holding unit 20. Is calculated.
Here, when calculating the correlation matrix evaluation value, if there are two or more reference points having an evaluation value other than the evaluation value “0” in the scattering point correlation matrix, for each field other than the evaluation value “0”, Find the movement vector.
After that, a difference between the movement vectors is calculated as a difference vector, and then the sum of the magnitudes of the difference vectors is calculated as a “movement amount”.
Based on the “movement amount”, a “movement evaluation value” is obtained using Expression (13).
[0129]
Next, the correlation matrix management unit 8 calculates the “correct answer elimination evaluation value” from the movement calculation method 2, which is the same as the case where the calculation method 2 is used in the first embodiment.
Finally, the correlation matrix management unit 8 calculates the correlation matrix evaluation value using the equation (14) of the movement calculation method 3 (“movement evaluation value” has been added to the calculation of the correlation matrix evaluation value. Different from the first embodiment).
Here, the correlation matrix evaluation value is smaller than that of the first embodiment by the value of “movement evaluation value”.
[0130]
According to the eighth embodiment, the evaluation value of the scattered point correlation matrix can be determined in consideration of the scattered point of the correct image and the shift direction of the super-resolution image. There is an effect that the super-resolution image can be evaluated in consideration of the direction.
[0131]
In the eighth embodiment, the procedure in which the “movement evaluation value” is calculated based on the movement vector to obtain the “movement evaluation value” in Expression (13) has been described. In the example of extending, the movement vector can be expressed only by positive and negative numerical values, and the same effect can be obtained.
In this case, there is an effect that the “movement evaluation value” can be easily and efficiently obtained.
In the eighth embodiment, an example is described in which the moving direction correspondence correlation evaluation value calculation method holding unit 20 is added based on the first embodiment. However, the present embodiment may be applied to the second and third embodiments. The effect can be achieved.
[0132]
Embodiment 9 FIG.
FIG. 27 is a configuration diagram showing an image evaluation apparatus according to Embodiment 9 of the present invention. In the figure, the same reference numerals as those in FIG. 1 denote the same or corresponding parts, and a description thereof will be omitted.
The combined correlation evaluation value calculation method holding unit 21 holds a combined scattering point correspondence matrix evaluation value calculation method, and the combined correlation matrix generation rule holding unit 22 holds a combined scattering point corresponding correlation matrix generation rule. The combined correlation evaluation value calculation method storage unit 21 and the combined correlation matrix generation rule storage unit 22 constitute an evaluation value calculation unit.
[0133]
In the first embodiment, although not particularly mentioned, when a plurality of scattering points in the super-resolution image are combined into one scattering point by the super-resolution processing, a plurality of the combined scattering points and a plurality of A scattering point correlation matrix may be generated such that the scattering points correspond. FIG. 29 is an explanatory diagram showing an example of a scattering point correlation matrix newly calculated by using the combined type correlation evaluation value calculation method holding unit 21 and the combined type correlation matrix generation rule holding unit 22.
[0134]
In the ninth embodiment, the scattering point correlation matrix generation rule is changed from the basic correlation matrix generation rule in the first embodiment to the synthetic scattering point corresponding correlation matrix generation rule held by the synthesis type correlation matrix generation rule holding unit 22. ing.
According to the synthetic scattering point correspondence matrix generation rule, as a result of the super-resolution processing, processing results for a plurality of reference points are synthesized into one evaluation target point (such evaluation target points are referred to as “synthetic evaluation target points”. ), A scattering point correlation matrix such that a plurality of reference points correspond to the combined evaluation target points.
Therefore, rule 1 of the basic correlation matrix generation rule is invalidated, and the following “synthesis rule 4” and “synthesis rule 5” are newly added (“rule 2” and “rule 3” of the basic correlation matrix generation rule are It is valid).
[0135]
・ Synthesis rule 4
In a cluster having two or more reference points, a composite point determination value is calculated at an evaluation target point in a row in which a plurality of evaluation values other than “0” are set in the scattering point correlation matrix. If the composite point determination value is larger than the composite determination threshold, the evaluation target point is set as a composite candidate point. Here, the “peak size” of the target evaluation target point is used as the composite point determination value. The synthesis determination threshold is a threshold for determining a scattering point that may be a synthesis evaluation target point, and includes a super-resolution ratio, an SAR sensor specification, data generation simulation conditions, and a synthesis point determination. Set arbitrarily from the method of calculating the value.
・ Synthesis rule 5
In the row of synthesis candidate points, a plurality of evaluation values other than “0” can be selected.
Except for the row of synthesis candidate points, at most one evaluation value other than “0” can be selected as before.
[0136]
In the ninth embodiment, the basic correlation matrix evaluation value calculation in the first embodiment is performed in order to cope with the evaluation using the scattering point correspondence matrix generated according to the held content of the combined correlation matrix generation rule holding unit 22. The method is replaced with a method for calculating a correlation matrix evaluation value corresponding to a composite scattering point held by the composite correlation evaluation value calculation method storage unit 21.
In the correlation matrix evaluation value calculation method corresponding to the composite scattering point, the following “combination calculation method 4” is added to the basic correlation matrix evaluation value calculation method (calculation methods 1 to 3 of the basic correlation matrix evaluation value calculation method are valid). .
[0137]
・ Synthesis calculation method 4
When a plurality of evaluation values other than “0” are selected in the row of the combination candidate point, first, the number of selected evaluation values other than “0” is set as “the number of synthesis” (synthesis calculation method 4-1).
Next, the evaluation value other than “0” in the target row is recalculated and corrected by the following equation (15) (synthesis calculation method 4-2).
Corrected scattering point evaluation value = Evaluation value / (g × composite number) ^h ) (15)
Here, g and h can be set to arbitrary constants. In this example, both are set to “1” to simplify the description.
Finally, using the corrected corrected inter-scattering point evaluation value, a correlation evaluation value is obtained by a basic pattern calculation rule (calculation method 1 to calculation method 3) (synthesis calculation method 4-3).
[0138]
The processing contents of steps ST32 and ST33 in the ninth embodiment will be described with an example of calculating a correlation matrix evaluation value for the scattering point correlation matrix in FIG.
The correlation matrix management unit 8 checks whether or not there is a candidate combination point (step ST32). An example in which the evaluation target point 2 satisfies the condition of “synthesis rule 4” and is determined to be a synthesis candidate point will be described.
Here, the “scattering point correlation matrix recognized by the synthetic scattering point correspondence correlation matrix generation rule” of FIG. 29 is generated from the synthesis rule 5 (not permitted by the basic correlation matrix generation rule of the first embodiment).
[0139]
The correlation matrix management unit 8 applies the combination calculation method 4 when calculating the evaluation value for the “scattering point correlation matrix recognized by the combined scattering point correspondence matrix generation rule” in the process of step ST33.
In this example, first, since the number of reference points to be synthesized at the evaluation target point 2 is two, “the number of synthesis” = 2 (the synthesis calculation method 4-1).
Next, using the equation (15), the evaluation value between scattering points of the target row (here, the row of the evaluation target point 2) is corrected to the corrected evaluation value between scattering points (synthesis calculation method 4-2).
As a result of the processing so far, the “scattering point correlation matrix used in the method of calculating the correlation matrix corresponding to the composite scattering point” shown in FIG. 29 is generated.
[0140]
The correlation matrix management unit 8 finally obtains a correlation matrix evaluation value using the basic pattern calculation rules (calculation methods 1 to 3). Here, the content of the scattering point correlation matrix serving as the evaluation reference is different, but the calculation method is the same as in the first embodiment.
Thereafter, the process proceeds to the process of step ST34, and the procedure of selecting the largest correlation matrix evaluation value as the cluster evaluation value is the same as in the first embodiment. In this example, only the pattern of the “scattering point correlation matrix used in the method of calculating a correlation matrix corresponding to a synthesized scattering point” shown in FIG. However, as in the other embodiments, the operations in steps ST31 to ST33 are repeated within a range that can be generated in accordance with the synthetic scattering point correspondence correlation matrix generation rule.
In this example as well, not only the “scattering point correlation matrix used in the method for calculating a correlation matrix corresponding to a composite scattering point evaluation method” in FIG. 29 but also the scattering point correlation matrix shown in FIG. 12 is generated. The process of obtaining the correlation matrix evaluation value is the same as in the first embodiment.
[0141]
The effects of the image evaluation device according to the ninth embodiment will be described with reference to FIG.
The image to be evaluated in FIG. 30 is an example of a case where a plurality of close scattering points appear as one point having a large power (case 1) and a case where a scattering point on one side cannot be detected (case 2).
Here, the horizontal axis is the pixel, and the vertical axis is the power of each pixel. There are two reference points A and B as the correct scattering points, and one evaluation target point 1 as the processing result scattering point.
In case 1, the information of reference point A and reference point B are combined to calculate evaluation point 1, and in case 2, the information of reference point B disappears, corresponding to reference point A and evaluation point 1. Is the correct answer.
[0142]
When the case 1 and the case 2 are evaluated by a simple method of comparing two images, an evaluation that two points become one point is obtained.
The scattering point determination matrix for the image to be evaluated in FIG. 30 has a shape common to Case 1 and Case 2, and the evaluation value A1> the evaluation value B1.
However, in case 1 and case 2, the values of the evaluation value A1 and the evaluation value B1 are different (only the shape of the matrix and the magnitude relationship between the evaluation values are the same).
When the scattering point correlation matrix is obtained by the image evaluation device of the first to eighth embodiments based on the scattering point determination matrix of FIG. 30, the scattering point correlation matrix 1 to the scattering point correlation matrix 3 of FIG. 30 are calculated. You.
[0143]
In this case, in both case 1 and case 2, the scattering point correlation matrix 2 with the highest evaluation value is selected.
This means that it has been determined that the reference point A and the evaluation target point 1 correspond to each other and the information of the reference point B has disappeared.
On the other hand, in the image evaluation device of the ninth embodiment, the combined scattering point can be considered. That is, as indicated by the synthesis rule 4, the peak size of the evaluation target point is compared with the synthesis determination threshold to select a synthesized scattering point candidate.
Here, it is assumed that the evaluation target point 1 in case 1 has a peak that is larger than the synthesis determination threshold value. In addition, it is assumed that the evaluation target point 1 in case 2 has a smaller peak than the synthesis determination threshold because the peak is small.
As a result, in case 1, the scattering point correlation matrix 4 is newly calculated, and in case 2, only the scattering point correlation matrix 1 to the scattering point correlation matrix 3 are calculated as in the first to eighth embodiments. Here, it is assumed that the evaluation value of the scattering point correlation matrix 4 is larger than the scattering point correlation matrix 2.
[0144]
At this time, in Case 1, the correspondence of the scattering point correlation matrix 4 is selected. This means that the information on the reference point A and the reference point B has been synthesized and the corresponding relationship in which the evaluation target point 1 has been calculated is selected.
In case 2, the scattering point correlation matrix 2 is selected. This means that the correspondence between the reference point A and the evaluation target point 1 corresponding to each other and the information of the reference point B has been lost has been selected.
As described above, in the image evaluation apparatus according to the ninth embodiment, since the combined scattering points can be considered, the correspondence can be correctly determined even in the case where the information of the scattering points is combined as in case 1 of FIG. If the correspondence between the scattering points can be determined correctly, the super-resolution image can be evaluated more accurately.
[0145]
According to the ninth embodiment, since the correspondence between scattering points can be determined in consideration of the scattering points in which a plurality of pieces of scattering point information are combined, one-to-many scattering points which are difficult to compare with a simple image. This provides an effect that an appropriate evaluation value can be given to the corresponding relationship.
[0146]
In the ninth embodiment, g and h are set to “1” when calculating the corrected inter-scattering point evaluation value by equation (15). However, g and h may be set to arbitrary constants. Well, similar effects can be obtained.
In the ninth embodiment, the case where the combined correlation evaluation value calculation method holding unit 21 and the combined correlation matrix generation rule holding unit 22 are added based on the first embodiment is described. 8, and similar effects can be obtained.
[0147]
Embodiment 10 FIG.
FIG. 28 is a configuration diagram showing an image evaluation apparatus according to Embodiment 10 of the present invention. In the figure, the same reference numerals as in FIG. 27 denote the same or corresponding parts, and a description thereof will not be repeated.
The storage unit 23 for storing a distance-density-combined correlation evaluation value calculation method stores a correlation matrix evaluation method for a distance-density extended composite scattering point. The distance-corresponding combined correlation evaluation value calculation method holding unit 23 constitutes an evaluation value calculation unit.
[0148]
In the tenth embodiment, a combined scattering point correspondence matrix evaluation value calculation method held by the combined correlation evaluation value calculation method holding unit 21 of the ninth embodiment is replaced by a distance density corresponding combined correlation evaluation value calculation method holding unit. 23 is replaced with the method of calculating the correlation matrix evaluation value corresponding to the distance density extended composite scattering point held by the reference numeral 23.
In the method of calculating the correlation matrix evaluation value corresponding to the distance density extended composite scattering point, the “combination calculation method 4” of the correlation matrix evaluation value calculation method corresponding to the composite scattering point is changed to the “composition calculation method 5”.
[0149]
・ Synthesis calculation method 5
When a plurality of evaluation values other than “0” are selected in the row of the combination candidate point, first, the number of selected evaluation values other than “0” is set as “the number of synthesis” (the synthesis calculation method 5-1. Is the same as the combination calculation method 4-1).
Next, the evaluation value other than “0” in the target row is recalculated and corrected (composite calculation method 5-2). Here, the "distance between two points" between the reference points to be combined, the "density between a plurality of points", and the "number of combinations" are selected in any combination, an arbitrary weighting constant is set, and recalculation is performed. Define the law. In addition, for the sake of simplicity, the following simple method using “density between a plurality of points” will be described.
First, the area of a polygon having the reference point to be synthesized as a vertex is obtained (when two vertices are on a straight line or on a straight line, the length is 1 pixel × length to both ends).
Next, a corrected evaluation value between scattering points is obtained by the following equation (16).
Corrected scattering point evaluation value = Evaluation value
/ (G × composite number ^h ) × (composite number / area of polygon) (16)
g and h can be set to arbitrary constants. In this example, both are set to “1” to simplify the description.
Finally, a correlation evaluation value is calculated using the corrected corrected inter-scattering-point evaluation value according to the basic pattern calculation rules (calculation methods 1 to 3) (synthesis calculation method 5-2).
[0150]
The processing content of step ST33 in the tenth embodiment will be described with an example of calculating a correlation matrix evaluation value for the scattering point correlation matrix in FIG.
Here, only the calculation of the evaluation value for the “scattering point correlation matrix recognized by the synthetic scattering point corresponding correlation matrix generation rule” in FIG. 29 will be described. The other scattering point correlation matrices are the same as those in the first embodiment, and a description thereof will be omitted.
In the tenth embodiment, the synthesis calculation method 5 is applied in calculating the evaluation value of the “scattering point correlation matrix recognized by the synthetic scattering point correspondence matrix generation rule”.
[0151]
First, since the number of reference points to be synthesized at the evaluation target point 2 is two, the “synthesis number” = 2 (synthesis calculation method 5-1).
Next, the area of a polygon having the vertices of the reference point A and the reference point B to be combined is obtained (1 pixel × distance between both because of 2 points).
Thereafter, using the equation (16), the evaluation value between scattering points of the target row (the row of the evaluation target point 2) is corrected to the corrected evaluation value between scattering points (synthesis calculation method 5-2).
[0152]
According to the tenth embodiment, the correspondence between scattering points can be determined in consideration of the scattering points in which a plurality of pieces of scattering point information are combined, and the distance and density between the scattering points of the synthesized correct image are considered. Thus, the evaluation value of the super-resolution image can be determined, so that the situation in which the combination occurs can be more appropriately reflected in the evaluation value of the super-resolution image.
Also, when determining the correspondence between the scattering points, the superiority is determined based on the evaluation value in consideration of the distance and the density between the scattering points of the correct image, so that a more appropriate correspondence can be determined. To play.
[0153]
In the tenth embodiment, in the calculation of the corrected inter-scattering point evaluation value in the synthesis calculation method 5, a simple method using “density between a plurality of points” has been described. It is possible to select an arbitrary combination of “distance between two points”, “density between a plurality of points”, and “composite number”, and define a calculation method in which an arbitrary weighting constant is set. Can be played.
For example, it is possible to define a calculation method in which the sum of the “distance between two points” between the reference points to be combined is reflected in the calculation of the corrected scattering point evaluation value.
In the tenth embodiment, g and h are set to “1” when calculating the corrected inter-scattering point evaluation value using equation (16). However, g and h may be set to arbitrary constants. Well, similar effects can be obtained.
[0154]
Embodiment 11 FIG.
FIG. 31 is a block diagram showing an image evaluation apparatus according to Embodiment 11 of the present invention. In the figure, the same reference numerals as those in FIG. 27 denote the same or corresponding parts, and a description thereof will be omitted.
The synthesis point determination rule setting correspondence matrix generation rule holding unit 24 holds a variable synthesis scattering point determination rule correspondence matrix generation rule. It should be noted that the synthesis point determination rule setting correspondence correlation matrix generation rule holding unit 24 constitutes an evaluation value calculation unit.
[0155]
In the eleventh embodiment, a composite matrix determination rule setting corresponding correlation matrix generation rule storage unit 24 is added instead of the composite type correlation matrix generation rule storage unit 22 in the ninth embodiment. The correlation matrix generation rule corresponding to the variable composite scattering point determination rule held by the setting corresponding correlation matrix generation rule holding unit 24 is the synthesis rule 4 of the synthetic scattering point corresponding correlation matrix generation rule in the ninth embodiment. The calculation method is changed so that it can be set arbitrarily.
Therefore, the synthesis rule 4 can be changed to the next synthesis rule 4α. The “rule 2” and “rule 3” of the basic correlation matrix generation rule and the synthesis rule 5 of the synthetic scattering point corresponding correlation matrix generation rule are valid as they are.
[0156]
・ Synthesis rule 4α
In a cluster having two or more reference points, a composite point determination value is calculated at an evaluation target point in a row in which a plurality of evaluation values other than “0” are set in the scattering point correlation matrix. If the composite point determination value is larger than the composite determination threshold, the evaluation target point is set as a composite candidate point.
In calculating the composite point determination value, in addition to the “peak size” of the target evaluation target point, the “scattering point evaluation value” between a plurality of reference points corresponding to the target and the target evaluation target point, Any combination of “distance difference”, “distance” and “density (degree of denseness)” between a plurality of reference points corresponding to the combination, and the like, can be used to specify an arbitrary weighting method for calculating a composite point determination value. .
The synthesis determination threshold is a threshold for determining a scattering point that may be a synthesis evaluation target point, and includes a super-resolution ratio, an SAR sensor specification, data generation simulation conditions, and a synthesis point determination. Set arbitrarily from the method of calculating the value.
[0157]
Here, the difference from the ninth embodiment is that a combination candidate point is selected by the combination rule 4α.
Accordingly, in the process of step ST32, the evaluation target point determined as the combination candidate point when the scattering point correlation matrix is generated may be different from that in the ninth embodiment.
However, since the processing procedure and method such as the method of generating the scattering point correlation matrix and the method of calculating the evaluation value are the same as those in the ninth embodiment, the description is omitted.
[0158]
According to the eleventh embodiment, when determining the correspondence between scattering points in consideration of the scattering points in which a plurality of pieces of scattering point information are combined, the reference value for determining the combined scattering points is determined by various parameters. Can be set in combination, so that there is an effect that a more appropriate determination criterion of the combined scattering point can be determined.
In the synthesis of scattering points, the “peak size” of the evaluation target point to be evaluated, the “distance” and “density (density degree)” of the plurality of reference points to be synthesized, and the There are many parameters that can be used as judgment indices, such as “evaluation value between scattering points” and “difference in distance” between target evaluation target points. By arbitrarily combining these parameters and determining the method of calculating the composite point determination value, a more appropriate reference for determining the composite scattering point can be determined.
[0159]
Although the eleventh embodiment has been described with reference to the above-described ninth embodiment in which the synthesis point determination rule setting correspondence matrix generation rule holding unit 24 is added, the same effect can be obtained by applying the above-described tenth embodiment. Can be played.
[0160]
Embodiment 12 FIG.
FIG. 32 is a block diagram showing an image evaluation apparatus according to Embodiment 12 of the present invention. In the figure, the same reference numerals as those in FIG. 1 denote the same or corresponding parts, and a description thereof will be omitted.
The input image management unit 25 holds an input image (original image) for super-resolution processing and scattered point information on scattered points of the input image. The input image cluster range calculation unit 26 calculates an area of the input image corresponding to the calculated cluster. The input image corresponding correlation evaluation value calculation method holding unit 27 holds a correlation evaluation value calculation method for a scattering point correlation matrix that can reflect the result of comparing the number of scattering points in the input image with the number of scattering points detected in the super-resolution image. I have. The input image management unit 25, the input image cluster range calculation unit 26, and the input image correspondence correlation evaluation value calculation method holding unit 27 constitute an evaluation value calculation unit.
[0161]
In the twelfth embodiment, in order to evaluate the improvement rate from the input image, the input-correlation correlation value held by the input-image-correlation-evaluation-method holding unit 27 is changed from the basic correlation matrix evaluation value calculation method in the first embodiment. Instead of the matrix evaluation value calculation method.
In the input correspondence correlation matrix evaluation value calculation method, “calculation method 3” of the basic correlation matrix evaluation value calculation method is invalidated, and the following “input calculation method 4” and “input calculation method 5” are added (basic correlation method). Calculation methods 1 and 2 of the matrix evaluation value calculation method are effective).
[0162]
・ Input calculation method 4
First, the number of scattering points in the input image in the corresponding range “the number of scattering points of the original image” is counted in a cluster having two or more reference points (input calculation method 4-1).
Next, the “resolution improvement number” is calculated by the following equation (17) (input calculation method 4-2).
"Number of resolution improvements" =
(Number of columns including elements other than evaluation value “0”) − “Original image scattering points” (17)
Finally, the “resolution improvement number evaluation value” is calculated by the following equation (18) (input calculation method 4-3).
"Resolution improvement number evaluation value" = "Resolution improvement number" ^p × Resolution improvement evaluation coefficient (18)
Here, p is an arbitrary constant, and “1” is set for simplification of the description. Note that the resolution improvement evaluation coefficient is a (positive) evaluation value coefficient added as a bonus when the resolution is improved compared to the original image. The setting is made in consideration of the super-resolution ratio, the specifications of the SAR sensor, the conditions of the data generation simulation, and the like.
・ Input calculation method 5
The correlation evaluation value is calculated by the following equation (19).
Correlation evaluation value =
“Scattering point evaluation value” + “correct answer disappearance evaluation value” + “resolution improvement number evaluation value” (19)
[0163]
The processing content of step ST33 in the twelfth embodiment will be described.
The correlation matrix management unit 8 refers to the cluster management unit 9 to obtain the position information of the reference point in the processing target cluster, and calculate the area of the input image corresponding to the cluster based on the position information. , The input image cluster range calculation unit 26.
When receiving the input image area calculation instruction from the correlation matrix management unit 8, the input image cluster range calculation unit 26 receives the super-resolution ratio (how many times the input image is expanded) and the reference point position information ( A region of the input image corresponding to the cluster is calculated from the position information in the super-resolution image), and the calculation result is output to the correlation matrix management unit 8.
[0164]
When receiving the area of the input image from the input image cluster range calculation unit 26, the correlation matrix management unit 8 refers to the scattering point information of the input image held in the input image management unit 25, and refers to the input image corresponding to the cluster. Is counted.
Since the processing up to this point is common to one cluster, it is executed once first, and the number of scattering points of the input image corresponding to the cluster is remembered, and the processing is realized so as to be used in the subsequent processing. May be.
When the number of scattering points of the input image corresponding to the cluster is determined, the correlation matrix management unit 8 sets the number as “the number of scattering points of the original image” (input calculation method 4-1).
[0165]
Next, the correlation matrix management unit 8 counts the number of columns including elements other than the evaluation value “0” in the scattering point correlation matrix selected as the evaluation value calculation target, and uses Expression (17) to calculate the number of columns. The “resolution improvement number” is obtained (input calculation method 4-2).
After that, the correlation matrix management unit 8 obtains the “resolution improvement number evaluation value” using Expression (18) (input calculation method 4-3).
Further, the correlation matrix management unit 8 uses the calculation method 1 and the calculation method 2 of the basic correlation matrix evaluation value calculation method and performs the “scattering point evaluation value” and the “correct answer disappearance evaluation value” in the same procedure as in the first embodiment. ".
Here, a process of obtaining the “resolution improvement number” using the input calculation method 4-1 to the input calculation method 4-3, and a “scattering point evaluation value” and a “correct answer disappearance evaluation” using the calculation method 1 and the calculation method 2 Either of the processes for obtaining the “value” may be performed first.
[0166]
After calculating the “scattering point evaluation value”, the “correct answer disappearance evaluation value”, and the “resolution improvement number”, the correlation matrix management unit 8 obtains a correlation evaluation value using Expression (19) (input calculation method 5). . Here, the correlation matrix evaluation value fluctuates from that of the first embodiment by the number of “resolution improvements”.
[0167]
The effects of the image evaluation apparatus according to the twelfth embodiment will be described with reference to FIG.
In case 1 of FIG. 33, while the number of scattering points of the input image is two, as a result of performing the super-resolution processing in various patterns, the number of scattering points (evaluation target points) of the super-resolution image is one. 5 (execution pattern 1 to execution pattern 5). Note that the number of scattering points of the correct image for this input image is four.
In case 2, while the number of scattering points of the input image is four, as a result of performing super-resolution processing in various patterns, the number of scattering points (evaluation target points) of the super-resolution image is one to five. (Execution pattern 1 to execution pattern 5) is shown as an example. The number of scattering points of the correct image for this input image is also four.
[0168]
A case in which evaluation is performed using the image evaluation apparatuses of the first to eighth embodiments will be described.
In the image evaluation devices of the first to eighth embodiments, the evaluation value is basically determined only by the correspondence with the correct image. Therefore, the evaluation value is obtained by subtracting the penalty of the scattering point that cannot be found from the product of the scattering point evaluation values having a corresponding relationship. For this reason, when the number of found scattering points is the same, such as the execution pattern 4 in case 1 and the execution pattern 8 in case 2, it is highly likely that the evaluation value will be a relatively close value.
On the other hand, in the image evaluation apparatus of the twelfth embodiment, the number of found scattering points is compared with the input image to calculate a resolution improvement number, and an evaluation value reflecting the resolution improvement number is used. Therefore, even when the same correct answer is 4 and the discovery is 2 as in the case of the execution pattern 4 of the case 1 and the execution pattern 8 of the case 2, the evaluation value can be made different depending on the degree of improvement from the input image.
As described above, the image evaluation apparatus according to the twelfth embodiment has an advantage that the evaluation value can be determined in consideration of the degree of improvement from the input image.
[0169]
According to the twelfth embodiment, the super-resolution image can be evaluated in consideration of the degree of improvement from the input image. However, in the super-resolution processing for improving the resolution, the super-resolution Along with the degree of matching, the degree of improvement from the input image is also an important index for evaluating the processing result. The use of this device has an effect that the degree of improvement from the input image in the super-resolution processing of the radio wave image can be evaluated in combination with the degree of coincidence with the correct image.
[0170]
In the twelfth embodiment, p is set to “1” in equation (18). However, p may be set to an arbitrary constant, and the same effect can be obtained.
In the twelfth embodiment, the configuration in which the input image management unit 25 and the like are added to the configuration of the first embodiment has been described. However, similar effects can be obtained by applying to the second to eighth embodiments. Can be.
[0171]
Embodiment 13 FIG.
FIG. 34 is a block diagram showing an image evaluation apparatus according to Embodiment 13 of the present invention. In the figure, the same reference numerals as those in FIG. 32 denote the same or corresponding parts, and a description thereof will be omitted.
Correlation evaluation value calculation method corresponding to input image for combined scattering point holding unit 28 evaluates in consideration of the number of scattering points in the input image, the number of scattering points detected in the super-resolution image, and the number of scattering points in the input image corresponding to the combined scattering point. It holds a correlation evaluation value calculation method for determining a value. It should be noted that the correlation evaluation value calculation method holding unit 28 corresponding to the input image for synthetic scattering points constitutes an evaluation value calculation unit.
[0172]
The thirteenth embodiment is basically the same as the ninth embodiment described above. However, when calculating the evaluation value of each scattering point correlation matrix in the process of step ST33, the correlation matrix management unit 8 performs The difference is that the evaluation value is calculated with reference to the held contents of the correlation evaluation value calculation method holding unit 28 for the scattering point input image.
In the combined scattering point input image corresponding correlation evaluation value calculation method holding unit 28, the corrected inter-scattering point evaluation value in the combined calculation method 4 held in the combined correlation evaluation value calculation method holding unit 21 in the ninth embodiment described above. (Equation (15)) is changed as follows.
Number of composite resolution improvements =
Number of reference points to be synthesized-Number of scattering points in corresponding input image (20)
Evaluation value between corrected scattering points =
Evaluation value / (g × number of composites) ^h ) × (V × number of composite resolution improvements) ^T ) (21)
Here, g, h, V, and T can be set to arbitrary constants, and in this example, “1” is set for both of simplification of the description.
[0173]
According to the thirteenth embodiment, the evaluation value can be determined in consideration of the number of scattering points detected in the super-resolution image and the number of scattering points in the input image corresponding to the combined scattering point.
In the thirteenth embodiment, the case where g, h, V, and T are set to “1” in Expression (21) is described. However, g, h, V, and T may be set to arbitrary constants. Similar effects can be obtained.
Also, in the thirteenth embodiment, a case has been shown in which the correlation evaluation value calculation method holding unit 28 for the combined scattering point input image is added to the configuration of the ninth embodiment, but the present invention is applied to the tenth and eleventh embodiments. However, the same effect can be obtained.
[0174]
Embodiment 14 FIG.
FIG. 35 is a configuration diagram showing an image evaluation apparatus according to Embodiment 14 of the present invention. In the figure, the same reference numerals as those in FIG. 32 denote the same or corresponding parts, and a description thereof will not be repeated.
The input image noise calculation unit 29 extracts information on scattering points that become noise from the input image stored in the input image management unit 25. Note that the input image noise calculator 29 constitutes an evaluation value calculator.
Although not shown in FIG. 35, the noise-correlation-correlation-evaluation-method holding unit 16 in FIG. 21 or the extra-cluster noise evaluation unit 17 in FIG. 22 is actually mounted.
[0175]
The noise-correlation correlation evaluation value calculation method holding unit 16 or the extra-cluster noise evaluation unit 17 according to the fourteenth embodiment calculates the noise determination evaluation value from the information on the scattering points that become the noise extracted by the input image noise calculation unit 29. Correct and calculate.
According to the fourteenth embodiment, since the evaluation value can be determined in consideration of the information of the scattering points that become noise in the input image, the noise that appears in the super-resolution image reflects the information of the input image. Whether it has been performed or has appeared in the calculation of the processing algorithm irrespective of the input image can be reflected in the evaluation value of the super-resolution image. Therefore, there is an effect that the noise can be evaluated more accurately.
[0176]
In the fourteenth embodiment, the input image noise calculation unit 29 and the like are added to the configuration of the twelfth embodiment. However, the input image noise calculation unit 29 and the noise correspondence correlation are added to the configuration of the thirteenth embodiment. The evaluation value calculation method holding unit 16 and the extra-cluster noise evaluation unit 17 may be added, and the same effect can be obtained.
[0177]
Embodiment 15 FIG.
FIG. 36 is a configuration diagram showing an image evaluation apparatus according to Embodiment 15 of the present invention. In the figure, the same reference numerals as those in FIG. 1 denote the same or corresponding parts, and a description thereof will not be repeated.
The variable vertex information calculation unit 30 receives a setting of a detection method for detecting a scattering point from the super-resolution image and the correct image, and detects the scattering point using the detection method. Note that the variable vertex information calculation unit 30 constitutes a scattering point detection unit.
[0178]
In the fifteenth embodiment, a method is described in which the variable vertex information calculation unit 30 detects a scattering point by referring to the recorded contents of the correct image management unit 2 and the super-resolution image management unit 3 in the initialization processing of step ST1. Scattering point information can be generated arbitrarily. In the initialization processing, the processing procedure other than the generation of the scattering points is the same as that in the first embodiment, and thus the detailed description of the operation is omitted.
[0179]
In the fifteenth embodiment, since the method for detecting the scattering points from the image data can be arbitrarily set to generate the scattering point information, it is possible to more accurately evaluate the super-resolution image in a specific case.
For example, consider the case where the scattering point is determined only by the gradient of the magnitude of the power. When scattering points are densely arranged, pixels that should be recognized as scattering points may be adjacent to each other. In this case, a pixel larger than an adjacent pixel is a scattering point, but a pixel smaller than the adjacent pixel is not detected as a scattering point. Since information that is not detected as a scattering point is not reflected as noise or as a correct answer, information of a pixel having a large power is buried.
On the other hand, in addition to the gradient of the magnitude of the power, if the scattering points are extracted in such a manner that the peaks having a certain magnitude or more are set as the scattering points, the scattering points are extracted even in the above-described dense case. be able to.
If detected as a scattering point, the correspondence between scattering points is examined using the image evaluation apparatus of the fifteenth embodiment, and the information is reflected on the evaluation value of the super-resolution image.
[0180]
It is also effective to evaluate the super-resolution image for the same super-resolution image by changing the method of extracting the scattered points and to compare the results.
For example, in the above example, the evaluation value is compared between the case where the scattering point is determined only by the gradient of the magnitude of the power and the example where the peak having a certain magnitude or more is also set as the scattering point.
For an image in which scattering points having large peaks are sparsely distributed, the evaluation values of the two do not significantly change. On the other hand, in a case where pixels having large peaks are densely packed, there is a high possibility that the evaluation values of the two differ greatly.
In this way, by changing the extraction of the scattering points, the influence of the data of the image to be evaluated can be estimated.
[0181]
Conversely, in some cases, in addition to the condition that the gradient of the magnitude of the power changes from increasing to decreasing, it is advantageous to set the scattering point only when the point has a peak of a certain magnitude or more.
For example, in a case where it takes a long time to calculate an evaluation because there is a lot of noise information having a small peak with respect to the scattering point, the calculation may be efficiently performed by removing a vertex having a small peak from the evaluation target.
By accumulating such information, it is possible to select an appropriate scattering point extraction method for calculating the evaluation value.
As described above, by adjusting the information detected as the scattering point, the super-resolution image can be evaluated under more appropriate conditions.
In the fifteenth embodiment, the configuration in which the variable vertex information calculation unit 30 is added to the configuration of the first embodiment has been described. However, the same effects can be obtained by applying to the second to fourteenth embodiments. it can.
[0182]
Embodiment 16 FIG.
FIG. 37 is a configuration diagram showing an image evaluation apparatus according to Embodiment 16 of the present invention. In the figure, the same reference numerals as those in FIG. 1 denote the same or corresponding parts, and a description thereof will be omitted.
The determination rule management setting unit 31 manages a method of calculating an evaluation value between each scattering point, and values of various parameters, threshold values, and coefficients under conditions for generating and updating the scattering point determination matrix and cluster, and manages these values. Provide an interface that can be changed from outside. Note that the determination rule management setting unit 31 constitutes a determination matrix generation unit.
[0183]
The determination rule management setting unit 31 according to the sixteenth embodiment provides the determination criterion holding unit 4 with a method for calculating an evaluation value between each scattering point, a scattering point determination matrix, and conditions for generating and updating clusters. The values of various parameters, thresholds, and coefficients are recorded.
The determination rule management setting unit 31 has an interface for operating these values. When an update instruction is received from the outside, the recording rule stored in the determination criterion storage unit 4 in the initialization process in step ST1. Change the content.
For example, by changing the parameter of equation (1) in the first embodiment, a change can be made such that a value inversely proportional to the difference in distance is used as the evaluation value between scattering points.
Note that the procedure after the determination rule management setting unit 31 changes the values of various parameters, thresholds, and coefficients in the initialization processing of step ST1 is the same as that in the first embodiment, so a detailed description of the operation will be given. Is omitted.
[0184]
According to the sixteenth embodiment, the method of calculating the evaluation value between the scattering points and the values of the various parameters, the thresholds, and the coefficients in the conditions for generating and updating the scattering point determination matrix and cluster are arbitrary values. Can be set, but the value set here is a generation condition in the scattering point determination matrix that is the basis of the evaluation value calculation. By being able to set these conditions arbitrarily, the effect that the evaluation of the super-resolution image can be performed more flexibly is achieved.
In the sixteenth embodiment, the configuration in which the determination rule management setting unit 31 is added to the configuration of the first embodiment has been described. However, similar effects can be obtained by applying to the second to fifteenth embodiments. .
[0185]
Embodiment 17 FIG.
FIG. 38 is a configuration diagram showing an image evaluation apparatus according to Embodiment 17 of the present invention. In the figure, the same reference numerals as those in FIG. 1 and the like denote the same or corresponding parts, and a description thereof will not be repeated.
The correlation evaluation management setting unit 32 manages values of various parameters, thresholds, and coefficients in each correlation evaluation value calculation method, and can arbitrarily set each calculation method by changing these values from the outside, and An interface for selecting a plurality of calculation methods in an arbitrary combination and setting weights among evaluation values of each correlation evaluation value calculation method is provided. Note that the correlation evaluation management setting unit 32 constitutes an evaluation value calculation unit.
[0186]
The correlation evaluation management setting unit 32 in the seventeenth embodiment records the noise evaluation coefficient in the noise-correlation correlation matrix evaluation value calculation method in the noise-correlation correlation evaluation value calculation method holding unit 16, and The correlation evaluation value calculation method holding unit 18 is provided with an interface for setting values of parameters such as the constant d and the separation evaluation coefficient of Expression (9) and arbitrary values.
An interface is also provided for arbitrarily setting the weighting of the “noise evaluation value” in the noise-correlation matrix evaluation value calculation method and the “two-point separation evaluation value” in the reference point distance-correlation matrix evaluation value calculation method.
[0187]
In the seventeenth embodiment, when the correlation matrix management unit 8 calculates the evaluation value of each scattering point correlation matrix in the process of step ST33, the noise evaluation coefficient set by the correlation evaluation management setting unit 32 and the equation (9) Using the values of parameters such as the constant d and the separation evaluation coefficient, the evaluation value is calculated by the rules of both the noise-correlation-correlation-value-calculation-method holding unit 16 and the separation-distance-correlation-correlation-value calculation-method holding unit 18. .
Furthermore, the weighting information of both sets by the correlation evaluation management setting unit 32 is obtained, and the final evaluation value is calculated from the evaluation values calculated by both rules.
Except for the setting of parameters and the like for calculation of the evaluation value and the calculation in step ST33, the configuration is the same as that of the first embodiment, and a description thereof will be omitted.
[0188]
According to the seventeenth embodiment, it is possible to manage the values of various parameters, thresholds, and coefficients in each correlation evaluation value calculation method, and arbitrarily set each calculation method by changing these values from the outside. In addition, since a plurality of calculation methods can be selected in an arbitrary combination and weighting can be set between the evaluation values of each correlation evaluation value calculation method, there is an effect that the evaluation of a super-resolution image can be performed more flexibly.
[0189]
In the seventeenth embodiment, a configuration in which the correlation evaluation management setting unit 32 and the like are added to the configuration of the first embodiment has been described. However, similar effects can be obtained by applying the second embodiment to the fifteenth embodiment. it can.
In addition, as means for holding the correlation evaluation value calculation method, the addition of the noise correspondence correlation evaluation value calculation method holding unit 16 and the separation distance correspondence correlation evaluation value calculation method holding unit 18 has been described. Even if the correlation evaluation value calculation method is added in an arbitrary number and in an arbitrary combination, the correlation matrix management unit 8 can cope with the same effect, so that the same effect can be obtained.
[0190]
Embodiment 18 FIG.
FIG. 39 is a configuration diagram showing an image evaluation apparatus according to Embodiment 18 of the present invention. In the figure, the same reference numerals as those in FIG. 1 and the like denote the same or corresponding parts, and a description thereof will be omitted.
The dynamic determination correlation evaluation management setting unit 33 depends on the image data to be processed during the execution of the evaluation, and calculates the evaluation value between each scattering point, the scattering point determination matrix, and the conditions for generating and updating clusters. The user sets and instructs switching of the correlation evaluation value calculation method. The dynamic determination correlation evaluation management setting unit 33 constitutes a setting change unit.
[0191]
In the eighteenth embodiment, the dynamic determination correlation evaluation management setting unit 33 is used in the initialization processing of step ST1, so that the evaluation value between the scattering points depends on the image data to be processed. It is possible to set a calculation method, a criterion for switching the scattering point determination matrix and cluster generation / update conditions, and a correlation evaluation value calculation method, and a switching method.
The dynamic determination correlation evaluation management setting unit 33 outputs the selected switching criterion to the correct image management unit 2 and the correlation matrix management unit 8 via the image evaluation unit 10.
In the eighteenth embodiment, the correct image management unit 2 proceeds with the process in step ST2 while examining the switching criterion, and the correlation matrix management unit 8 proceeds with the process in step ST3 while examining the switching criterion. .
When the correct answer image management unit 2 and the correlation matrix management unit 8 satisfy the switching criterion, they notify the dynamic determination correlation evaluation management setting unit 33 that the condition is satisfied.
[0192]
Upon receiving the notification from the correct image management unit 2 and the correlation matrix management unit 8, the dynamic judgment correlation evaluation management setting unit 33 refers to the set switching method, and determines the judgment rule management setting unit 31 and the correlation evaluation management setting unit 32. Is used to change necessary parameters and the like. When the change is completed, the dynamic determination correlation evaluation management setting unit 33 outputs a completion notification to the correct image management unit 2 and the correlation matrix management unit 8.
When receiving the completion notification from the dynamic determination correlation evaluation management setting unit 33, the correct image management unit 2 and the correlation matrix management unit 8 proceed with the respective processes.
The detailed operation in each step is the same as that in the first embodiment, and thus the description is omitted.
[0193]
According to the eighteenth embodiment, during evaluation execution, a method of calculating an evaluation value among scattering points, a scattering point determination matrix, a generation / update condition of a cluster, a correlation, and the like depend on image data to be processed. Since it is possible to set and instruct the switching of the evaluation value calculation method, when comparing the super-resolution image with the scattering point as a reference, by changing the weighting in the evaluation value by the density of the scattering point, etc., There is an effect that a more appropriate evaluation value can be calculated.
In addition, if the evaluation conditions suitable for the situation of the image to be evaluated can be dynamically selected during the execution of the evaluation, an effect that a more appropriate evaluation value can be calculated in such a case is obtained.
[0194]
In the eighteenth embodiment, a configuration in which the dynamic determination correlation evaluation management setting unit 33 and the like are added to the configuration of the first embodiment has been described. Can play.
[0195]
Embodiment 19 FIG.
FIG. 40 is a block diagram showing an image evaluation apparatus according to Embodiment 19 of the present invention. In the figure, the same reference numerals as in FIG. 37 denote the same or corresponding parts, and a description thereof will be omitted.
The input condition correspondence determination correlation evaluation management setting unit 34 selects various parameters to be used in the evaluation based on the algorithm used in the super-resolution processing, the specifications of the sensors, and the preconditions such as simulation conditions at the time of data generation.
[0196]
In the nineteenth embodiment, the input condition correspondence determination correlation evaluation management setting unit 34 determines various parameters used in the evaluation based on the preconditions such as the algorithm used in the super-resolution processing, the sensor specifications, and the simulation conditions at the time of data generation. Select parameters automatically.
In the nineteenth embodiment, based on the algorithm used by the input condition correspondence determination correlation evaluation management setting unit 34 in the super-resolution processing, the sensor specifications, and the simulation conditions at the time of data generation, the scattering point determination matrix is determined. When the value of the parameter in the generation rule is determined, the determined value is reflected in the determination criterion holding unit 4 using the determination rule management setting unit 31.
Note that the procedure for changing the generation rule of the scattering point determination matrix using the determination rule management setting unit 31 and the procedure for evaluating the super-resolution processing after the change are the same as those in the sixteenth embodiment, and a description thereof will be omitted. I do.
[0197]
According to the nineteenth embodiment, various parameters used for evaluation can be selected from preconditions such as an algorithm used in super-resolution processing, specifications of sensors, and simulation conditions at the time of data generation. In the evaluation of the device, the evaluation value is determined by comparing the correct image and the super-resolution image obtained by the simulation. For this reason, in some cases, an appropriate evaluation value calculation parameter can be known from preconditions such as simulation conditions. In such a case, there is an effect that an appropriate evaluation value calculation parameter is set and the super-resolution processing can be evaluated.
[0198]
In the nineteenth embodiment, the configuration in which the input condition correspondence determination correlation evaluation management setting unit 34 is added to the configuration of the above-described sixteenth embodiment has been described. Can play.
[0199]
Embodiment 20 FIG.
FIG. 41 is a block diagram showing an image evaluation apparatus according to Embodiment 20 of the present invention. In the figure, the same reference numerals as those in FIG. 1 denote the same or corresponding parts, and a description thereof will be omitted.
The correlation matrix storage unit 35 records the scattering point correlation matrix calculated during the super-resolution image evaluation process and information of the cluster management unit 9 when the scattering point correlation matrix is generated. The correlation evaluation value calculation method control unit 36 uses the information of the scattering point correlation matrix recorded in the correlation matrix storage unit 35 to change the method of calculating the evaluation value for the scattering point correlation matrix and the value of its parameter, and Recalculate the evaluation value for the resolution image. Note that the correlation matrix storage unit 35 and the correlation evaluation value calculation method control unit 36 constitute an evaluation value calculation unit.
[0200]
In the twentieth embodiment, the correlation matrix management unit 8 instructs the correlation matrix storage unit 35 to record the contents of the cluster management unit 9 when starting the process of step ST31 in response to the instruction from the image evaluation unit 10. Then, the subsequent processing is started.
In addition, every time the scattering point correlation matrix is generated in the process of step ST33, the scattering point correlation matrix is recorded in the correlation matrix storage unit 35.
The correlation matrix storage unit 35 records a scattering point correlation matrix for each cluster. Here, all calculated scattering point correlation matrices are recorded.
[0201]
By performing the above-mentioned operation during the execution of the evaluation operation, the scattering point correlation matrix calculated during the super-resolution image evaluation processing and the information of the cluster management unit 9 immediately before the generation of the scattering point correlation matrix are stored in the correlation matrix storage unit 35. Recorded in.
The correlation evaluation value calculation method control unit 36 changes the calculation method of the evaluation value for the scattering point correlation matrix and the value of the parameter after the evaluation work is completed, and recalculates the evaluation value for the super-resolution image. use.
Here, it is assumed that the normal super-resolution image evaluation operation has been completed at least once, and that information has been recorded in the correlation matrix storage unit 35.
[0202]
Recalculation is performed in the following procedure.
First, the correlation evaluation value calculation method control unit 36 instructs the cluster management unit 9 and the correlation matrix storage unit 35 to set the contents of the cluster management unit 9 to the state recorded in the correlation matrix storage unit 35. give.
Upon receiving an instruction from the correlation evaluation value calculation method control unit 36, the correlation matrix storage unit 35 sets information recorded therein to the cluster management unit 9. When the setting for the cluster management unit 9 is completed, the completion is notified to the correlation evaluation value calculation method control unit 36.
[0203]
Upon receiving the cluster setting completion notification from the correlation matrix storage unit 35, the correlation evaluation value calculation method control unit 36 starts recalculation.
The processing content of this recalculation is basically the same as the processing of step ST33. However, in the process of step ST32, the scattering point correlation matrix is not generated, and the scattering point correlation matrices recorded in the correlation matrix storage unit 35 are extracted and executed one by one.
Steps ST33 and ST34 after extracting the scattering point correlation matrix are the same as those of the correlation matrix management unit 8.
[0204]
The correlation matrix storage unit 35 records a scattering point correlation matrix for each cluster. Therefore, the correlation evaluation value calculation method control unit 36 performs the processing of steps ST32 to ST34 for each cluster and records the evaluation result in the cluster management unit 9 in the same manner as the correlation matrix management unit 8.
The recalculation of the correlation evaluation value calculation method control unit 36 is repeatedly performed until the recalculation of the evaluation value for the scattering point correlation matrix of the correlation matrix storage unit 35 is completed.
[0205]
According to the twentieth embodiment, a processing result of the scattering point correlation matrix calculated during the evaluation processing of the super-resolution image is held, and a method of calculating an evaluation value for the scattering point correlation matrix using this data and a method thereof are described. Since the evaluation result when the parameter value is changed can be calculated efficiently, for the same image data, the calculation method of the evaluation value for the scattering point correlation matrix and the recalculation of the evaluation value when the parameter value is changed There is an effect that it can be executed easily and efficiently.
As the size of the cluster increases and the number of reference points and evaluation target points included in the scattering point determination matrix increases, the number of scattering point determination matrices generated therefrom also increases. For this reason, in order to compare the evaluation value calculation method and the evaluation result when the value of the parameter is changed for image data with a large cluster, recalculation of the evaluation value from the beginning requires an execution time. It takes. According to the twentieth embodiment, there is an effect that this recalculation can be executed efficiently.
[0206]
In the twentieth embodiment, a configuration in which the correlation evaluation value calculation method control unit 36 and the like are added to the configuration of the sixteenth embodiment has been described. However, the same effects are exerted when applied to the second to fifteenth embodiments. be able to.
[0207]
Embodiment 21 FIG.
FIG. 42 is a configuration diagram showing an image evaluation apparatus according to Embodiment 21 of the present invention. In the figure, the same reference numerals as those in FIG. 1 denote the same or corresponding parts, and a description thereof will be omitted.
The judgment matrix storage unit 37 records the information of the cluster management unit 9 at the time of generating the scattering point judgment matrix and the scattering point correlation matrix calculated during the super-resolution image evaluation processing. The correlation rule evaluation control unit 38 uses the information of the scattering point determination matrix recorded in the determination matrix storage unit 37 to change the generation rule of the scattering point correlation matrix and the method of calculating its evaluation value, and to change the super-resolution image. Recalculate the evaluation value for. Note that the judgment matrix storage unit 37 and the association rule evaluation control unit 38 constitute an evaluation value calculation unit.
[0208]
In the twenty-first embodiment, when notifying the image evaluation unit 10 after completing the processing in step ST2, the determination matrix generation unit 5 instructs the determination matrix storage unit 37 to record the contents of the cluster management unit 9 in the determination matrix storage unit 37. I do.
Upon receiving the notification from the determination matrix generation unit 5, the determination matrix storage unit 37 extracts and records the information of the scattering point determination matrix from the cluster management unit 9. In addition, information of the reference point table and the evaluation point table is also recorded at the same time.
By executing the above-mentioned operation during the execution of the evaluation work, the scattered point determination matrix calculated during the evaluation processing of the super-resolution image and the information of the cluster management unit 9 immediately after the generation of the scattered point determination matrix are stored in the determination matrix storage unit. 37.
[0209]
The correlation rule evaluation control unit 38 changes the calculation method of the evaluation value for the scattered point correlation matrix and the rule for generating the scattered point correlation matrix after the evaluation work is completed, and recalculates the evaluation value for the super-resolution image. use.
Here, it is assumed that the normal super-resolution image evaluation operation has been completed at least once, and that information has been recorded in the determination matrix storage unit 37.
[0210]
Recalculation is performed in the following procedure.
First, the correlation rule evaluation control unit 38 instructs the cluster management unit 9 and the determination matrix storage unit 37 to set the contents of the cluster management unit 9 to the state recorded in the determination matrix storage unit 37.
Upon receiving an instruction from the association rule evaluation control unit 38, the determination matrix storage unit 37 sets the contents of the cluster management unit 9 using the information recorded therein. When the content setting of the cluster management unit 9 is completed, the fact is notified to the correlation rule evaluation control unit 38.
[0211]
Upon receiving the cluster setting completion notification from the determination matrix storage unit 37, the correlation rule evaluation control unit 38 starts recalculation.
The processing content of this recalculation is basically the same as the processing of step ST3. In this recalculation, the correlation rule evaluation control unit 38 performs the same operation as the process of step ST3 in the correlation matrix management unit 8 during normal execution.
[0212]
According to the twenty-first embodiment, the processing result of the scattering point determination matrix calculated during the evaluation processing of the super-resolution image is held, and the generation rule of the scattering point correlation matrix and the scattering point Since the calculation method of the evaluation value for the correlation matrix and the evaluation result when the value of the parameter is changed can be calculated efficiently, for the same image data, the generation rule of the scattering point correlation matrix and the evaluation value of the evaluation value for the scattering point correlation matrix When the calculation method and the value of the parameter are changed, the recalculation of the evaluation value can be performed easily and efficiently.
[0213]
In the twenty-first embodiment, the configuration in which the correlation rule evaluation control unit 38 and the like are added to the configuration of the first embodiment has been described. However, the same effects can be obtained by applying to the second to fifteenth embodiments. it can.
[0214]
Embodiment 22. FIG.
FIG. 43 is a configuration diagram showing an image evaluation apparatus according to Embodiment 22 of the present invention. In the figure, the same reference numerals as those in FIG. 1 denote the same or corresponding parts, and a description thereof will be omitted.
The processing execution condition recording unit 39 records and searches for the conditions used in the super-resolution processing, such as the algorithm used in the super-resolution processing, the specifications of the SAR sensor, the simulation conditions at the time of data generation, and the evaluated image data. The evaluation environment database unit 40 records internal information at the time of evaluation execution, such as an evaluation value calculation unit for the scattering point correlation matrix used for evaluation and values of various parameters, in association with input conditions in the processing execution condition recording unit 39. I do. The evaluation result database unit 41 records the evaluation value of the super-resolution image in association with the input condition in the processing execution condition recording unit 39 and the internal information at the time of executing the evaluation. The processing execution condition recording unit 39, the evaluation environment database unit 40, and the evaluation result database unit 41 constitute a search unit.
[0215]
The image evaluation unit 10 according to the twenty-second embodiment transmits the algorithm used in the super-resolution processing, the specifications of the SAR sensor, and the time of data generation to the processing execution condition recording unit 39 as the initialization work in step ST1. In addition to the simulation conditions, the conditions for executing the super-resolution processing such as the evaluated image data (the conditions for executing the super-resolution processing) are recorded.
After the processing of step ST4 where all the processing is completed (after the processing of step ST5 in the case of the fifth embodiment), the image evaluation unit 10 stores the calculated evaluation value for the image in the processing execution condition recording unit 39. To record.
[0216]
At this time, the processing execution condition recording unit 39 sets an “execution ID number” for the execution information. Then, it sends the “execution ID number” and instructs the evaluation environment database unit 40 to record the internal information at the time of execution of the evaluation.
Further, the evaluation value received from the image evaluation unit 10 is sent to the evaluation environment database unit 40 together with the “execution ID number”, and an instruction is given to record the evaluation value.
The evaluation environment database unit 40 includes a criterion storage unit 4, a correlation evaluation value calculation method storage unit 6, and a correlation matrix generation rule storage unit 7 for storing a scattered point determination matrix and a scattered point correlation matrix generation condition. It records with reference to internal information at the time of evaluation execution, such as a value calculation formula.
At this time, the evaluation environment database unit 40 records the internal information at the time of executing the evaluation in association with the “execution ID number”.
[0219]
The evaluation result database unit 41 records an evaluation value for the received super-resolution image. At this time, the evaluation result database unit 41 records the evaluation value in association with the “execution ID number”.
Upon receiving the notification of the completion of the processing in the evaluation environment database unit 40 and the evaluation result database unit 41, the processing execution condition recording unit 39 adds the information of the “execution ID number” to the super-resolution processing execution condition held by itself. Add and record. It should be noted that a plurality of “execution ID numbers” can be recorded in the conditions for executing the super-resolution processing.
After the process of adding the “execution ID number” is completed, the process execution condition recording unit 39 sends a completion notification to the image evaluation unit 10, and the image evaluation unit 10 completes the process of the entire apparatus.
[0218]
By the processing up to this point, the conditions for executing the super-resolution processing, such as the algorithm used in the super-resolution processing, the specifications of the SAR sensor, the simulation conditions at the time of data generation, and the evaluated image data, and the corresponding conditions, An evaluation value for the super-resolution processed image and internal information at the time of execution of the evaluation can be recorded.
When the existing information is accumulated by the above-described recording processing, the processing execution condition recording unit 39 can execute the information search. In this search, the processing execution condition recording unit 39 is given a condition for executing the super-resolution processing as a search key.
[0219]
The processing execution condition recording unit 39 compares the super-resolution processing execution condition, which is a search key, with the internally stored super-resolution processing execution condition, and selects a match or the closest condition. I do.
The processing execution condition recording unit 39 uses the “execution ID number” corresponding to the condition selected here to calculate the evaluation value for the super-resolution image from the evaluation result database unit 41 and to store the internal information at the time of the evaluation execution in the evaluation environment. The data is extracted from the database unit 40 and output as a search result.
[0220]
Since the evaluation result database unit 41 and the evaluation environment database unit 40 record information in association with the “execution ID number”, target information can be easily extracted according to an instruction from the processing execution condition recording unit 39. be able to.
According to the twenty-second embodiment, the conditions used for executing the super-resolution processing, such as the algorithm used in the super-resolution processing, the specifications of the SAR sensor, the simulation conditions at the time of data generation, and the evaluated image data, are used as keys. While the evaluation value of the super-resolution image and the internal information at the time of execution of the evaluation can be recorded, it can be retrieved and retrieved. For this reason, there is an effect that the evaluation result of the past super-resolution image can be easily searched using the condition of the execution of the super-resolution processing as a key.
Further, there is an effect that information inside the evaluation device when the evaluation result is calculated can be easily searched.
[0221]
In the twenty-second embodiment, a processing execution condition recording unit 39 and the like are added to the configuration of the first embodiment. However, the same effects can be obtained by applying the second embodiment to the fifteenth embodiment. it can.
[0222]
Embodiment 23 FIG.
FIG. 44 is a configuration diagram showing an image evaluation apparatus according to Embodiment 23 of the present invention. In the twenty-third embodiment, according to the procedures of the twentieth and twenty-first embodiments, the correlation evaluation value calculation method control unit 36 and the correlation matrix storage unit 35 or the correlation rule evaluation control unit 38 and the determination matrix storage unit 37 Recalculate the evaluation value for the super-resolution image by changing the rules for generating the scattering point correlation matrix of the point correlation matrix, the method of calculating the evaluation value, and the values of the parameters used in the evaluation, and compare the evaluation results in the recalculation. , An optimal scattering point correlation matrix generation rule, an evaluation value calculation method, and parameter values used in evaluation are determined.
[0223]
Next, the generation rule of the optimal scattering point correlation matrix, the evaluation value calculation method, and the parameter values used in the evaluation determined in the above manner are converted into the determination rule management setting unit 31 by the procedure of the above-described embodiments 16, 17, and 18. The correlation evaluation management setting unit 32 or the dynamic judgment correlation evaluation management setting unit 33 sets the judgment criterion holding unit 4, the correlation evaluation value calculation method holding unit 6, and the correlation matrix generation rule holding unit 7.
After setting the generation rules of the scattering point correlation matrix, the method of calculating the evaluation value, and the values of the parameters used in the evaluation, the super-resolution image can be evaluated by the procedures of the above-described embodiments 16, 17, and 18. .
[0224]
According to the twenty-third embodiment, the recalculation of the evaluation values is efficiently performed, and the generation rule of the scattering point correlation matrix, the calculation method, and the most suitable parameter value used in the calculation are selected from the recalculation result, The selected result can be set as a value or rule to be used in the actual evaluation, and the super-resolution image can be evaluated. From the determination of the optimum value in recalculation, the optimum value There is an effect that the operation up to setting the means can be easily performed.
[0225]
In the twenty-third embodiment, the configuration in which each means is added to the configuration of the first embodiment is described. However, the same effects can be obtained by applying the second embodiment to the fifteenth embodiment.
[0226]
Embodiment 24 FIG.
FIG. 45 is a configuration diagram showing an image evaluation apparatus according to Embodiment 24 of the present invention. In the twenty-fourth embodiment, the recording operation in the twenty-second embodiment is performed one or more times, and the existing execution information is stored in the processing execution condition recording unit 39, the evaluation environment database unit 40, and the evaluation result database unit 41. It is assumed that it is done.
In the twenty-fourth embodiment, first, a condition for executing the super-resolution processing is given to the processing execution condition recording unit 39 as a search key.
At this time, the processing execution condition recording unit 39 performs the search operation in the above-mentioned Embodiment 22, and stores the evaluation value corresponding to the search key or the super-resolution image of the closest condition in the evaluation result database. It is taken out sequentially from the unit 41.
[0227]
Next, the optimum one is selected from the extracted evaluation value information. In this example, an example in which the one with the highest evaluation value is optimized will be described.
After selecting the one with the highest evaluation value, the internal information at the time of executing the corresponding evaluation is extracted from the evaluation environment database unit 40 from the “execution ID number”.
The internal environment information includes an evaluation environment database unit 40, a scatter point determination matrix and a scatter point correlation matrix stored in the determination criterion storage unit 4, the correlation evaluation value calculation method storage unit 6, and the correlation matrix generation rule storage unit 7. , And information such as an evaluation value calculation formula.
[0228]
In the twenty-fourth embodiment, after extracting the internal information, information such as the conditions for generating the scattering point determination matrix and the scattering point correlation matrix, which are the internal information at the time of the evaluation, extracted from the evaluation environment database unit 40, the evaluation value calculation formula, and the like. Using the determination rule management setting unit 31, the correlation evaluation management setting unit 32, or the dynamic determination correlation evaluation management setting unit 33, the determination criterion holding unit 4, the correlation It is set in the evaluation value calculation method holding unit 6 and the correlation matrix generation rule holding unit 7.
After setting the internal information at the time of execution of the evaluation, the super-resolution image can be evaluated in the same procedure as in the above-described Embodiments 16, 17, and 18.
[0229]
According to the twenty-fourth embodiment, a condition close to the selected condition for executing the super-resolution processing is searched, and an optimum evaluation value is selected from those corresponding to the searched condition. Extracting the internal information at the time of executing the corresponding evaluation, setting the generation rules of the scattering point determination matrix and the scattering point correlation matrix, the calculation method, and the values of the parameters used in the calculation according to this internal information, the evaluation of the super-resolution image is performed. Therefore, it is possible to select an optimum evaluation condition from past execution information and to evaluate a super-resolution image.
[0230]
In the twenty-fourth embodiment, the one with the highest evaluation value is described as the optimum one. However, the method for determining the optimum evaluation value may be selected arbitrarily, and the same effect can be obtained.
In the twenty-fourth embodiment, a configuration in which each unit is added to the configuration of the first embodiment is described. However, the same effects can be obtained by applying the second embodiment to the fifteenth embodiment.
[0231]
Embodiment 25 FIG.
FIG. 46 is a block diagram showing an image evaluation apparatus according to Embodiment 25 of the present invention. In the figure, the same reference numerals as those in FIG. 43 denote the same or corresponding parts, and a description thereof will be omitted.
The optimum super-resolution processing selection unit 42 refers to the processing execution condition recording unit 39 and selects the super-resolution method that maximizes the evaluation value from the processing conditions when performing the super-resolution processing on the input image. The super-resolution execution control unit 43 instructs the super-resolution image processing device 44 to execute the super-resolution processing by the method selected by the optimal super-resolution processing selection unit 42. The super-resolution image processing device 44 executes the super-resolution processing by the method selected by the optimum super-resolution processing selection unit 42. Note that the super-resolution processing unit 42, the super-resolution execution control unit 43, and the super-resolution image processing device 44 constitute a super-resolution processing unit.
[0232]
In the twenty-fifth embodiment, super-resolution processing is performed on the same input image under various conditions, and information on the results of evaluation is stored in a processing execution condition recording unit 39, an evaluation environment database unit 40, and an evaluation result database unit 41. It is assumed that it has been recorded. The recording method is the same as the method of the twenty-second embodiment.
In the twenty-fifth embodiment, referring to the processing execution condition recording unit 39 from the processing conditions when the optimal super-resolution processing selecting unit 42 performs the super-resolution processing on the input image, the past in the condition close to the input conditions is obtained. The evaluation result is obtained together with the “execution ID number”. The search method of the evaluation result is the same as the method of the twenty-second embodiment.
The optimum super-resolution processing selecting unit 42 selects the optimum one from the obtained evaluation results. Here, an example will be described in which the one with the highest evaluation value is optimized.
[0233]
The optimal super-resolution processing selecting unit 42 acquires the super-resolution method for the one with the highest evaluation value with reference to the processing execution condition recording unit 39.
Here, the super-resolution method is included in the conditions for executing the super-resolution processing in the processing execution condition recording unit 39. In addition, the “execution ID number” of the selected evaluation value is used as a search key.
The optimal super-resolution processing selecting unit 42, which has obtained the information of the super-resolution method from the processing execution condition recording unit 39, instructs the super-resolution execution control unit 43 to execute the super-resolution processing by the specified method. Instruct.
The super-resolution execution control unit 43 notifies the super-resolution image processing device 44 as an external device to execute the super-resolution processing by a specified method.
[0234]
According to the twenty-fifth embodiment, it is possible to instruct data to be newly subjected to super-resolution processing to select and execute an optimal super-resolution method from past evaluation results. .
In the twenty-fifth embodiment, the method in which the evaluation value having the highest evaluation value is optimized is described. However, the method for determining the optimum evaluation value may be selected arbitrarily, and the same effect can be obtained.
[0235]
【The invention's effect】
As described above, according to the present invention, the scattering point information on the scattering points of the super-resolution image subjected to the super-resolution processing and the scattering point information on the scattering points of the correct image corresponding to the super-resolution image With reference to the above, provided a judgment matrix generating means for generating a scattering point judgment matrix indicating the possibility of a combination of the scattering point of the super-resolution image and the scattering point of the correct image for each cluster, from the scattering point judgment matrix Since a scattering point correlation matrix indicating the correlation between scattering points is generated for each cluster and an evaluation value for the scattering point correlation matrix is calculated, a super-resolution process is performed to increase the resolution. There is an effect that the resolution image can be evaluated.
[Brief description of the drawings]
FIG. 1 is a configuration diagram illustrating an image evaluation device according to a first embodiment of the present invention.
FIG. 2 is a flowchart illustrating processing performed by an image evaluation unit.
FIG. 3 is a flowchart illustrating processing performed by a determination matrix generation unit.
FIG. 4 is a flowchart illustrating processing performed by a correlation matrix management unit.
FIG. 5 is an explanatory diagram showing a temporary scattering point determination matrix.
FIG. 6 is an explanatory diagram showing a temporary scattering point determination matrix in which extinction evaluation values are set.
FIG. 7 is an explanatory diagram showing a process of integrating judgment matrices.
FIG. 8 is an explanatory diagram showing a scattering point correlation matrix.
FIG. 9 is an explanatory diagram showing a reference point table and an evaluation target point table.
FIG. 10 is an explanatory diagram showing a reference point table and an evaluation target point table.
FIG. 11 is an explanatory diagram showing a reference point table and an evaluation target point table.
FIG. 12 is an explanatory diagram showing a scattering point correlation matrix that can be generated.
FIG. 13 is an explanatory diagram showing an image to be evaluated and a scattering point correlation matrix.
FIG. 14 is an explanatory diagram showing an image to be evaluated and a scattering point correlation matrix.
FIG. 15 is an explanatory diagram showing an evaluation target point table in which a gate determination start position and a previous cluster end position are provided.
FIG. 16 is an explanatory diagram showing an image or the like in which a super-resolution process has been performed on a SAR image;
FIG. 17 is an explanatory diagram showing a method of simply selecting a vertex at the closest position.
FIG. 18 is an explanatory diagram showing a method of simply selecting a vertex at the closest position.
FIG. 19 is a configuration diagram illustrating an image evaluation device according to a second embodiment of the present invention.
FIG. 20 is a configuration diagram showing an image evaluation device according to a third embodiment of the present invention.
FIG. 21 is a configuration diagram illustrating an image evaluation device according to a fourth embodiment of the present invention.
FIG. 22 is a configuration diagram illustrating an image evaluation device according to a fifth embodiment of the present invention.
FIG. 23 is a flowchart illustrating processing performed by an image evaluation unit.
FIG. 24 is a configuration diagram showing an image evaluation device according to Embodiment 6 of the present invention.
FIG. 25 is a configuration diagram illustrating an image evaluation device according to a seventh embodiment of the present invention.
FIG. 26 is a configuration diagram illustrating an image evaluation device according to an eighth embodiment of the present invention.
FIG. 27 is a configuration diagram showing an image evaluation device according to Embodiment 9 of the present invention.
FIG. 28 is a configuration diagram showing an image evaluation device according to Embodiment 10 of the present invention.
FIG. 29 is an explanatory diagram showing an example of a scattering point correlation matrix newly calculated by using a combined correlation evaluation value calculation method holding unit and a combined correlation matrix generation rule holding unit.
FIG. 30 is an explanatory diagram showing an image to be evaluated and a scattering point correlation matrix.
FIG. 31 is a configuration diagram showing an image evaluation device according to Embodiment 11 of the present invention.
FIG. 32 is a configuration diagram showing an image evaluation device according to Embodiment 12 of the present invention.
FIG. 33 is an explanatory diagram showing a processing result of each pattern and the like.
FIG. 34 is a configuration diagram showing an image evaluation device according to Embodiment 13 of the present invention.
FIG. 35 is a configuration diagram showing an image evaluation apparatus according to Embodiment 14 of the present invention.
FIG. 36 is a configuration diagram showing an image evaluation apparatus according to Embodiment 15 of the present invention.
FIG. 37 is a configuration diagram showing an image evaluation device according to Embodiment 16 of the present invention.
FIG. 38 is a configuration diagram showing an image evaluation device according to Embodiment 17 of the present invention.
FIG. 39 is a configuration diagram showing an image evaluation device according to Embodiment 18 of the present invention.
FIG. 40 is a configuration diagram showing an image evaluation device according to Embodiment 19 of the present invention.
FIG. 41 is a configuration diagram showing an image evaluation apparatus according to Embodiment 20 of the present invention.
FIG. 42 is a configuration diagram showing an image evaluation apparatus according to Embodiment 21 of the present invention.
FIG. 43 is a configuration diagram showing an image evaluation device according to a twenty-second embodiment of the present invention.
FIG. 44 is a configuration diagram showing an image evaluation device according to Embodiment 23 of the present invention.
FIG. 45 is a configuration diagram showing an image evaluation device according to Embodiment 24 of the present invention.
FIG. 46 is a configuration diagram showing an image evaluation device according to Embodiment 25 of the present invention.
[Explanation of symbols]
1 vertex information generation unit, 2 correct resolution image management unit, 3 super-resolution image management unit, 4 judgment criterion holding unit (judgment matrix generation unit), 5 judgment matrix generation unit (judgment matrix generation unit), 6 correlation evaluation value calculation method Holding unit (evaluation value calculation unit), 7 correlation matrix generation rule holding unit (evaluation value calculation unit), 8 correlation matrix management unit (evaluation value calculation unit), 9 cluster management unit, 10 image evaluation unit (image evaluation unit), 11 simulation correct answer vertex information management unit, 12 simulation correct answer correspondence judgment criterion holding unit (judgment matrix generation means), 13 simulation correct answer correspondence correlation evaluation value calculation method holding unit (evaluation value calculation means), 14 simulation / image mixed correspondence judgment criterion holding Unit (judgment matrix generation means), 15 simulation / image mixture correspondence correlation evaluation value calculation method holding unit (evaluation value calculation means), 16 noise correspondence correlation evaluation value calculation Method storage unit (evaluation value calculation means), 17 out-of-cluster noise evaluation unit (evaluation value calculation means), 18 separation distance correspondence correlation evaluation value calculation method storage unit (evaluation value calculation means), 19 scattering point dense density correspondence evaluation value Calculation method holding unit (evaluation value calculation means), 20 moving direction correspondence correlation evaluation value calculation method holding unit (evaluation value calculation means), 21 combined type correlation evaluation value calculation method holding unit (evaluation value calculation means), 22 combined type correlation Matrix generation rule holding section (evaluation value calculation means), 23 distance density correspondence synthesis type correlation evaluation value calculation method holding section (evaluation value calculation means), 24 synthesis point determination rule setting correspondence matrix generation rule holding section (evaluation value calculation means) ), 25 input image management section (evaluation value calculation means), 26 input image cluster range calculation section (evaluation value calculation means), 27 input image corresponding correlation evaluation value calculation method holding section (evaluation value calculation means), 28 combined scattering points for Correlation evaluation value calculation method holding unit for force image (evaluation value calculation unit), 29 input image noise calculation unit (evaluation value calculation unit), 30 variable vertex information calculation unit (scattering point detection unit), 31 determination rule management setting unit ( Judgment matrix generation means), 32 correlation evaluation management setting section (evaluation value calculation means), 33 dynamic judgment correlation evaluation management setting section (setting changing means), 34 input condition correspondence judgment correlation evaluation management setting section, 35 correlation matrix storage section (Evaluation value calculation means), 36 Correlation evaluation value calculation method control section (Evaluation value calculation means), 37 Judgment matrix storage section (Evaluation value calculation means), 38 Correlation rule evaluation control section (Evaluation value calculation means), 39 Process execution Condition recording section (search means), 40 evaluation environment database section (search means), 41 evaluation result database section (search means), 42 optimal super-resolution processing selecting section (super-resolution processing means), 43 super-resolution execution control Part (super-resolution processing means), 44 super resolution image processing apparatus (super-resolution processing means).

Claims (26)

With reference to the scattering point information about the scattering point of the super-resolution image subjected to the super-resolution processing and the scattering point information about the scattering point of the correct image corresponding to the super-resolution image, A determination matrix generation means for generating a scattering point determination matrix indicating the possibility of a combination of a scattering point and a scattering point of a correct image for each cluster; An evaluation value calculation unit that generates a scattering point correlation matrix indicating a relationship for each cluster and calculates an evaluation value for the scattering point correlation matrix; and the super-resolution image from the evaluation value for each cluster calculated by the evaluation value calculation unit. An image evaluation device comprising: an image evaluation unit that obtains an evaluation value of (i). The image evaluation device according to claim 1, wherein the determination matrix generation unit refers to scattering point information calculated from a correct image generated by performing the simulation. The determination matrix generation means refers to scattering point information on theoretical scattering points obtained from setting conditions of a simulation performed when the correct image is generated, as scattering point information on the scattering points of the correct image. The image evaluation device according to claim 1. The determination matrix generating means refers to scattering point information calculated from a correct image generated by performing a simulation and scattering point information regarding a theoretical scattering point obtained from setting conditions of the simulation. The image evaluation device according to claim 1. When calculating the evaluation value for the scattering point correlation matrix, if there is no scattering point of the correct image corresponding to the scattering point of the super-resolution image, the evaluation value calculating unit regards the scattering point of the super-resolution image as noise. The image evaluation device according to any one of claims 1 to 4, wherein the evaluation value is calculated by the following. 6. The image evaluation apparatus according to claim 5, wherein the evaluation value calculation unit regards a scattering point of the super-resolution image that does not belong to the cluster as noise. The image according to any one of claims 1 to 4, wherein the evaluation value calculation means calculates an evaluation value for a scattering point correlation matrix in consideration of a distance between scattering points of the correct image. Evaluation device. The image according to any one of claims 1 to 4, wherein the evaluation value calculation means calculates an evaluation value for the scattering point correlation matrix in consideration of the density of scattering points of the correct image. Evaluation device. The evaluation value calculation means calculates an evaluation value for a scattered point correlation matrix in consideration of a shift direction between a scattered point of a correct image and a scattered point of a super-resolution image. An image evaluation device according to any one of the preceding claims. When a plurality of scatter points in the super-resolution image are combined into one scatter point by the super-resolution processing, the evaluation value calculating means performs scattering so that the combined scatter point and the plurality of scatter points in the correct image correspond to each other. The image evaluation device according to claim 1, wherein a point correlation matrix is generated. The evaluation value calculating means calculates the evaluation value for the scattering point correlation matrix in consideration of the distance between the scattering points of the correct image corresponding to the combined scattering points and the density of the scattering points of the correct image. The image evaluation device according to claim 10, wherein: The image evaluation apparatus according to claim 10, wherein the evaluation value calculation unit receives a setting of a criterion for determining a combined scattering point. The evaluation value calculation means calculates an evaluation value for the scattering point correlation matrix in consideration of the number of scattering points in the original image of the super-resolution image and the number of scattering points in the super-resolution image. The image evaluation device according to claim 1. The evaluation value calculating means considers the number of scattering points in the original image of the super-resolution image, the number of scattering points in the super-resolution image, and the number of scattering points in the original image corresponding to the composite scattering point. The image evaluation apparatus according to claim 10, wherein an evaluation value for the scattering point correlation matrix is calculated. The image according to claim 13, wherein the evaluation value calculation unit extracts a scattering point that becomes noise from the original image, and calculates an evaluation value for the scattering point correlation matrix in consideration of the extraction result. Evaluation device. 2. A scatter point detecting means for receiving a setting of a detection method for detecting a scattered point from a super-resolution image and a correct image and detecting a scattered point by using the detection method is provided. Item 16. The image evaluation device according to any one of items 15. The image evaluation device according to claim 1, wherein the determination matrix generation unit receives a setting of a condition to be used when generating a scattering point determination matrix. The evaluation value calculation means receives the setting of the calculation method when calculating the evaluation value for the scattering point correlation matrix, and when a plurality of calculation methods are set, the evaluation value calculated using each calculation method 17. The image evaluation device according to claim 1, wherein a setting of a weight between the images is received. 19. The image evaluation apparatus according to claim 17, further comprising a setting change unit configured to change setting contents of the determination matrix generation unit and the evaluation value calculation unit during evaluation of the super-resolution image. A setting change unit for changing the setting contents in the judgment matrix generation unit and the evaluation value calculation unit from various conditions including a super-resolution processing algorithm and a simulation condition to be performed when generating a correct image is provided. The image evaluation device according to any one of claims 17 to 19, which performs the operation. The evaluation value calculation means refers to calculation information of the scattering point correlation matrix generated in the past, changes an evaluation value calculation method and parameters for the scattering point correlation matrix, and recalculates the evaluation value. The image evaluation device according to any one of claims 1 to 16, wherein The evaluation value calculation means refers to calculation information of the scattering point determination matrix generated by the determination matrix generation means in the past, changes an evaluation value calculation method and parameters for the scattering point correlation matrix, and re-executes the evaluation value. The image evaluation device according to claim 1, wherein the image evaluation device calculates. 17. The image evaluation device according to claim 1, further comprising a search unit configured to search for an evaluation value of the super-resolution image using an execution condition of the super-resolution process as a key. apparatus. 23. The image evaluation apparatus according to claim 21, wherein the evaluation value calculation unit compares the recalculation results of the evaluation values with each other to determine an optimum evaluation value calculation method and parameters. The evaluation value calculation means searches for an optimum evaluation value using a search means, and calculates an evaluation value for a scattering point correlation matrix using a calculation method and parameters relating to the evaluation value. 23. The image evaluation device according to 23. A super-resolution processing means for searching for an optimum evaluation value using a search means and performing a super-resolution processing on the original image using execution conditions of the super-resolution processing according to the evaluation value; 24. The image evaluation device according to claim 23, wherein:

Images