JP2020016928A - 画像処理装置、画像処理システム、画像処理方法及びプログラム - Google Patents

画像処理装置、画像処理システム、画像処理方法及びプログラム Download PDF

Info

Publication number
JP2020016928A
JP2020016928A JP2018137638A JP2018137638A JP2020016928A JP 2020016928 A JP2020016928 A JP 2020016928A JP 2018137638 A JP2018137638 A JP 2018137638A JP 2018137638 A JP2018137638 A JP 2018137638A JP 2020016928 A JP2020016928 A JP 2020016928A
Authority
JP
Japan
Prior art keywords
likelihood
separation
image
degree
unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2018137638A
Other languages
English (en)
Other versions
JP7010783B2 (ja
Inventor
沙織 浅香
Saori Asaka
沙織 浅香
浅野 渉
Wataru Asano
渉 浅野
隆介 平井
Ryusuke Hirai
隆介 平井
幸辰 坂田
Koshin Sakata
幸辰 坂田
敦司 谷口
Atsushi Yaguchi
敦司 谷口
昭行 谷沢
Akiyuki Tanizawa
昭行 谷沢
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Toshiba Corp
Original Assignee
Toshiba Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Toshiba Corp filed Critical Toshiba Corp
Priority to JP2018137638A priority Critical patent/JP7010783B2/ja
Publication of JP2020016928A publication Critical patent/JP2020016928A/ja
Application granted granted Critical
Publication of JP7010783B2 publication Critical patent/JP7010783B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Abstract

【課題】画像から構造物を抽出する際の抽出精度をより向上させる。【解決手段】実施形態の画像処理装置は、尤度算出部と分離度算出部と変換部と合成部とを備える。尤度算出部は、対象画像に含まれる領域が、構造物を示す領域である可能性を示す尤度を算出する。分離度算出部は、前記尤度の統計量に基づいて、前記構造物を示す領域と、前記構造物以外を示す領域との分離し易さを示す分離度を算出する。変換部は、前記分離度が第1閾値よりも小さい場合、前記対象画像を変換して、前記尤度の算出対象とする新たな対象画像を生成する。合成部は、前記対象画像毎に算出された尤度を合成することにより、合成尤度を生成する。【選択図】図1

Description

本発明の実施形態は画像処理装置、画像処理システム、画像処理方法及びプログラムに関する。
画像から構造物を抽出する技術が従来から知られている。例えば、畳み込みニューラルネットワーク(CNN:Convolution Neural Network)と条件付き確率場(CRF:Conditional random field)とを組み合わせることで、画像から構造物を抽出する際の抽出精度が向上することが知られている。
SEMANTIC IMAGE SEGMENTATION WITH DEEP CONVOLUTIONAL NETS AND FULLY CONNECTED CRFS(ICLR 2015)
しかしながら、従来の技術では、画像から構造物を抽出する際の抽出精度をより向上させることが難しかった。
実施形態の画像処理装置は、尤度算出部と分離度算出部と変換部と合成部とを備える。尤度算出部は、対象画像に含まれる領域が、構造物を示す領域である可能性を示す尤度を算出する。分離度算出部は、前記尤度の統計量に基づいて、前記構造物を示す領域と、前記構造物以外を示す領域との分離し易さを示す分離度を算出する。変換部は、前記分離度が第1閾値よりも小さい場合、前記対象画像を変換して、前記尤度の算出対象とする新たな対象画像を生成する。合成部は、前記対象画像毎に算出された尤度を合成することにより、合成尤度を生成する。
第1実施形態の画像処理装置の機能構成の例を示す図。 第1実施形態の画像処理方法の例を示す図。 第2実施形態の対象画像の変換処理及び算出処理の例を示す図。 第2実施形態の尤度の合成処理の例を示す図。 第2実施形態の変形例3の算出処理の例を示す図。 第3実施形態の画像処理装置の機能構成の例を示す図。 第4実施形態の画像処理装置の機能構成の例を示す図。 第4実施形態の表示情報の例を示す図。 第4実施形態の算出領域の選択操作の例を示す図。 第4実施形態の更新された表示情報の例を示す図。 第4実施形態の尤度の選択操作の例を示す図。 第4実施形態の尤度の合成操作の例を示す図。 第5実施形態のオートエンコーダ構造の概要を示す図。 第5実施形態のオートエンコーダの例1を示す図。 第5実施形態のオートエンコーダの例2を示す図。 図12のオートエンコーダの処理の関係を示す図。 第6実施形態の画像処理システムの機能構成の例を示す図。 第1乃至第5実施形態の画像処理装置のハードウェア構成の例を示す図。
以下に添付図面を参照して、画像処理装置、画像処理システム、画像処理方法及びプログラムの実施形態を詳細に説明する。
(第1実施形態)
はじめに、第1実施形態の画像処理装置10の機能構成の例について説明する。
[機能構成の例]
図1は第1実施形態の画像処理装置10の機能構成の例を示す図である。第1実施形態の画像処理装置10は、変換部1、尤度算出部2、分離度算出部3及び合成部4を備える。
<処理の概要>
まず、変換部1が、構造物を示す領域を含む画像の入力を受け付ける。画像のデータ形式は任意でよい。例えば、画像のデータ形式は、RGB画像、デプス画像、ローデータ及び点群データ等である。また、画像の取得方法は任意でよい。例えば、画像は、単眼カメラ、複眼カメラ、レーザー、及び、TOF(Time Of Flight)等を、1つ又は組合せて取得されてもよい。具体的には、例えば、単眼カメラの開口部に2色で2分割されたフィルタを配置することで、光線変化とぼけの形状とから距離を算出するカラー開口によって、RGB画像とデプス画像とを同時に取得してもよい。また例えば、ステレオカメラで、RGB画像とデプス画像とを同時に取得してもよい。また例えば、単眼カメラからRGB画像を取得し、カメラの近傍位置からレーザーによって点群データを取得し、データのいずれかをキャリブレーションによって補正して、画像を取得してもよい。
変換部1は、構造物を示す領域を含む画像を受け付けると、当該画像を変換することにより、処理対象の画像(以下、「対象画像」という。)を生成する。画像の変換処理は、例えば幾何変換及びダイナミックレンジ変換等である。幾何変換は、例えば画像の拡大、縮小、回転及び平行移動等である。
次に、尤度算出部2が、対象画像に含まれる領域が、構造物を示す領域である可能性を示す尤度を算出する。尤度の算出処理の詳細は後述する。
次に、分離度算出部3が、尤度の統計量に基づいて、構造物を示す領域と、構造物以外を示す領域との分離し易さを示す分離度を算出する。分離度の算出処理の詳細は後述する。対象画像の分離度が所定の閾値(第1閾値)よりも小さい場合、上述の変換部1が、分離度に基づいて対象画像を変換する。なお、変換部1の変換処理の実行回数が所定の回数に達した場合には、分離度算出部3へ終了フラグを送信する。分離度算出部3は、分離度が所定の閾値以上となった場合、または、変換部1から終了フラグを受け付けた場合は、対象画像毎に算出された尤度を合成部4に入力する。
次に、合成部4が、対象画像毎に算出された尤度を合成することにより、合成尤度を生成する。合成処理の詳細は後述する。
以下に、各機能ブロックの処理の詳細について説明する。
<変換部の処理>
変換部1は、例えばダイナミックレンジ変換を行う。ダイナミックレンジ変換を行うことにより、対象画像に含まれる構造物を示す領域と、当該対象画像に含まれる構造物以外を示す領域との分離度を上げることができる。具体的には、変換部1は、対象画像の階調値f(x,y)に対し変換処理を行い、変換後の画像の階調値g(x,y)を生成する。下記数式(1)に、対象画像の最小階調をfmin、最大階調をfmaxとした時のダイナミックレンジ変換を示す。Tは変換処理を示す。
変換処理Tの一例として、シグモイド関数を用いた場合について述べる。シグモイド関数を用いたダイナミックレンジ変換を数式(2)に示す。
ここで、aはゲイン、hはシグモイド関数の中間値を示す。変換部1は、分離度が所定の閾値よりも小さい場合には、繰り返し変換処理を行う。その際、変換部1は、繰り返し回数に応じて分離度を上げるため、ゲインを数式(3)のように変更する。
ここでCは所定の定数とする。さらに、変換部1は、i回目とi+1回目とで分離度が変わらない場合には、中間値を数式(4)のように変更する。
ここでCは所定の定数とする。上述のゲインと、上述の中間値とを変えて、繰り返し変換処理が行われることで、適切な階調での分離を行うことができる。変換部1は、上述のゲインと、上述の中間値の全範囲での変換処理を終えた場合、分離度算出部3へ終了フラグを送信する。以上が、変換部1の処理である。
なお、上述の変換処理Tは、シグモイド関数に限らず、線形変換及びガンマ変換等でもよい。
<尤度算出部の処理>
尤度算出部2は、対象画像に含まれる領域が、構造物を示す領域である可能性を示す尤度を算出する。具体的には、構造物を示す領域であることを示すクラスiの尤度pは数式(5)によって算出される。
ここで、nはクラス数を示す。yは、対象画像から構造物を示す領域を抽出する処理の機械学習の結果(出力値)を示し、クラス数に対応するn個の成分を有する。なお、画像処理装置10が、学習部を備える場合については、第3実施形態で説明する。第1実施形態では、尤度は、pminからpmaxの連続値で示す値とし、値が大きいほど、当該領域が構造物を示す可能性が高いことを示す。
<分離度算出部の処理>
分離度算出部3は、尤度の統計量に基づいて、構造物を示す領域と、構造物以外を示す領域との分離し易さを示す分離度を算出する。具体的には、分離度算出部3は、例えば尤度のヒストグラムを算出し、当該ヒストグラムを元に判別分析法を使用して、各クラスの最大分離度を算出する。
一例として、2クラス(例えば、構造物Aを示す領域に対応するクラス|構造物Aを示さない領域に対応するクラス)の分離度を算出する方法について説明する。まず、分離度算出部3は、各クラスの画素数をN、平均をμ、分散をσとしたとき、数式(6)によりクラス内分散σ を算出し、数式(7)によりクラス間分散σ を算出する。
次に、分離度算出部3は、分離度sを、画像全体の分散σall(数式(8))を用いて数式(9)により算出する。
判別分析法は、分離度が最大となるようにクラス分類の閾値を設定する方法である。判別分析法を用いて設定されたクラス分類の閾値での最大分離度が、所定の閾値より小さい場合、変換部1が対象画像を変換する。最大分離度が所定の閾値以上の場合、または、分離度算出部3の処理の回数が所定の回数に達した場合、合成部4が尤度の合成処理を行う。
<合成部の処理>
合成部4は、対象画像毎に算出された尤度を合成することにより、合成尤度を生成する。具体的には、合成部4は、対象画像毎に算出された尤度から、数式(10)により合成尤度を算出する。
合成部4は、例えば、合成尤度を、各画素の合成尤度を示す1枚の合成尤度マップ(合成尤度画像)として出力する。
<画像処理方法の例>
図2は第1実施形態の画像処理方法の例を示す図である。まず、変換部1が、構造物を含む対象画像101を受け付ける。なお、対象画像101に含まれる構造物は任意でよい。構造物は、鉄塔(送電線及び電波塔を含む)、鉄柵、橋脚、道路、トンネル、発電装置、配管及び配線等を含む。図2の例は、対象画像101に含まれる構造物が鉄塔である場合を示す。また、対象画像101が撮像された場所は、室内外を問わない。
変換部1は、対象画像101に変換(1)をすることにより、対象画像101aを生成する。変換(1)は、例えばダイナミックレンジ変換である。
次に、尤度算出部2が、対象画像101aに含まれる領域が、構造物を示す領域である可能性を示す尤度を算出する。図2の例では、尤度算出部2は、対象画像の各画素の尤度を示す尤度マップ(尤度画像)102aを出力する。次に、分離度算出部3が、尤度の統計量に基づいて、構造物を示す領域と、前記構造物以外を示す領域との分離し易さを示す分離度を算出する(数式(9))。
分離度が閾値よりも小さい場合、変換部1が、対象画像101に変換(2)をすることにより、尤度の算出対象とする新たな対象画像101bを生成する。変換(2)は、例えば、ダイナミックレンジのパラメータが変更されたダイナミックレンジ変換である。
次に、尤度算出部2が、対象画像101bに含まれる領域が、構造物を示す領域である可能性を示す尤度を算出する。図2の例では、尤度算出部2は、対象画像の各画素の尤度を示す尤度マップ102bを出力する。次に、分離度算出部3が、尤度の統計量に基づいて、構造物を示す領域と、前記構造物以外を示す領域との分離し易さを示す分離度を算出する(数式(9))。
分離度が閾値よりも小さい場合、変換部1が、対象画像101に変換(3)をすることにより、尤度の算出対象とする新たな対象画像101cを生成する。変換(3)は、例えば、ダイナミックレンジのパラメータが変更されたダイナミックレンジ変換である。
次に、尤度算出部2が、対象画像101cに含まれる領域が、構造物を示す領域である可能性を示す尤度を算出する。図2の例では、尤度算出部2は、対象画像の各画素の尤度を示す尤度マップ102cを出力する。次に、分離度算出部3が、尤度の統計量に基づいて、構造物を示す領域と、前記構造物以外を示す領域との分離し易さを示す分離度を算出する(数式(9))。
分離度が所定の閾値以上となった場合、または、分離度算出部3の処理の回数が所定の回数に達した場合、合成部4が、対象画像101a〜c毎に算出された尤度(尤度マップ102a〜c)を、上述の数式(10)により合成することにより、合成尤度を生成する。図2の例では、合成部4は、対象画像の各画素の合成尤度を示す合成尤度マップ103を出力する。
以上、説明したように、第1実施形態の画像処理装置10では、尤度算出部2が、対象画像101に含まれる領域が、構造物を示す領域である可能性を示す尤度を算出する。分離度算出部3が、尤度の統計量に基づいて、構造物を示す領域と、構造物以外を示す領域との分離し易さを示す分離度を算出する。変換部1が、分離度が閾値よりも小さい場合、対象画像101を変換して、尤度の算出対象とする新たな対象画像101を生成する。そして、合成部4が、対象画像101毎に算出された尤度を合成することにより、合成尤度を生成する。
これにより第1実施形態の画像処理装置10によれば、画像から構造物を抽出する際の抽出精度をより向上させることができる。対象画像101から構造物のみを抽出する場合、例えば変換部1が、合成尤度の閾値処理をすることにより、対象画像101から構造物をより精度良く抽出することができる。
対象画像101から抽出された構造物の画像データは、任意の処理に利用可能である。例えば、対象画像101から抽出された構造物が鉄塔の場合、当該鉄塔の錆の状態を判定する処理等に利用することができる。そして、鉄塔の錆の状態を判定する処理の結果は、例えば鉄塔のメンテナンス作業等に利用することができる。
(第1実施形態の変形例1)
次に、第1実施形態の変形例1について説明する。変形例1の説明では、第1実施形態と同様の説明については省略し、第1実施形態と異なる箇所について説明する。
変形例1では、第1実施形態とは異なる算出方法により、分離度の算出する場合の例1について説明する。
変形例1の分離度算出部3は、対象画像に含まれる領域の尤度のうち、尤度の最小値pminと最大値pmax以外の尤度の割合rを算出し、当該割合rが大きいほど、分離度を小さく算出する。具体的には、尤度の割合rは、数式(11)によって算出される。
ここで、N は最小値pminと最大値pmax以外の尤度を持つ画素の数を示す。なお、尤度の最小値pminと最大値pmaxは、予め設定された最小値と最大値でもよい。Nallは対象画像の画素数を示す。
変形例1では、割合rに基づいて分離度が算出されるので、分離度が小さくなる要因である曖昧な尤度を持つ領域を特定することが可能となる。
(第1実施形態の変形例2)
次に、第1実施形態の変形例2について説明する。変形例2の説明では、第1実施形態と同様の説明については省略し、第1実施形態と異なる箇所について説明する。
変形例2では、第1実施形態とは異なる算出方法により、分離度の算出する場合の例2について説明する。
変形例2の分離度算出部3は、尤度の分散σ が大きいほど、分離度を小さく算出する。具体的には、尤度の分散σ は、数式(12)によって算出される。
変形例2では、尤度の分散σ に基づいて分離度が算出されるので、分離度が小さくなる要因である曖昧な尤度を持つ領域を特定することが可能となる。
(第1実施形態の変形例3)
次に、第1実施形態の変形例3について説明する。変形例3の説明では、第1実施形態と同様の説明については省略し、第1実施形態と異なる箇所について説明する。
変形例3では、第1実施形態とは異なる合成方法により、尤度を合成する場合の例について説明する。
変形例3の合成部4は、数式(13)によって、対象画像毎に算出された尤度pを、重みωを付けて加算することにより、合成尤度pallを生成する。
なお重みの設定方法は任意でよい。例えば、合成部4は、対象画像101kの分離度sが大きいほど、重みωを大きく設定する。また例えば、合成部4は、数式(14)により重みを設定する。
変形例3では、尤度が算出された対象画像の分離度を考慮して、当該尤度の合成を行うことができるので、合成尤度の精度の向上が期待できる。これにより、例えば合成部4が、合成尤度の閾値処理をすることにより、対象画像101から構造物をより精度良く抽出することができる。
(第2実施形態)
次に、第2実施形態について説明する。第2実施形態の説明では、第1実施形態と同様の説明については省略し、第1実施形態と異なる箇所について説明する。
第2実施形態では、対象画像101のサイズを変更する場合について説明する。
<処理の概要>
分離度算出部3は、分離度が閾値よりも小さい場合、対象画像101を複数の算出領域に分割して、算出領域毎に分離度を算出する。尤度算出部2は、それぞれの算出領域を対象画像101として、第1実施形態と同様にして尤度を算出する。そして、合成部4は、対象画像101毎に算出された尤度を合成することにより、合成尤度を生成する。
<処理の詳細>
以下、対象画像101のサイズが2M×2L以上である場合を例にして、第2実施形態の画像処理装置10の動作について具体的に説明する。まず、変換部1は、サイズが2M×2L以上である対象画像101をM×Lサイズに縮小(縮小率を1/K1とする)する。これにより、対象画像101のサイズを、尤度及び分離度の算出処理が実行可能なデータサイズ(M×L)にする。
次に、尤度算出部2が、M×Lサイズの対象画像101を使用して尤度を算出する。次に、分離度算出部3は、サイズが2M×2L以上である対象画像101の領域を、M×Lサイズの4つの領域に分割し、各領域の分離度を算出する。そして、分離度算出部3は、所定の閾値より小さい分離度を有する領域の位置を示す位置情報を変換部1に入力する。なお、対象画像101の分割処理は、分離度算出部3ではなく、変換部1により行われてもよい。
次に、変換部1は、上述の位置情報により特定される領域を切り出し、M×Lに縮小して(縮小率を1/K2とする、ただしK1>K2)、新たな対象画像101を生成する。なお、元の対象画像101のサイズが2M×2Lサイズの場合、1回目の分割処理により、対象画像101のサイズがM×Lサイズになるため、2回目以降の縮小処理は行われない。
変換部1、尤度算出部2及び分離度算出部3の処理は、第1実施形態と同様に、繰り返し行われる。変換部1は、分割領域がM×Lより小さい場合、分離度算出部3へ終了フラグを入力する。全ての領域で分離度が所定の閾値以上である場合、または、分離度算出部3が変換部1から終了フラグを受け付けた場合、合成部104が、尤度の合成処理を行う。
合成部4は、尤度が算出された対象画像101を、元の画像サイズに拡大する。合成部4は、例えば、上述の1回目の変換の場合は、K1倍に拡大し、2回目の変換の場合はK2倍に拡大する。なお、画像サイズの変換は、合成部4ではなく、変換部1により行われてもよい。合成部4は、元のサイズに拡大された対象画像101の画素に対応する各尤度を、対応する位置毎に、数式(15)により合成する。
第2実施形態では、尤度算出部2が、構造物の分離度がより小さい領域に焦点を当てて、縮小率1/Kがより小さい対象画像101(Kがより1に近い対象画像101)を使用して尤度を算出する。これにより、構造物の密度が、より高い領域における画像縮小による画像の潰れを削減する。すなわち、構造物の分離度がより小さい領域では、縮小率1/Kがより小さい対象画像101から算出された、より高精度な尤度が使用されるので、対象画像101から上述の合成尤度に基づいて構造物を抽出する際の抽出精度をより向上させることができる。
<変換処理及び算出処理の具体例>
図3は第2実施形態の対象画像101の変換処理及び算出処理の例を示す図である。図3の例では、2M×2Lサイズの対象画像101に含まれる領域が、固定サイズで分割される場合について説明する。
図3の例では、まず、1回目の処理で、分離度算出部3が、2M×2Lサイズの対象画像101全体の分離度が所定の閾値よりも小さいと判定する(判定フラグ=1)。次に、変換部1が、対象画像101をM×Lサイズの対象画像101dに縮小する。次に、尤度算出部2が、対象画像101dを使用して尤度を算出する。
次に、分離度算出部3が、尤度算出部2により算出された尤度を使用して、M×Lサイズの対象画像101dの分離度を算出する。
2回目の処理では、分離度は、2M×2Lサイズの対象画像101を4分割した算出領域毎に算出される。そして、分離度算出部3が、算出領域の分離度が、所定の閾値以下の場合に、当該算出領域の位置を示す位置情報を生成する。図3の例では、対象画像101の左上の算出領域101e、及び、右上の算出領域101fの分離度が閾値よりも小さいと判定されたとする(判定フラグ=1)。尤度算出部2が、算出領域101e及び101fそれぞれの尤度を算出する。このとき、算出領域101e及び101fのサイズは、M×Lであるため、画像サイズの縮小は行われない。
対象画像101の変換処理、並びに、尤度及び分離度の算出処理は、終了条件1及び2のいずれか一方が成立した場合に終了する。終了条件1は、全ての算出領域の分離度が閾値以上になった場合である。終了条件2は、対象画像101を分割することにより得られた算出領域のサイズがM×Lよりも小さい場合である。
対象画像101の変換処理、並びに、尤度及び分離度の算出処理が終了した場合、合成部4が、尤度の合成処理を開始する。
<合成処理の具体例>
図4は第2実施形態の尤度の合成処理の例を示す図である。図4の例は、図3で説明した変換処理及び算出処理が終了した後の合成処理の例を示す。図3では、1回目の処理で、M×Lサイズに縮小された対象画像101の尤度が算出されている。また、2回目の処理では、M×Lサイズの算出領域101e及び101fの尤度が算出されている。
まず、合成部4が、M×Lサイズに縮小された対象画像101を、元のサイズである2M×2Lサイズの対象画像101に拡大する。そして、合成部4が、M×Lサイズに縮小された対象画像101で算出された尤度を、2M×2Lサイズの対象画像101に対応させる。具体的には、合成部4は、例えば対象画像101を拡大するために補間された画素には、縮小された対象画像101で算出された近傍の画素の尤度を対応させる。
なお、M×Lサイズの算出領域101e及び101fの尤度については、画像サイズを縮小していないため、そのまま使用される。
合成部4は、対象画像(算出領域)毎に算出された尤度を、上述の数式(15)を使用して、図4のように合成することにより、合成尤度を生成する。これにより、例えば対象画像101の左上の領域は、1回目の処理で得られた尤度と、2回目の処理で得られた尤度とが乗算されるので、1回目の処理で得られた尤度のみを使用する場合に比べて、構造物の抽出精度を向上させることができる。対象画像101の右上の領域についても、対象画像101の左上の領域と同様である。
なお、図4の例では、対象画像101の左下及び右下の領域については、構造物の分離度が、閾値以上であるため、1回目の処理で得られた尤度のみが使用されている。
上述の第2実施形態では、対象画像101の縮小及び拡大は、例えばフィルタリングによる補間等により行われる。フィルタリング方法は、例えば最近傍法、バイリニア補間法、バイキュービック補間法及びLanczos補間法等である。
また、上述の第2実施形態では、対象画像101が4つの算出領域に分割される場合について説明したが、対象画像101は、4つ以外の算出領域に分割されてもよい。例えば、対象画像101は、分割数が整数値の任意の等分割でもよい。
第2実施形態の画像処理装置10によれば、構造物の分離度がより小さい領域では、縮小率1/Kがより小さい対象画像101(Kがより1に近い対象画像101)から算出された、より高精度な尤度が使用されるので、対象画像101から上述の合成尤度に基づいて構造物を抽出する際の抽出精度をより向上させることができる。
(第2実施形態の変形例1)
次に、第2実施形態の変形例1について説明する。変形例1の説明では、第2実施形態と同様の説明については省略し、第2実施形態と異なる箇所について説明する。
変形例1では、第2実施形態とは異なる合成方法により、尤度を合成する場合の例1について説明する。変形例1の合成部4は、対象画像(算出領域)毎に算出された尤度を、上述の数式(13)により、重みを付けて加算することにより、尤度を合成する。ただし、変形例1の重みは、対象画像(算出領域)の画素毎に設定され、上述の数式(14)により、対象画像(算出領域)の分離度が大きいほど大きく設定される。
(第2実施形態の変形例2)
次に、第2実施形態の変形例2について説明する。変形例2の説明では、第2実施形態と同様の説明については省略し、第2実施形態と異なる箇所について説明する。
変形例2では、第2実施形態とは異なる合成方法により、尤度を合成する場合の例2について説明する。変形例2の合成部4は、対象画像(算出領域)毎に算出された尤度を、上述の数式(13)により、重みを付けて加算することにより、尤度を合成する。ただし、変形例2の重みは、対象画像(算出領域)の画素毎に設定され、数式(16)により設定される。
ここで、dは、各対象画像(算出領域)の縮小率である。ただし、dはd>di+1を満たす。縮小率1/Kがより小さい対象画像101(Kがより1に近い対象画像101)は、構造物の密度がより高い領域において画像の潰れを削減できるため、より大きな分離度の尤度を算出できている可能性が高い。つまり変形例2の合成方法を使用して、分離度のより大きな尤度に対して、より大きな重みを付与することで、対象画像101から上述の合成尤度に基づいて構造物を抽出する際の抽出精度をより向上させることができる。
(第2実施形態の変形例3)
次に、第2実施形態の変形例3について説明する。変形例3の説明では、第2実施形態と同様の説明については省略し、第2実施形態と異なる箇所について説明する。
変形例3では、対象画像101上でウィンドウをスライドさせ、当該ウィンドウ毎に分離度を算出する場合について説明する。具体的には、分離度算出部3が、対象画像101の画像サイズの整数分の1のサイズのウィンドウを設定し、当該ウィンドウを所定の画素数(例えばウィンドウサイズの半分の画素数等)でスライドさせる。
図5は第2実施形態の変形例3の算出処理の例を示す図である。分離度算出部3は、ウィンドウ内で算出された分離度が閾値より小さい場合、当該ウィンドウの位置を示す位置情報を変換部1に入力する。変換部1は、分離度算出部3から位置情報を受け付けると、当該位置情報により特定される領域内を抜き出して、変換処理を行う。ウィンドウサイズは、変換部1から分離度算出部3までの一連の処理を行う度に変化させる。例えば、1回目のウィンドウサイズがM×Lの場合、2回目は(M/2)×(L/2)、3回目は(M/4)×(L/4)、等とする。合成部4では、画素毎に重みを算出して各尤度を合成し、合成尤度を生成する。
変形例3では、ウィンドウをスライドさせることで、分離度がより小さい領域のみを、更に細かく処理する(よりサイズの小さいウィンドウで処理する)ことができるので、処理時間を削減することができる。
(第3実施形態)
次に、第3実施形態について説明する。第3実施形態の説明では、第1実施形態と同様の説明については省略し、第1実施形態と異なる箇所について説明する。
第3実施形態では、第1実施形態の構成に加えて、学習部を更に備える場合について説明する。
[機能構成の例]
図6は第3実施形態の画像処理装置10−2の機能構成の例を示す図である。第3実施形態の画像処理装置10−2は、変換部1−2、尤度算出部2−2、分離度算出部3、合成部4−2及び学習部5を備える。なお、分離度算出部3の処理の説明は、第1実施形態と同様なので省略する。
変換部1−2は、入力画像及び教示画像を受け付ける。入力画像は、第1実施形態の変換部1により受け付けられる画像と同じである。教示画像は、構造物を示す領域が特定された画像である。例えば、教示画像は、当該教示画像に対応する対象画像101に含まれる構造物を示す画素の位置をラベリングした画像である。なお、構造物が複数ある場合には、構造物毎に異なったラベリング付けがなされる。
学習部5は、構造物を示す領域が特定された教示画像と、対象画像101とを使用して、尤度を算出する尤度算出処理を学習する。具体的には、学習部5は、変換部1−2により変換された対象画像101から、構造物を示す領域である可能性を示す尤度をより正確に算出可能な尤度算出処理を学習する。学習部5により使用される学習方法は、例えば機械学習及び深層学習等である。学習方法の具体例は、第5実施形態で説明する。
尤度算出部2−2は、学習部5により学習された尤度算出処理により、教示画像に含まれる構造物と同様の構造物を含む任意の対象画像101から、当該構造物を示す領域である可能性を示す尤度を算出する。
合成部4−2は、上述の数式(13)によって、対象画像101毎に算出された尤度を、重みを付けて加算することにより、合成尤度を生成する。重みは、構造物を示す領域の尤度が、より正確に算出された対象画像101に対して、より大きく設定される。具体的には、第3実施形態の重みは、画像サイズに応じて設定される。例えば、合成部4−2は、画像サイズが変換された対象画像101から算出された尤度の閾値処理により特定される構造物と、当該対象画像101に対応する教示画像から特定される構造物との平均誤差を算出し、当該平均誤差がより小さい画像サイズの対象画像101により大きな重みを設定する。すなわち第3実施形態では、構造物を示す領域の尤度が、より正確に算出された画像サイズの画像に、より大きな重みが設定される。
第3実施形態の画像処理装置10−2によれば、学習部5を更に備えることにより、尤度算出部2−2により行われる尤度算出処理をより精度が良くなるように更新することができる。
(第3実施形態の変形例)
次に、第3実施形態の変形例について説明する。変形例の説明では、第3実施形態と同様の説明については省略し、第3実施形態と異なる箇所について説明する。
変形例では、第3実施形態とは異なる合成方法により、尤度を合成する場合の例について説明する。
合成部4−2は、上述の数式(13)によって、対象画像101毎に算出された尤度を、重みを付けて加算することにより、合成尤度を生成する。変形例の重みは、分離度に応じて設定される。例えば、合成部4−2は、変換された対象画像101から算出された尤度の閾値処理により特定される構造物と、当該対象画像101に対応する教示画像から特定される構造物との平均誤差を算出し、当該平均誤差がより小さい分離度が算出された対象画像101により大きな重みを設定する。すなわち変形例では、構造物を示す領域と、当該構造物以外を示す領域との分離し易さを示す分離度が、より正確に算出された画像に、より大きな重みが設定される。
変形例の画像処理装置10−2によれば、第3実施形態と同様の効果を得ることができる。
(第4実施形態)
次に、第4実施形態について説明する。第4実施形態の説明では、第3実施形態と同様の説明については省略し、第3実施形態と異なる箇所について説明する。
第4実施形態では、第3実施形態の構成に加えて、ユーザインタフェースとして、入力制御部と表示制御部とを更に備える場合について説明する。
[機能構成の例]
図7は第4実施形態の画像処理装置10−3の機能構成の例を示す図である。第4実施形態の画像処理装置10−3は、変換部1−2、尤度算出部2−3、分離度算出部3、合成部4−2、学習部5、表示制御部6及び入力制御部7を備える。
変換部1−2、尤度算出部2−3、分離度算出部3、合成部4−2、学習部5及び表示制御部6は、画像処理部20として機能する。なお、画像処理部20で行われる処理は、変換部1−2、尤度算出部2−3、分離度算出部3、合成部4−2、学習部5及び表示制御部6に分けずに、1つの機能ブロックとして行われてもよい。
変換部1−2、分離度算出部3及び学習部5の処理の説明は、第3実施形態と同様なので省略する。
表示制御部6は、モニタ等の表示デバイスに、合成部4−2から出力される合成尤度マップに基づく画像、及び、各対象画像101で算出された尤度マップ等を含む表示情報を表示する。合成尤度マップに基づく画像は、例えば合成尤度が閾値(第2閾値)以上の領域が、構造物を示す領域として識別された識別画像である。また例えば、合成尤度マップに基づく画像は、例えば合成尤度マップの画素値と、入力画像の画素値とを乗算した画像である。なお、合成尤度マップに基づく画像は、合成尤度マップそのものでもよい。
入力制御部7は、マウス、キーボード及びタッチモニタ等の入力デバイスによって入力された入力情報を画像処理部20に出力する。
次に、合成尤度の合成に使用される尤度が算出される算出領域の指定を、ユーザから受け付ける場合の動作について説明する。
図8Aは第4実施形態の表示情報201aの例を示す図である。図8Aの表示情報201aは、合成尤度マップに基づく画像(図8Aの例では、合成尤度マップ103a)、尤度マップ102g及び尤度マップ102hを含む。合成尤度マップ103aは、尤度マップ102g及び尤度マップ102hを合成することにより得られる合成尤度を示す。
図8Bは第4実施形態の算出領域105の選択操作の例を示す図である。入力制御部7は、入力デバイスにより、合成尤度マップ103上の算出領域105の指定を示す操作入力を受け付ける。ユーザの入力によって変更可能な算出領域105のサイズは、入力画像の整数分の1倍サイズとする。入力制御部7は、指定された算出領域の位置を示す位置情報を、尤度算出部2−3に入力する。尤度算出部2−3は、入力制御部7から位置情報を受け付けると、当該位置情報により特定される算出領域105の尤度を算出する。
図8Cは第4実施形態の更新された表示情報103bの例を示す図である。図8Cの表示情報201bは、合成尤度マップ103b、尤度マップ102g、尤度マップ102h及び尤度マップ102iを含む。尤度マップ102iは、図8Bで指定された算出領域105の尤度を示す。合成尤度マップ103bは、尤度マップ102g、尤度マップ102h及び尤度マップ102iを使用して、合成部4−2によって合成された合成尤度を示す。
次に、合成尤度の合成に使用される尤度の選択を、ユーザから受け付ける場合の動作について説明する。
図9Aは第4実施形態の尤度の選択操作の例を示す図である。図9Aの例は、入力デバイスにより尤度マップ102g及び尤度マップ102iが選択された場合を示す。なお選択される尤度マップ102の数は1つでも複数でもよい。なお、尤度マップ102gは、1回目の処理により抽出される尤度を示す。すなわち、尤度マップ102gは、対象画像101全体の尤度マップとなり、尤度を合成する際のベースとなる。そのため、対象画像101全体の尤度を算出する場合は、尤度マップ102gは、必ず選択される必要がある。一方、尤度マップ102h及び尤度マップ102iは、対象画像101の一部の領域の尤度を示す。そのため、尤度マップ102h及び尤度マップ102iは、適宜、選択可能である。
図9Bは第4実施形態の尤度の合成操作の例を示す図である。図9Bの表示情報201cは、合成尤度マップ103c、尤度マップ102g、尤度マップ102h及び尤度マップ102iを含む。図9Aの例は、図9Bで選択された尤度マップ102hに、入力デバイスにより重み0.8が指定され、図9Bで選択された尤度マップ102iに、入力デバイスにより重み0.2が指定された場合を示す。
なお重みの指定方法は任意でよい。例えば、重みは、スライドバーを使用して指定されてもよい。また例えば、重みは、強中弱等、予め値が設定された重みの分類で指定されてもよい。
入力制御部7は、選択された尤度マップを示す選択情報と、当該尤度マップに指定された重みを示す重み指定情報を、合成部4−2に入力する。合成部4−2は、入力制御部7から選択情報及び重み指定情報を受け付けると、選択された尤度マップを指定された重みで合成することにより、合成尤度マップ103cを生成する。表示制御部6は、合成部4−2により新たに合成された合成尤度マップ103cによって、表示デバイスに表示されていた合成尤度マップ103bを更新する。
なお、図9Bの例では、ユーザにより重みが指定される場合について説明したが、合成部705で保持されている重みが使用されてもよい。合成部4−2で保持されている重みは、例えば上述の数式(16)により算出された重みである。
また、合成部4−2で保持されている各尤度マップ102の重みと、選択された尤度マップ102の数とに基づいて、選択された尤度マップ102に付与された重みの総和が1になるように重みが更新されてもよい。例えば、尤度マップ102の総数が、3つであり、それぞれ、0.5、0.3、0.2の重みが付与されていた状態で、重みが0.5の尤度マップ102と、重みが0.3の尤度マップ102とが選択された場合には、重み0.5が0.625に更新され、重み0.3が0.375に更新されてもよい。
第4実施形態の画像処理装置10−3によれば、ユーザインタフェースを介して、ユーザから受け付けた操作入力に基づいて、画像から構造物を抽出する際の抽出精度をより向上させることができる。
(第5実施形態)
次に、第5実施形態について説明する。第5実施形態の説明では、第3実施形態と同様の説明については省略し、第3実施形態と異なる箇所について説明する。
第3実施形態では、学習部5による機械学習の具体例として、オートエンコーダを使用する場合について説明する。
図10は第5実施形態のオートエンコーダ構造の概要を示す図である。第5実施形態の学習部5による機械学習のネットワーク構造は、図10に示すようなオートエンコーダである。図10のオートエンコーダは、エンコーダ部分とデコーダ部分を含む。エンコーダ部分は、Conv(Convolution)+BN+ReLU(Rectified Linear Units)層、Pooling層及びDropout層を含む。デコーダ部分は、Unpooling層、Conv+BN+ReLU層、Dropout層及びScore層を含む。
なお、機械学習に複数の入力データを用いる場合、入力データの数に対しチャネル数を増やしたオートエンコーダを使用してもよい。また、ネットワークのエンコーダに相当する部分を入力データの数分増加させ、各層の間に各エンコーダの特徴量を組み合わせる融合層を含めるようにしてもよい。更に、オートエンコーダの構造は、上記複数の入力データに加え、エンコーダ側の同一階層の出力をデコーダ側で再利用する結合層を持つネットワーク構造でもよい。
図11は第5実施形態のオートエンコーダの例1を示す図である。図11の例では、2つの入力データを受け付ける場合を示す。入力データ−1は、例えば構造物を示す領域を含むRGB画像である。入力データ−2は、例えば構造物を示す領域を含むデプス画像である。入力データ−1を受け付けるエンコーダ−1は、Conv+BN+ReLU層、融合層、Pooling層及びDropout層を含む。入力データ−2を受け付けるエンコーダ−2は、Conv+BN+ReLU層、Pooling層及びDropout層を含む。エンコーダ−1からの入力を受け付けるデコーダは、Unpooling層、Conv+BN+ReLU層、Dropout層及びScore層を含む。
図12は第5実施形態のオートエンコーダの例2を示す図である。図12の例では、2つの入力データを受け付ける場合を示す。入力データ−1、及び、入力データ−1の説明は、図11と同様なので省略する。入力データ−1を受け付けるエンコーダ−1は、Conv+BN+ReLU層、融合層、Pooling層及びDropout層を含む。入力データ−2を受け付けるエンコーダ−2は、Conv+BN+ReLU層、Pooling層及びDropout層を含む。エンコーダ−1からの入力を受け付けるデコーダは、Unpooling層、Conv+BN+ReLU層、Dropout層、結合層及びScore層を含む。
図13は、図12のオートエンコーダの処理の関係を示す図である。図13の例は、input−1から入力された画像データのエンコード処理と、input−2から入力された画像データのエンコード処理と、Scoreを出力するデコード処理との関係を示す。
(第6実施形態)
次に、第6実施形態について説明する。第6実施形態の説明では、第1実施形態と同様の説明については省略し、第3実施形態と異なる箇所について説明する。
第6実施形態では、第1実施形態の画像処理装置10を、画像処理システムとして実現する場合について説明する。
[機能構成の例]
図14は第6実施形態の画像処理システム30の機能構成の例を示す図である。第6実施形態の画像処理システム30は、画像処理部20−2及び表示制御部6−2を備える。
画像処理部20−2は、対象画像101に含まれる領域が、構造物を示す領域である可能性を示す尤度を算出し、当該尤度の統計量に基づいて、構造物を示す領域と、構造物以外を示す領域との分離し易さを示す分離度を算出し、当該分離度が閾値よりも小さい場合、対象画像101を変換して、尤度の算出対象とする新たな対象画像101を生成し、対象画像101毎に算出された尤度を合成することにより、合成尤度を生成する。
すなわち、第6実施形態の画像処理部20−2は、第1実施形態の変換部1、尤度算出部2、分離度算出部3及び合成部4により行われる処理と同様の処理を行う。
表示制御部6−2は、合成尤度を示す表示情報を、モニタ等の表示デバイスに表示する。
なお、画像処理システム30は、1つの装置により実現されてもよいし、複数の装置により実現されてもよい。
第6実施形態の画像処理システム30によれば、第1実施形態と同様の効果を得ることができる。
最後に、第1乃至第5実施形態の画像処理装置10(10−2,10−3)のハードウェア構成の例について説明する。
[ハードウェア構成の例]
図15は第1乃至第5実施形態の画像処理装置10(10−2,10−3)のハードウェア構成の例を示す図である。なお、第6実施形態の画像処理システム30のハードウェア構成についても、1台の装置により実現される場合には、図15と同様である。
第1乃至第5実施形態の画像処理装置10(10−2,10−3)は、制御装置301、主記憶装置302、補助記憶装置303、表示装置304、入力装置305及び通信装置306を備える。制御装置301、主記憶装置302、補助記憶装置303、表示装置304、入力装置305及び通信装置306は、バス310を介して接続されている。
制御装置301は、補助記憶装置303から主記憶装置302に読み出されたプログラムを実行する。主記憶装置302は、ROM(Read Only Memory)、及び、RAM(Random Access Memory)等のメモリである。補助記憶装置303は、HDD(Hard Disk Drive)、及び、メモリカード等である。
表示装置304は表示情報を表示する。表示装置304は、例えば液晶ディスプレイ等である。入力装置305は、画像処理装置10(10−2,10−3)を操作するためのインタフェースである。入力装置305は、例えばキーボードやマウス等である。画像処理装置10(10−2,10−3)がスマートフォン及びタブレット型端末等のスマートデバイスの場合、表示装置304及び入力装置305は、例えばタッチパネルである。通信装置306は、他の装置と通信するためのインタフェースである。
第1乃至第5実施形態の画像処理装置10(10−2,10−3)で実行されるプログラムは、インストール可能な形式又は実行可能な形式のファイルでCD−ROM、メモリカード、CD−R及びDVD(Digital Versatile Disc)等のコンピュータで読み取り可能な記憶媒体に記録されてコンピュータ・プログラム・プロダクトとして提供される。
また第1乃至第5実施形態の画像処理装置10(10−2,10−3)で実行されるプログラムを、インターネット等のネットワークに接続されたコンピュータ上に格納し、ネットワーク経由でダウンロードさせることにより提供するように構成してもよい。また第1乃至第5実施形態の画像処理装置10(10−2,10−3)で実行されるプログラムをダウンロードさせずにインターネット等のネットワーク経由で提供するように構成してもよい。
また第1乃至第5実施形態の画像処理装置10(10−2,10−3)のプログラムを、ROM等に予め組み込んで提供するように構成してもよい。
第1乃至第5実施形態の画像処理装置10(10−2,10−3)で実行されるプログラムは、上述した図1(図6,図7)の機能ブロックのうち、プログラムによっても実現可能な機能ブロックを含むモジュール構成となっている。当該各機能ブロックは、実際のハードウェアとしては、制御装置301が記憶媒体からプログラムを読み出して実行することにより、上記各機能ブロックが主記憶装置302上にロードされる。すなわち上記各機能ブロックは主記憶装置302上に生成される。
なお上述した図1の各機能ブロックの一部又は全部をソフトウェアにより実現せずに、IC等のハードウェアにより実現してもよい。
また複数のプロセッサを用いて各機能を実現する場合、各プロセッサは、各機能のうち1つを実現してもよいし、各機能のうち2以上を実現してもよい。
また第1乃至第5実施形態の画像処理装置10(10−2,10−3)の動作形態は任意でよい。第1乃至第5実施形態の画像処理装置10(10−2,10−3)を、例えばネットワーク上のクラウドシステムとして動作させてもよい。
本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。
1 変換部
2 尤度算出部
3 分離度算出部
4 合成部
5 学習部
6 表示制御部
7 入力制御部
10 画像処理装置
20 画像処理部
30 画像処理システム
301 制御装置
302 主記憶装置
303 補助記憶装置
304 表示装置
305 入力装置
306 通信装置
310 バス

Claims (15)

  1. 対象画像に含まれる領域が、構造物を示す領域である可能性を示す尤度を算出する尤度算出部と、
    前記尤度の統計量に基づいて、前記構造物を示す領域と、前記構造物以外を示す領域との分離し易さを示す分離度を算出する分離度算出部と、
    前記分離度が第1閾値よりも小さい場合、前記対象画像を変換して、前記尤度の算出対象とする新たな対象画像を生成する変換部と、
    前記対象画像毎に算出された尤度を合成することにより、合成尤度を生成する合成部と、
    を備える画像処理装置。
  2. 前記分離度算出部は、前記分離度が第1閾値よりも小さい場合、前記対象画像を複数の算出領域に分割して、前記算出領域毎に前記分離度を算出し、
    前記尤度算出部は、前記算出領域を前記対象画像として、前記尤度を算出し、
    前記合成部は、前記対象画像毎に算出された尤度を合成することにより、前記合成尤度を生成する、
    請求項1に記載の画像処理装置。
  3. 前記分離度算出部は、前記算出領域毎に、前記算出領域に含まれる領域の尤度のうち、前記尤度の最小値と最大値以外の尤度の割合を算出し、前記割合が大きいほど、前記分離度を小さく算出する、
    請求項2に記載の画像処理装置。
  4. 前記分離度算出部は、前記尤度のヒストグラムを算出し、前記ヒストグラムから判別分析法を使用して前記分離度を算出する、
    請求項2に記載の画像処理装置。
  5. 前記分離度算出部は、前記尤度の分散が大きいほど、前記分離度を小さく算出する、
    請求項2に記載の画像処理装置。
  6. 前記合成部は、前記対象画像毎に算出された尤度を乗算することにより、前記尤度を合成する、
    請求項1に記載の画像処理装置。
  7. 前記変換部は、分離度が第1閾値よりも小さい場合、前記対象画像を縮小する変換をして、前記尤度の算出対象とする新たな対象画像を生成し、
    前記合成部は、前記対象画像毎に算出された尤度を、重みを付けて加算することにより、前記尤度を合成し、前記重みは、前記対象画像の縮小率が小さいほど大きく設定される、
    請求項1に記載の画像処理装置。
  8. 前記合成部は、前記対象画像毎に算出された尤度を、重みを付けて加算することにより、前記尤度を合成し、前記重みは、前記対象画像の分離度が大きいほど大きく設定される、
    請求項1に記載の画像処理装置。
  9. 前記構造物を示す領域が特定された教示画像と、前記対象画像とを使用して、前記尤度を算出する尤度算出処理を学習する学習部を更に備え、
    前記尤度算出部は、学習された前記尤度算出処理により、前記尤度を算出する、
    請求項1に記載の画像処理装置。
  10. 前記合成部は、前記対象画像毎に算出された尤度を、重みを付けて加算することにより、前記尤度を合成し、前記重みは、前記構造物を示す領域の尤度が、より正確に算出された前記対象画像に対して、より大きく設定される、
    請求項9に記載の画像処理装置。
  11. 前記合成尤度が第2閾値以上の領域が、構造物を示す領域として識別された識別画像を表示する表示制御部と、
    前記識別画像の指定領域の指定を示す操作入力を受け付ける入力制御部と、を更に備え、
    前記尤度算出部は、指定領域を前記対象画像として、前記尤度を算出する、
    請求項1に記載の画像処理装置。
  12. 前記表示制御部は、前記対象画像毎に算出された尤度を示す尤度画像を複数、表示し、
    前記入力制御部は、前記複数の尤度画像から、少なくとも1つの尤度画像を選択する操作入力と、選択された前記尤度画像毎の重みの指定を示す操作入力とを受け付け、
    前記合成部は、選択された前記尤度画像の尤度を、前記重みに応じて合成することにより、前記合成尤度を生成する、
    請求項11に記載の画像処理装置。
  13. 対象画像に含まれる領域が、構造物を示す領域である可能性を示す尤度を算出し、前記尤度の統計量に基づいて、前記構造物を示す領域と、前記構造物以外を示す領域との分離し易さを示す分離度を算出し、前記分離度が閾値よりも小さい場合、前記対象画像を変換して、前記尤度の算出対象とする新たな対象画像を生成し、前記対象画像毎に算出された尤度を合成することにより、合成尤度を生成する画像処理部と、
    前記合成尤度を示す表示情報を表示する表示制御部と、
    を備える画像処理システム。
  14. 対象画像に含まれる領域が、構造物を示す領域である可能性を示す尤度を算出するステップと、
    前記尤度の統計量に基づいて、前記構造物を示す領域と、前記構造物以外を示す領域との分離し易さを示す分離度を算出するステップと、
    前記分離度が閾値よりも小さい場合、前記対象画像を変換して、前記尤度の算出対象とする新たな対象画像を生成するステップと、
    前記対象画像毎に算出された尤度を合成することにより、合成尤度を生成するステップと、
    を含む画像処理方法。
  15. コンピュータを、
    対象画像に含まれる領域が、構造物を示す領域である可能性を示す尤度を算出する尤度算出部と、
    前記尤度の統計量に基づいて、前記構造物を示す領域と、前記構造物以外を示す領域との分離し易さを示す分離度を算出する分離度算出部と、
    前記分離度が閾値よりも小さい場合、前記対象画像を変換して、前記尤度の算出対象とする新たな対象画像を生成する変換部と、
    前記対象画像毎に算出された尤度を合成することにより、合成尤度を生成する合成部、
    として機能させるためのプログラム。
JP2018137638A 2018-07-23 2018-07-23 画像処理装置、画像処理システム、画像処理方法及びプログラム Active JP7010783B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2018137638A JP7010783B2 (ja) 2018-07-23 2018-07-23 画像処理装置、画像処理システム、画像処理方法及びプログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2018137638A JP7010783B2 (ja) 2018-07-23 2018-07-23 画像処理装置、画像処理システム、画像処理方法及びプログラム

Publications (2)

Publication Number Publication Date
JP2020016928A true JP2020016928A (ja) 2020-01-30
JP7010783B2 JP7010783B2 (ja) 2022-01-26

Family

ID=69580285

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2018137638A Active JP7010783B2 (ja) 2018-07-23 2018-07-23 画像処理装置、画像処理システム、画像処理方法及びプログラム

Country Status (1)

Country Link
JP (1) JP7010783B2 (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2021149818A (ja) * 2020-03-23 2021-09-27 株式会社東芝 情報処理装置、情報処理方法およびプログラム
JPWO2021260780A1 (ja) * 2020-06-23 2021-12-30

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004220363A (ja) * 2003-01-15 2004-08-05 Sharp Corp 評価処理に特長をもつ画像処理手順設計エキスパートシステム
JP2011076302A (ja) * 2009-09-30 2011-04-14 Ntt Comware Corp 輪郭抽出装置、輪郭抽出方法、および輪郭抽出プログラム

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004220363A (ja) * 2003-01-15 2004-08-05 Sharp Corp 評価処理に特長をもつ画像処理手順設計エキスパートシステム
JP2011076302A (ja) * 2009-09-30 2011-04-14 Ntt Comware Corp 輪郭抽出装置、輪郭抽出方法、および輪郭抽出プログラム

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2021149818A (ja) * 2020-03-23 2021-09-27 株式会社東芝 情報処理装置、情報処理方法およびプログラム
JP7395396B2 (ja) 2020-03-23 2023-12-11 株式会社東芝 情報処理装置、情報処理方法およびプログラム
JPWO2021260780A1 (ja) * 2020-06-23 2021-12-30
WO2021260780A1 (ja) * 2020-06-23 2021-12-30 日本電気株式会社 物体位置推定装置、物体位置推定方法、および記録媒体
JP7448006B2 (ja) 2020-06-23 2024-03-12 日本電気株式会社 物体位置推定装置

Also Published As

Publication number Publication date
JP7010783B2 (ja) 2022-01-26

Similar Documents

Publication Publication Date Title
EP3979200A1 (en) Video target tracking method and apparatus, computer device and storage medium
CN109711401B (zh) 一种基于Faster Rcnn的自然场景图像中的文本检测方法
EP3540637A1 (en) Neural network model training method, device and storage medium for image processing
KR102103984B1 (ko) 깊이 영상 처리 방법 및 장치
US9886646B2 (en) Image processing apparatus and non-transitory computer readable medium
CN112084930A (zh) 一种全视野数字病理切片的病灶区域分类方法及其系统
CN112560980A (zh) 目标检测模型的训练方法、装置及终端设备
US20200210893A1 (en) Learning Method, Learning Program, Learning Device, and Learning System
CN109977963B (zh) 图像处理方法、设备、装置以及计算机可读介质
JP2013003892A (ja) 画像処理装置および方法、プログラム、並びに記録媒体
CN112488923A (zh) 图像超分辨率重建方法、装置、存储介质及电子设备
CN115131797B (zh) 一种基于特征增强金字塔网络的场景文本检测方法
JP2020016928A (ja) 画像処理装置、画像処理システム、画像処理方法及びプログラム
JP5610245B2 (ja) 画像合成装置、画像合成方法、画像合成プログラム及び記録媒体
US20180342071A1 (en) Moving object tracking apparatus, moving object tracking method, and computer program product
CN114677402A (zh) 海报文本布局、海报生成方法及相关装置
JP6511950B2 (ja) 画像処理装置、画像処理方法及びプログラム
JP2011146826A (ja) 画像処理装置および方法、並びにプログラム
CN112508996A (zh) 无锚点孪生网络角点生成的目标跟踪方法及装置
CN104423964B (zh) 用于确定可视化的可信性的方法和系统
US20040105598A1 (en) Image processing device, computer program product and image processing method
KR101592087B1 (ko) 배경 영상의 위치를 이용한 관심맵 생성 방법 및 이를 기록한 기록 매체
JP2004201283A5 (ja)
CN112837318B (zh) 超声图像生成模型的生成方法、合成方法、介质及终端
CN115272201A (zh) 增强息肉分割模型泛化性的方法、系统、装置和介质

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20200701

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20210730

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20210817

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20211018

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20211214

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20220113