JP2017211939A

JP2017211939A - 生成装置、生成方法、及び生成プログラム

Info

Publication number: JP2017211939A
Application number: JP2016106559A
Authority: JP
Inventors: 智大田中; Tomohiro Tanaka; 直晃山下; Naoaki Yamashita
Original assignee: Yahoo Japan Corp
Current assignee: Yahoo Japan Corp
Priority date: 2016-05-27
Filing date: 2016-05-27
Publication date: 2017-11-30
Anticipated expiration: 2036-05-27
Also published as: JP6960722B2; US20170345196A1; US10445910B2

Abstract

【課題】ニューラルネットワークにおける情報から画像を適切に認識するために用いる情報を生成する生成装置、生成方法、及び生成プログラムを提供する。【解決手段】生成装置１００は、取得部１３１と、生成部１３２とを有する。取得部は、画像中の対象物の数を認識するニューラルネットワークの中間層における中間画像を取得する。生成部は、取得部により取得された中間画像を合成した合成画像を生成する。例えば、生成部は、中間画像の各々への加工に応じた対象物の数の認識の変化に基づいて、重み付けした中間画像を合成した合成画像を生成する。【選択図】図３

Description

本発明は、生成装置、生成方法、及び生成プログラムに関する。

従来、ニューラルネットワークによる画像の特徴抽出に関する技術が提供されている。例えば、畳み込みニューラルネットワーク（Convolutional Neural Network）により、画像の顕著性マップを生成する技術が提供されている。また、ニューラルネットワークにより、画像に含まれる対象物を識別する技術が提供されている。

Ligang Liu, Renjie, Chen Lior Wolf, Daniel Cohen-Or, "Optimizing Photo Composition", Computer Graphics Forum, The Eurographics Association and Blackwell Publishing Ltd, 2010 Karen Simonyan, Andrea Vedaldi, Andrew Zisserman, "Deep Inside Convolutional Networks: Visualising Image Classification Models and Saliency Maps", International Conference on Machine Learning(ICLR), Apr14-16, 2014, Banff, Canada. Misha Denil, Alban Demiraj, Nando de Freitas, "Extraction of Salient Sentences from Labelled Documents", International Conference on Machine Learning(ICLR), Apr14-16, 2015, San Diego, USA. Jianming Zhang, Shugao Ma, Mehrnoosh Sameki, Stan Sclaroff, Margrit Betke, Zhe Lin, Xiaohui Shen, Brian Price, Radomir Mech "Salient Object Subitizing", The IEEE Conference on Computer Vision and Pattern Recognition (CVPR), 2015, pp. 4045-4054

しかしながら、上記の従来技術では画像を適切に認識するために用いる情報が生成されるとは限らない。例えば、画像に含まれる対象物を識別するのみでは、ニューラルネットワークにおける情報から画像を適切に認識するために用いる情報が生成されるとは限らない。

本願は、上記に鑑みてなされたものであって、ニューラルネットワークにおける情報から画像を適切に認識するために用いる情報を生成する生成装置、生成方法、及び生成プログラムを提供することを目的とする。

本願に係る生成装置は、画像中の対象物の数を認識するニューラルネットワークの中間層における中間画像を取得する取得部と、前記取得部により取得された前記中間画像を合成した合成画像を生成する生成部と、を備えたことを特徴とする。

実施形態の一態様によれば、ニューラルネットワークにおける情報から画像を適切に認識するために用いる情報を生成することができるという効果を奏する。

図１は、実施形態に係る生成処理の一例を示す図である。図２は、実施形態に係る生成処理の一例を示す図である。図３は、実施形態に係る生成装置の構成例を示す図である。図４は、実施形態に係る学習情報記憶部の一例を示す図である。図５は、実施形態に係る画像情報記憶部の一例を示す図である。図６は、実施形態に係る合成画像の生成の一例を示すフローチャートである。図７は、実施形態に係る画像の加工の一例を示すフローチャートである。図８は、実施形態に係る端末装置における加工画像の表示例を示す図である。図９は、実施形態に係るアスペクト比に基づく加工画像の生成例を示す図である。図１０は、生成装置の機能を実現するコンピュータの一例を示すハードウェア構成図である。

以下に、本願に係る生成装置、生成方法、及び生成プログラムを実施するための形態（以下、「実施形態」と呼ぶ）について図面を参照しつつ詳細に説明する。なお、この実施形態により本願に係る生成装置、生成方法、及び生成プログラムが限定されるものではない。また、以下の各実施形態において同一の部位には同一の符号を付し、重複する説明は省略される。

（実施形態）
〔１．生成処理〕
図１及び図２を用いて、実施形態に係る生成処理の一例について説明する。図１及び図２は、実施形態に係る生成処理の一例を示す図である。例えば、図１及び図２に示す生成システム１には、生成装置１００や、画像の加工を依頼する依頼主の端末装置（図示省略）等が含まれる。図１に示す生成装置１００は、画像に含まれる対象物の数を認識する学習器から取得した中間画像を用いて画像を加工する。具体的には、生成装置１００は、学習器から取得した中間画像を用いて画像の所定の領域ごとにスコアを算出し、スコアに基づいて画像をクロッピングする。例えば、画像に含まれる対象物の数を認識する学習器については、非特許文献４に示すようなＣＮＮ（Convolutional Neural Network）での個数の検出等の種々の従来技術を適宜用いて生成された学習器であってもよい。なお、ここでいうクロッピングとは画像から所定の領域を切り取る処理をいう。また、生成装置１００がクロッピングにより生成した画像は、例えば所定のコンテンツの画像として配信されるが、詳細は後述する。

まず、図１を用いて、生成装置１００による合成画像の生成処理について説明する。図１に示すように、生成装置１００には、画像ＩＭ１０が入力される（ステップＳ１１）。例えば、生成装置１００は、対象物として親猿（画像ＩＭ１０内の対象物ＯＢ１）とその親猿に抱えられた子猿（画像ＩＭ１０内の対象物ＯＢ２）が写った画像ＩＭ１０を取得する。画像ＩＭ１０を取得した生成装置１００は、所定の学習器に画像ＩＭ１０を入力する。なお、対象物は、猿に限らず、人間等の他の生物や植物や車等の種々の物体等であってもよい。また、ここでいう対象物は、識別可能であれば種々の対象が含まれてもよく、例えば火や海の波など種々の現象等が含まれてもよい。

ここで、生成装置１００が用いる学習器について説明する。生成装置１００が用いる学習器は、例えば、入力されたデータに対する演算結果を出力する複数のノードを多層に接続した学習器であって、教師あり学習により抽象化された画像の特徴を学習された学習器である。例えば、学習器は、複数のノードを有する層を多段に接続したニューラルネットワークであり、いわゆるディープラーニングの技術により実現されるＤＮＮ（Deep Neural Network）であってもよい。また、画像の特徴とは、画像に含まれる文字の有無、色、構成等、画像内に現れる具体的な特徴のみならず、撮像されている物体が何であるか、画像がどのような利用者に好かれるか、画像の雰囲気等、抽象化（メタ化）された画像の特徴をも含む概念である。

例えば、学習器は、ディープラーニングの技術により、以下のような学習手法により生成される。例えば、学習器は、各ノードの間の接続係数が初期化され、様々な特徴を有する画像が入力される。そして、学習器は、学習器における出力と、入力した画像との誤差が少なくなるようにパラメータ（接続係数）を補正するバックプロパゲーション（誤差逆伝播法）等の処理により生成される。例えば、学習器は、所定の損失（ロス）関数を最小化するようにバックプロパゲーション等の処理を行うことにより生成される。上述のような処理を繰り返すことで、学習器は、入力された画像をより良く再現できる出力、すなわち入力された画像の特徴を出力することができる。

なお、学習器の学習手法については、上述した手法に限定されるものではなく、任意の公知技術が適用可能である。また、学習器の学習を行う際に用いられる情報は、画像及びその画像に含まれる対象物の数等の種々の画像のデータセットを利用してもよい。学習器の学習を行う際に用いられる情報は、対象物が１つ含まれる画像及び対象物が１つであることを示す情報のセットや、対象物が複数（例えば２つ）含まれる画像及び対象物が複数（例えば２つ）であることを示す情報のセットや、対象物が含まれない画像及び対象物が含まれない（０である）ことを示す情報のセット等を利用してもよい。また、学習器に対する画像の入力方法、学習器が出力するデータの形式、学習器に対して明示的に学習させる特徴の内容等は、任意の手法が適用できる。すなわち、生成装置１００は、画像から抽象化された特徴を示す特徴量を算出できるのであれば、任意の学習器を用いることができる。

図１では、生成装置１００は、入力画像の局所領域の畳み込みとプーリングとを繰り返す、いわゆる畳み込みニューラルネットワーク（Convolutional Neural Network）による学習器ＬＥを用いるものとする。以下では、畳み込みニューラルネットワークをＣＮＮと記載する場合がある。例えば、ＣＮＮによる学習器ＬＥは、画像から特徴を抽出して出力する機能に加え、画像内に含まれる文字や撮像対象等の位置的変異に対し、出力の不変性を有する。このため、学習器ＬＥは、画像の抽象化された特徴を精度良く算出することができる。

例えば、図１では、生成装置１００は、画像に含まれる対象物の数を識別する識別器（モデル）である学習器ＬＥを用いる。すなわち、図１では、生成装置１００は、上述のような所定の学習処理により生成済みの学習器ＬＥを用いるものとする。なお、図１では、生成装置１００が画像に含まれる対象物の数を識別する学習器ＬＥを用いる場合を示すが、生成装置１００は、どのような学習器を用いてもよい。例えば、１つの対象物が画像に含まれるかを識別する学習器や２つの対象物が画像に含まれるかを識別する学習器や画像に対象物が含まれていないかを識別する学習器を用いてもよい。また、学習器ＬＥを生成する際に用いられた損失関数とは別に、学習器ＬＥの認識時の認識結果の確信度を示す関数を導入し関数Ｌとして、以下説明する。なお、関数Ｌは、認識結果の確信度を表すものであれば、どのような関数であっても良い。例えば、関数Ｌは、識別確率から求められるエントロピーであってもよい。また、例えば、関数Ｌは、学習器ＬＥの認識の精度を示すものであれば、どのような関数であってもよい。また、図１で用いる関数Ｌの詳細は後述する。

図１では、画像ＩＭ１０を取得した生成装置１００は、学習器ＬＥに入力するために画像ＩＭ１０を補正する（ステップＳ１２）。例えば、生成装置１００は、画像ＩＭ１０のアスペクト比を１：１に補正することにより、画像ＩＭ１１を生成する。このように、図１では、生成装置１００は、画像ＩＭ１０をリサイズすることにより、アスペクト比が１：１である画像ＩＭ１１を生成する。上述したアスペクト比の変更等の画像を補正する処理には、スムージング等の種々の従来技術が適宜用いられてもよい。

なお、画像ＩＭ１０がそのまま学習器ＬＥに入力可能である場合、生成装置１００は、画像ＩＭ１０を学習器ＬＥに入力してもよい。すなわち、画像ＩＭ１０と画像ＩＭ１１とは同一の画像であってもよい。例えば、学習器ＬＥがどのようなアスペクト比の画像であっても入力可能である場合、画像ＩＭ１０と画像ＩＭ１１とは同一の画像であってもよい。例えば、ステップＳ１２の処理は、学習器ＬＥにおいて行われてもよい。

図１では、生成装置１００は、学習器ＬＥに画像ＩＭ１１を入力する（ステップＳ１３）。なお、生成装置１００は、画像ＩＭ１０を学習器ＬＥに入力してもよい。例えば、学習器ＬＥは、画像ＩＭ１１に含まれる対象物の数を識別する（ステップＳ１４）。図１では、画像ＩＭ１０には対象物として親猿とその親猿に抱えられた子猿が含まれるため、学習器ＬＥは、画像ＩＭ１０に含まれる対象物の数が１か２である可能性が高いことを示す識別情報ＩＲ１１を生成する。なお、ステップＳ１４は、学習器ＬＥの動作を説明するための処理であり、行われなくてもよい。なお、学習器ＬＥが出力する情報は、対象物の数の識別に関する情報であればどのような情報であってもよく、識別情報ＩＲ１１を生成可能な情報であってもよい。例えば、学習器ＬＥが画像に含まれる対象物の数が１であるかを識別する場合、学習器ＬＥは、画像ＩＭ１０に対象物が１つ含まれることを示す識別情報を生成してもよい。

ここで、学習器ＬＥは、ＣＮＮにより生成された学習器であり、複数の中間層Ａ〜Ｃ等を含む。そこで、生成装置１００は、画像ＩＭ１０を学習器ＬＥに入力した際に所定の中間層における情報（以下、「中間画像」とする）を取得する。図１では、生成装置１００は、画像ＩＭ１０を学習器ＬＥに入力した際に中間層Ｂにおける中間画像を取得する（ステップＳ１５）。具体的には、生成装置１００は、中間画像ＭＭ１１〜ＭＭ１９を含む中間画像群ＭＧ１０を取得する。なお、図１では、中間画像ＭＭ１１〜ＭＭ１９において特徴を示す領域は、色が濃い態様で示す。例えば、中間画像ＭＭ１２は、中央部に特徴を示す領域が含まれることを示す。また、例えば、中間画像ＭＭ１６は、特徴を示す領域がほとんど含まれないことを示す。

そして、生成装置１００は、ステップＳ１５で取得した中間画像群ＭＧ１０に含まれる中間画像ＭＭ１１〜ＭＭ１９を合成する（ステップＳ１６）。図１では、生成装置１００は、中間画像ＭＭ１１〜ＭＭ１９を合成することにより、合成画像ＣＭ１０を生成する。図１では、生成装置１００は、中間画像ＭＭ１１〜ＭＭ１９の各々への加工に応じた対象物の数の認識の変化に基づいて、重み付けした中間画像ＭＭ１１〜ＭＭ１９を合成した合成画像ＣＭ１０を生成する。

ここで、関数Ｌの詳細について説明する。図１では、例えば、関数Ｌは以下の式（１）により算出される。

ここで、上記式（１）や下記の式（２）〜（５）中の「ｘ」は画像を示し、「ｆ」はどの中間画像かを示し、「ｉ」及び「ｊ」はピクセルのインデックスを示す。以下の記載においては、「ｉ，ｊ」の記載を省略する。すなわち、図１では、「ｘ^ｆ」には、中間画像ＭＭ１１〜ＭＭ１９のいずれかが対応する。

また、上記式（１）の左辺中の「Ｌ（ｘ^ｆ）」は、「ｘ^ｆ」に対応する中間画像ＭＭ１１〜ＭＭ１９のいずれかの関数Ｌの値を示す。また、ｃには、識別（分類）される対象物の数が入力される。例えば、学習器ＬＥが対象物の数を０、１、２、３、４以上のいずれであるかを識別する場合、ｃは１から４までとなる。また、上記式（１）の右辺中の「ｐ_ｃ」は、各対象物の数である確率を示す。例えば、「ｐ_１」は、対象物の数が１である確率に対応する。また、上記式（１）の右辺中の「ｌｏｇ」の底は、例えば「２」等種々の値であってもよい。

「Ｌ（ｘ^ｆ）」はｃに１〜４の各々が代入された場合の総和となる。この場合、上記式（１）で算出される「Ｌ（ｘ^ｆ）」は、例えば、平均情報量（エントロピー）に対応する。例えば、関数Ｌの取り得る値は以下の式（２）の範囲となる。

例えば、学習器ＬＥが対象物の数を０、１、２、３、４以上のいずれであるかを識別する場合、上記式（２）中の「Ｎ_ｃ」は「５」となる。例えば、上記式（２）中の「ｌｏｇ」の底を「２」とした場合、「Ｌ（ｘ^ｆ）」が取り得る最大値「ｌｏｇＮ_ｃ」は「２．３２…」となる。

上述のように、生成装置１００は、中間画像ＭＭ１１〜ＭＭ１９の各々への加工に応じた対象物の数の認識の変化に基づいて、重み付けした中間画像ＭＭ１１〜ＭＭ１９を合成した合成画像ＣＭ１０を生成する。ここでいう中間画像の加工とは、中間画像の輝度を所定の値だけ増加させること等、目的に応じて種々の手段により行われてもよい。また、中間画像の加工とは、実際に中間画像の輝度等を変化させる操作に限らず、下記の式（３）等において所定の値を算出するために行う概念的な操作であってもよい。また、加工により対象物の数の認識率の変化を生じさせる中間画像は、入力された画像に含まれる対象物の数の認識に影響を持つ中間画像であることが推定される。

ここで、生成装置１００は、各中間画像が加工により対象物の数の認識率に影響を与えるかどうかを関数Ｌの変化により判定する。関数Ｌの変化は、例えば以下の式（３）により導出される。

ここで、上記式（３）の左辺中の「Ｌ（ｘ＋εｘ）」は、中間画像ＭＭ１１〜ＭＭ１９の各々を加工した場合の関数Ｌの合計値を示す。また、上記式（３）の右辺中の「Ｌ（ｘ）」は、中間画像ＭＭ１１〜ＭＭ１９のいずれにも加工を加えていない場合の関数Ｌの合計値を示す。このように、上記式（３）の左辺は、例えば、関数Ｌの変化を示す。なお、「ε」は１に比べて非常に小さい値であり、「εｘ^ｆ」は微小な変化値である。また、上記式（３）の左辺中の「Σ」の項は、中間画像ＭＭ１１〜ＭＭ１９の各々を加工した場合における関数Ｌの変化量の総和を示す。このように、上記式（３）においては、右辺中の変数「ｕ_ｆ」は、以下のように示される。

上記のように、「ｕ_ｆ」は、対応する中間画像ＭＭ１１〜ＭＭ１９を加工した場合における関数Ｌの変化量を示す。また、生成装置１００が生成する合成画像ＣＭ１０は、「ｕ_ｆ」を用いて以下の式（５）により求まる。

ここで、上記式（５）中の右辺中の「Ｆ」は所定の関数を示す。例えば、「Ｆ」は「ｕ_ｆ」の値が大きい程、大きな値を返す関数であってもよい。なお、「Ｆ」は、対象物の数の認識率の向上に寄与度が高い程、大きな値となればどのような関数であってもよい。

また、上記式（５）中の「ｓ」は合成画像を示し、「ｉ」及び「ｊ」はピクセルのインデックスを示す。例えば、図１では、「ｓ_ｉｊ」は、合成画像ＣＭ１０における各画素に対応する中間画像ＭＭ１１〜ＭＭ１９の画素に基づく値の合計となる。例えば、「ｓ_１１」は、合成画像ＣＭ１０における各画素（１，１）に対応する中間画像ＭＭ１１〜ＭＭ１９の画素に基づく値の合計となる。

上記式（５）により、生成装置１００は、中間画像ＭＭ１１〜ＭＭ１９の各々への加工に応じた対象物の数の認識の変化に基づいて、重み付けした中間画像ＭＭ１１〜ＭＭ１９を合成した合成画像ＣＭ１０を生成する。図１の例では、合成画像ＣＭ１０のサイズと画像ＩＭ１１とのサイズは同じであり、合成画像ＣＭ１０は、画像ＩＭ１１における各画素の特徴量を示す。なお、ここでいう特徴量は、例えば、特徴量を示す数値である。具体的には、合成画像ＣＭ１０を構成する各点（画素）の位置は、画像ＩＭ１１に重畳させた場合に画像ＩＭ１１において重なる位置に対応し、合成画像ＣＭ１０は、画像ＩＭ１１において対応する画素の特徴量を示す。なお、図１中の合成画像ＣＭ１０では、特徴を示す領域を色が濃い態様で示す。すなわち、合成画像ＣＭ１０では、特徴量が大きいほど色が濃い態様で表示される。例えば、図１中の合成画像ＣＭ１０では、画像ＩＭ１１において親猿や小猿が位置する領域が色の濃い態様で示される。

ここから、図２を用いて、生成装置１００による画像の加工による加工画像の生成処理について説明する。

図２に示すように、生成装置１００には、アスペクト比に関する情報の入力を受け付ける（ステップＳ２１）。例えば、生成装置１００は、画像ＩＭ１０の加工を行うユーザからアスペクト比ＡＳ１０の入力を受け付ける。図２では、生成装置１００は、アスペクト比「１：１」を示す情報を受け付ける。なお、生成装置１００には、アスペクト比が特定可能であれば、縦のサイズ及び横のサイズ等、どのような情報を受け付けてもよい。生成装置１００には、ステップＳ２１で取得したアスペクト比に基づいて、画像ＩＭ１０をクロッピングすることにより加工画像を生成するが、詳細は後述する。

図２に示すように、生成装置１００は、画像ＩＭ１０と同じサイズになるように合成画像ＣＭ１０を補正する（ステップＳ２２）。例えば、生成装置１００は、合成画像ＣＭ１０の縦のサイズを縦幅ｈに補正し、合成画像ＣＭ１０の横のサイズを横幅ｗに補正することにより、補正画像ＣＭ１１を生成する。なお、縦幅ｈや横幅ｗは、画素数であってもよい。このように、図２では、生成装置１００は、合成画像ＣＭ１０をリサイズすることにより、画像ＩＭ１０に対応する補正画像ＣＭ１１を生成する。上述した補正画像ＣＭ１１を生成する処理には、スムージング等の種々の従来技術が適宜用いられてもよい。

生成装置１００は、ステップＳ２１において取得したアスペクト比１：１を満たすように画像ＩＭ１０をクロッピングする。具体的には、生成装置１００は、補正画像ＣＭ１１における所定の領域と、所定の領域に含まれる特徴量とにより算出されるスコアに基づいて、画像ＩＭ１０から加工画像を取り出す。図２では、生成装置１００は、補正画像ＣＭ１１において切取枠ＡＲ１０に含まれる領域の画素の特徴量を用いてスコアを算出する。なお、切取枠ＡＲ１０はアスペクト比１：１を満たすように拡縮可能な領域とする。

図２中の切取枠ＡＲ１０は、左上の座標が「（ｌ，ｔ）」であり、縦幅が「ｃｈ」であり、横幅は「ｃｈ」に「ａｒ」を乗算した値「ｃｈ・ａｒ」となる。なお、「ａｒ」は、アスペクト比に基づく値であり、図２では切取枠ＡＲ１０のアスペクト比が１：１であるため「１」となる。なお、アスペクト比が２：１である場合、「ａｒ」は、「２（＝２／１）」となる。

ここで、図２の例では、補正画像ＣＭ１１のサイズと画像ＩＭ１０とのサイズは同じであり、補正画像ＣＭ１１は、画像ＩＭ１０における各画素の特徴量を示す。具体的には、補正画像ＣＭ１１を構成する各点（画素）の位置は、画像ＩＭ１０に重畳させた場合に画像ＩＭ１０において重なる位置に対応し、補正画像ＣＭ１１は、画像ＩＭ１０において対応する画素の特徴量を示す。なお、図２中の補正画像ＣＭ１１では、特徴を示す領域を色が濃い態様で示す。すなわち、補正画像ＣＭ１１では、特徴量が大きいほど色が濃い態様で表示される。例えば、図２中の補正画像ＣＭ１１では、画像ＩＭ１０において親猿や小猿が位置する領域が色の濃い態様で示される。

例えば、生成装置１００は、切取枠ＡＲ１０のアスペクト比１：１を維持しつつ、切取枠ＡＲ１０のサイズを拡縮したり、位置を移動させたりすることにより、切取枠ＡＲ１０に含まれる領域を変動させて、各スコアを算出する。そして、生成装置１００は、変動させた各切取枠ＡＲ１０に含まれる領域のうち、スコアが最大となる領域をクロッピングする。例えば、生成装置１００は、切取枠ＡＲ１０がアスペクト比１：１を満たし、かつ全パターンのスコアを算出して、スコアが最大となる領域をクロッピングしてもよい。

ここで、生成装置１００は、切取枠ＡＲ１０に含まれる領域（以下、「関心領域（ＲＯＩ：Region Of Interest）」ともいう）のスコアを以下の式（６）により算出する。

上記式（６）中の左辺中の「ｓｃｏｒｅ（Ｒ_ｃ）」は算出されたスコアを示す。「Ｒ_ｃ」は、関心領域であり、以下の式（７）のように示される。

上記式（７）中の右辺中の「ｌ」は、関心領域の左上のｘ座標に対応し、「ｔ」は、関心領域の左上のｙ座標に対応する。また、「ｃｈ」は、関心領域の縦幅に対応する。なお、生成装置１００は、アスペクト比が与えられれば、上記の「ｌ」、「ｔ」、「ｃｈ」が特定されることにより、関心領域のサイズや位置、すなわち切取枠ＡＲ１０のサイズや位置が特定できる。

また、上記式（６）中の右辺中の第１項「Ｅ_ｓ（Ｒ_ｃ）」は、例えばエネルギー値を示し、以下の式（８）により算出される。

また、上記式（８）中の分母「Ｓ_{ｔｏｔａｌ}」は、補正画像全体の特徴量から算出される値である。例えば、「Ｓ_{ｔｏｔａｌ}」は、補正画像全体の特徴量の合計値であってもよい。図２では、生成装置１００は、補正画像ＣＭ１１全体の特徴量から「Ｓ_{ｔｏｔａｌ}」を算出する。

また、上記式（８）中の分子「Ｓ（Ｒ_ｃ）」は、切取枠ＡＲ１０に含まれる関心領域の特徴量から算出される値である。例えば、「Ｓ（Ｒ_ｃ）」は、関心領域の特徴量の合計値であってもよい。図２では、生成装置１００は、切取枠ＡＲ１０に含まれる関心領域ＣＭ１２、ＣＭ１３、ＣＭ１４等の特徴量から「Ｓ（Ｒ_ｃ）」を算出する。例えば、右辺中の第１項「Ｅ_ｓ（Ｒ_ｃ）」は、エネルギー値を示し、切取枠ＡＲ１０に含まれる領域における色が濃い（特徴量が大きい）部分の割合が多い程大きな値となる。

また、上記式（６）中の右辺中の第２項「ΦＥ_Ａ（Ｒ_ｃ）」は、例えばペナルティ項を示し、「Ｅ_Ａ（Ｒ_ｃ）」は、以下の式（９）により算出される。

また、上記式（９）中の分母「ｈ・ｗ」は、補正画像全体の縦幅ｈと横幅ｗとの乗算により算出される値である。例えば、「ｈ・ｗ」は、補正画像全体の面積（画素数）である。また、上記式（９）中の分子「ｃｈ（ｃｈ・ａｒ）」は、切取枠ＡＲ１０の縦幅ｃｈと横幅ｃｈ・ａｒとの乗算により算出される値である。例えば、「ｃｈ（ｃｈ・ａｒ）」は、切取枠ＡＲ１０に含まれる関心領域の面積（画素数）である。例えば、「Ｅ_Ａ（Ｒ_ｃ）」は、切取枠ＡＲ１０が大きくなる、すなわち関心領域が大きくなる程大きな値となる。

また、「ΦＥ_Ａ（Ｒ_ｃ）」中の「Φ」は、所定のパラメータである。このように、上記式（６）では、エネルギー値「Ｅ_ｓ（Ｒ_ｃ）」が大きく、ペナルティ項「ΦＥ_Ａ（Ｒ_ｃ）」が小さくなるほど、スコアが高くなる。なお、生成装置１００は、ペナルティ項、例えばパラメータΦを適宜変更することにより、算出されるスコアを調整してもよい。

図２では、生成装置１００は、上記式（６）を用いて算出したスコアにより、画像ＩＭ１０をクロッピングする領域を決定する。

例えば、生成装置１００は、補正画像ＣＭ１１のうち、切取枠ＡＲ１０のサイズや位置を変更した切取枠ＡＲ１１に含まれる領域を指定し、その領域に含まれる特徴量に基づくスコアを算出する（ステップＳ２３−１）。例えば、生成装置１００は、切取枠ＡＲ１１に含まれる関心領域ＣＭ１２のスコアを０．７と算出する。

また、例えば、生成装置１００は、補正画像ＣＭ１１のうち、切取枠ＡＲ１０のサイズや位置を変更した切取枠ＡＲ１２に含まれる領域を指定し、その領域に含まれる特徴量に基づくスコアを算出する（ステップＳ２３−２）。例えば、生成装置１００は、切取枠ＡＲ１２に含まれる関心領域ＣＭ１３のスコアを０．５と算出する。

また、例えば、生成装置１００は、補正画像ＣＭ１１のうち、切取枠ＡＲ１０のサイズや位置を変更した切取枠ＡＲ１３に含まれる領域を指定し、その領域に含まれる特徴量に基づくスコアを算出する（ステップＳ２３−３）。例えば、生成装置１００は、切取枠ＡＲ１３に含まれる関心領域ＣＭ１４のスコアを０．１と算出する。以下では、切取枠ＡＲ１０のサイズや位置を変動させてスコアを算出する処理であるステップＳ２３−１〜Ｓ２３−３等を併せてステップＳ２３と記載する。

例えば、生成装置１００は、切取枠ＡＲ１０のサイズや位置を変動させてステップＳ２３等の処理を繰り返すことにより、数多くのパターンの関心領域ごとのスコアを算出する。なお、図２の例では、説明を簡単にするために、切取枠ＡＲ１１に含まれる関心領域ＣＭ１２のスコア「０．７」が最大である場合を例に説明する。

生成装置１００は、切取枠ＡＲ１１に基づいて、画像ＩＭ１０をクロッピングする（ステップＳ２４）。具体的には、生成装置１００は、切取枠ＡＲ１１に対応する切取枠に含まれる画像ＩＭ１０における領域をクロッピングすることにより、画像ＩＭ１０から加工画像ＩＭ１２を生成する。例えば、生成装置１００は、画像ＩＭ１０と補正画像ＣＭ１１とを重畳させた場合に、画像ＩＭ１０において補正画像ＣＭ１１の関心領域ＣＭ１２に重なる領域をクロッピングすることにより、画像ＩＭ１０から加工画像ＩＭ１２を生成する。このように、生成装置１００は、画像ＩＭ１０を加工することにより、画像ＩＭ１０から加工画像ＩＭ１２を生成する。

上述したように、生成装置１００は、ニューラルネットワーク（図１ではＣＮＮ）における情報から画像を適切に認識するために用いる情報を生成する。図１では、生成装置１００は、ＣＮＮの中間層における中間画像群ＭＧ１０から、中間画像を取得する。そして、生成装置１００は、取得した中間画像を合成することにより、合成画像を生成する。そして、生成装置１００は、合成画像をクロッピング対象となる画像のサイズに補正した補正画像を用いて関心領域のスコアを算出する。そして、生成装置１００は、関心領域ごとに算出したスコアにより、画像をクロッピングする領域を決定する。これにより、生成装置１００は、画像の適切な領域をクロッピングすることができる。

〔２．生成装置の構成〕
次に、図３を用いて、実施形態に係る生成装置１００の構成について説明する。図３は、実施形態に係る生成装置１００の構成例を示す図である。図３に示すように、生成装置１００は、通信部１１０と、記憶部１２０と、制御部１３０とを有する。なお、生成装置１００は、生成装置１００の管理者等から各種操作を受け付ける入力部（例えば、キーボードやマウス等）や、各種情報を表示するための表示部（例えば、液晶ディスプレイ等）を有してもよい。

（通信部１１０）
通信部１１０は、例えば、ＮＩＣ（Network Interface Card）等によって実現される。そして、通信部１１０は、ネットワークと有線または無線で接続され、例えば生成システム１に含まれる端末装置との間で情報の送受信を行う。

（記憶部１２０）
記憶部１２０は、例えば、ＲＡＭ（Random Access Memory）、フラッシュメモリ（Flash Memory）等の半導体メモリ素子、または、ハードディスク、光ディスク等の記憶装置によって実現される。実施形態に係る記憶部１２０は、図３に示すように、学習情報記憶部１２１と、画像情報記憶部１２２とを有する。

（学習情報記憶部１２１）
実施形態に係る学習情報記憶部１２１は、学習に関する各種情報を記憶する。例えば、図４では、学習情報記憶部１２１は、所定の学習処理により生成された学習器ＬＥに関する学習情報（モデル）を記憶する。図４に、実施形態に係る学習情報記憶部１２１の一例を示す。図４に示す学習情報記憶部１２１は、「重み（ｗ_ｉｊ）」を記憶する。

例えば、図４に示す例において、「重み（ｗ_１１）」は「０．２」であり、「重み（ｗ_１２）」は「−０．３」であることを示す。また、図４に示す例において、「重み（ｗ_２１）」は「０．５」であり、「重み（ｗ_２２）」は「１．３」であることを示す。

なお、「重み（ｗ_ｉｊ）」は、例えば、学習器ＬＥにおけるニューロンｙ_ｉからニューロンｘ_ｊへのシナプス結合係数であってもよい。また、学習情報記憶部１２１は、上記に限らず、目的に応じて種々の情報を記憶してもよい。

（画像情報記憶部１２２）
実施形態に係る画像情報記憶部１２２は、画像に関する各種情報を記憶する。図５に、実施形態に係る画像情報記憶部１２２の一例を示す。図５に示す画像情報記憶部１２２は、「画像ＩＤ」、「画像」といった項目を有する。

「画像ＩＤ」は、画像を識別するための識別情報を示す。「画像」は、画像情報を示す。具体的には、「画像」は、クロッピングにより生成した画像を示す。図５では、説明のため画像ＩＤにより識別される画像を図示するが、「画像」としては、画像の格納場所を示すファイルパス名などが格納されてもよい。

なお、画像情報記憶部１２２は、上記に限らず、目的に応じて種々の情報を記憶してもよい。例えば、画像情報記憶部１２２は、画像を生成した日時に関する情報を記憶してもよい。また、例えば、画像情報記憶部１２２は、画像に含まれる対象に関する情報を記憶してもよい。図５では、画像ＩＤ「ＩＭ１２」により識別される画像には、親猿や小猿が含まれることを示す情報を記憶してもよい。また、例えば、画像情報記憶部１２２は、取得した元となる画像を記憶してもよい。

（制御部１３０）
図３の説明に戻って、制御部１３０は、コントローラ（controller）であり、例えば、ＣＰＵ（Central Processing Unit）やＭＰＵ（Micro Processing Unit）等によって、生成装置１００内部の記憶装置に記憶されている各種プログラム（生成プログラムの一例に相当）がＲＡＭを作業領域として実行されることにより実現される。また、制御部１３０は、コントローラ（controller）であり、例えば、ＡＳＩＣ（Application Specific Integrated Circuit）やＦＰＧＡ（Field Programmable Gate Array）等の集積回路により実現される。

図３に示すように、制御部１３０は、取得部１３１と、生成部１３２と、算出部１３３と、加工部１３４と、送信部１３５とを有し、以下に説明する情報処理の機能や作用を実現または実行する。なお、制御部１３０の内部構成は、図３に示した構成に限られず、後述する情報処理を行う構成であれば他の構成であってもよい。

（取得部１３１）
取得部１３１は、画像を取得する。例えば、取得部１３１は、外部の情報処理装置から画像を取得する。図１では、取得部１３１は、外部の情報処理装置から画像ＩＭ１０を取得する。なお、画像情報記憶部１２２に元となる画像（例えば、画像ＩＭ１０）が記憶される場合、取得部１３１は、画像情報記憶部１２２から画像（例えば、画像ＩＭ１０）を取得してもよい。また、取得部１３１は、中間画像ＭＭ１１〜ＭＭ１９を含む中間画像群ＭＧ１０を取得する。

また、例えば、取得部１３１は、畳み込み処理及びプーリング処理を行うニューラルネットワークの中間層における中間画像を取得する。例えば、図１の例では、取得部１３１は、中間画像群ＭＧ１０を学習器ＬＥの中間層Ｂから取得する。また、例えば、取得部１３１は、中間画像群ＭＧ１０を外部の情報処理装置から取得してもよい。

（生成部１３２）
生成部１３２は、取得部１３１により取得された中間画像を合成した合成画像を生成する。例えば、生成部１３２は、加工による対象物の数の認識率の変化に応じて重み付けした中間画像を合成した合成画像を生成する。例えば、生成部１３２は、上記式（５）を用いて、加工による対象物の数の認識率の変化に応じて重み付けした中間画像を合成した合成画像を生成する。図１では、生成部１３２は、中間画像群ＭＧ１０に含まれる中間画像ＭＭ１１〜ＭＭ１９を合成した合成画像ＣＭ１０を生成する。

例えば、生成部１３２は、画像中の対象物の数を認識するニューラルネットワークの中間層における中間画像群から、対象物の数の認識率向上に寄与する中間画像を抽出してもよい。例えば、生成部１３２は、画像に含まれる対象物の数を認識するニューラルネットワークの中間層における中間画像群から、対象物の数の認識率向上に寄与する中間画像を抽出する。また、例えば、生成部１３２は、畳み込み処理及びプーリング処理を行うニューラルネットワークの中間層における中間画像群から、対象物の数の認識率向上に寄与する中間画像を抽出する。例えば、生成部１３２は、ＣＮＮの中間層における中間画像群から、対象物の数の認識率向上に寄与する中間画像を抽出する。そして、生成部１３２は、抽出した中間画像を用いて合成画像を生成してもよい。

また、例えば、生成部１３２は、中間画像群に含まれる中間画像の各々への加工に応じた対象物の数の認識率の変化に基づいて、中間画像を抽出する。例えば、生成部１３２は、加工により対象物の数の認識率を向上させる中間画像を抽出する。例えば、生成部１３２は、加工により上記式（４）の左辺の値がマイナス値となった中間画像を抽出する。例えば、図１では、生成部１３２は、ＣＮＮの中間層における中間画像群ＭＧ１０から、対象物の数の認識率向上に寄与する中間画像ＭＭ１２、ＭＭ１４、ＭＭ１７、ＭＭ１８を抽出してもよい。そして、生成部１３２は、抽出した中間画像ＭＭ１２、ＭＭ１４、ＭＭ１７、ＭＭ１８を用いて、合成画像を生成してもよい。

例えば、生成部１３２は、加工により上記式（４）の左辺の値がプラス値となる中間画像を抽出してもよい。この場合、抽出された中間画像は、関数Ｌをより大きくする、すなわち、対象物の数の認識率に影響を与える中間画像と判定される。そこで、生成部１３２は、加工により上記式（４）の左辺の値がプラス値となった中間画像を抽出して、合成画像を生成してもよい。

また、生成部１３２は、加工により上記式（４）の左辺の値が所定の負の閾値以下のマイナス値となる中間画像と所定の正の閾値以上のプラス値となる中間画像との両方を抽出してもよい。すなわち、生成部１３２は、加工により上記式（４）の左辺の値に基づく変化量が所定の範囲外となる中間画像を抽出する。すなわち、生成部１３２は、加工により上記式（４）の左辺の値に基づく変化量が所定の範囲内となる、すなわち対象物の数の認識率に与える影響が小さい中間画像以外の中間画像を抽出する。これにより、生成部１３２は、対象物の数の認識率に与える影響が大きい中間画像を抽出する。また、この場合、生成部１３２は、所定の正規化を行うことにより、負の閾値以下のマイナス値となる中間画像と所定の正の閾値以上のプラス値となる中間画像との両方から合成画像を生成してもよい。

（算出部１３３）
算出部１３３は、各種情報を算出する。例えば、算出部１３３は、上記式（６）を用いて関心領域のスコアを算出する。図２では、算出部１３３は、補正画像ＣＭ１１において切取枠ＡＲ１０に含まれる領域の画素の特徴量を用いてスコアを算出する。例えば、算出部１３３は、切取枠ＡＲ１０のアスペクト比１：１を維持しつつ、切取枠ＡＲ１０のサイズを拡縮したり、位置を移動させたりすることにより、切取枠ＡＲ１０に含まれる領域を変動させて、各スコアを算出する。

図２の例では、算出部１３３は、補正画像ＣＭ１１のうち、切取枠ＡＲ１０のサイズや位置を変更した切取枠ＡＲ１１に含まれる関心領域ＣＭ１２のスコアを０．７と算出する。また、例えば、算出部１３３は、補正画像ＣＭ１１のうち、切取枠ＡＲ１０のサイズや位置を変更した切取枠ＡＲ１２に含まれる関心領域ＣＭ１３のスコアを０．５と算出する。また、例えば、算出部１３３は、補正画像ＣＭ１１のうち、切取枠ＡＲ１０のサイズや位置を変更した切取枠ＡＲ１３に含まれる関心領域ＣＭ１４のスコアを０．１と算出する。例えば、算出部１３３は、切取枠ＡＲ１０のサイズや位置を変動させる処理を繰り返すことにより、数多くのパターンの関心領域ごとのスコアを算出する。

（加工部１３４）
加工部１３４は、合成画像に基づいて画像を加工する。例えば、加工部１３４は、合成画像をリサイズした補正画像に基づいて画像を加工する。例えば、加工部１３４は、合成画像に基づいて、画像の一部を加工画像として取り出す。例えば、加工部１３４は、合成画像のアスペクト比を画像のアスペクト比に基づいて変更した補正画像を用いて、画像の一部を加工画像として取り出す。例えば、加工部１３４は、補正画像において所定の閾値以上である特徴量を含む領域に基づいて、画像から加工画像を取り出す（クロッピングする）。例えば、加工部１３４は、補正画像における特徴量により算出されるスコアに基づいて、画像から加工画像を取り出す。例えば、加工部１３４は、補正画像における所定の領域と、所定の領域に含まれる特徴量とにより算出されるスコアに基づいて、画像から加工画像を取り出す。

加工部１３４は、所定のアスペクト比により形成される所定の領域に基づいて、画像から加工画像を取り出す。図２の例では、加工部１３４は、アスペクト比１：１を満たすように画像ＩＭ１０をクロッピングする。具体的には、加工部１３４は、補正画像ＣＭ１１における所定の領域と、所定の領域に含まれる特徴量とにより算出されるスコアに基づいて、画像ＩＭ１０から加工画像を取り出す。例えば、加工部１３４は、変動させた各切取枠ＡＲ１０に含まれる領域のうち、スコアが最大となる領域をクロッピングする。

例えば、加工部１３４は、切取枠ＡＲ１１に対応する切取枠に含まれる画像ＩＭ１０における領域をクロッピングすることにより、画像ＩＭ１０から加工画像ＩＭ１２を生成する。例えば、加工部１３４は、画像ＩＭ１０と補正画像ＣＭ１１とを重畳させた場合に、画像ＩＭ１０において補正画像ＣＭ１１の関心領域ＣＭ１２に重なる領域をクロッピングすることにより、画像ＩＭ１０から加工画像ＩＭ１２を生成する。

（送信部１３５）
送信部１３５は、外部の情報処理装置へ各種情報を送信する。例えば、送信部１３５は、加工部１３４により生成された画像を外部の情報処理装置へ送信する。図１では、送信部１３５は、加工画像ＩＭ１２を送信する。また、送信部１３５は、生成装置１００がコンテンツを配信する場合、コンテンツを要求した端末装置等の外部装置へ加工画像ＩＭ１２を含むコンテンツを送信してもよい。

〔３．合成画像の生成処理のフロー〕
ここで、図６を用いて、実施形態に係る生成装置１００による合成画像の生成処理の手順について説明する。図６は、実施形態に係る合成画像の生成の一例を示すフローチャートである。

図６に示すように、生成装置１００は、画像を取得する（ステップＳ１０１）。図１では、生成装置１００は、画像ＩＭ１０を取得する。その後、生成装置１００は、ステップＳ１０１で取得した画像を学習器に入力する（ステップＳ１０２）。図１では、生成装置１００は、取得した画像ＩＭ１０を学習器ＬＥに入力する。

その後、生成装置１００は、入力した画像における中間層から中間画像を取得する（ステップＳ１０３）。図１では、生成装置１００は、画像ＩＭ１０を学習器ＬＥに入力した際に中間層Ｂにおける中間画像を取得する。例えば、生成装置１００は、画像ＩＭ１０を学習器ＬＥに入力した際に中間層Ｂにおける中間画像ＭＭ１１〜ＭＭ１９を取得する。

その後、生成装置１００は、取得した中間画像の合成により、合成画像を生成する（ステップＳ１０４）。図１では、生成装置１００は、中間画像群ＭＧ１０に含まれる中間画像ＭＭ１１〜ＭＭ１９を合成することにより、合成画像ＣＭ１０を生成する。例えば、生成装置１００は、上記式（５）を用いて、中間画像ＭＭ１１〜ＭＭ１９を合成した合成画像ＣＭ１０を生成してもよい。

〔４．合成画像を用いた画像加工処理のフロー〕
次に、図７を用いて、実施形態に係る生成装置１００による合成画像を用いた画像の加工処理の手順について説明する。図７は、実施形態に係る画像の加工の一例を示すフローチャートである。

図７に示すように、生成装置１００は、アスペクト比を取得する（ステップＳ２０１）。図２では、生成装置１００は、アスペクト比「１：１」を取得する。

その後、生成装置１００は、合成画像を補正した補正画像を生成する（ステップＳ２０２）。図２では、生成装置１００は、合成画像ＣＭ１０をリサイズすることにより補正画像ＣＭ１１を生成する。

その後、生成装置１００は、取得したアスペクト比を満たす補正画像における各領域のスコアを算出する（ステップＳ２０３）。例えば、生成装置１００は、切取枠ＡＲ１０のアスペクト比１：１を維持しつつ、切取枠ＡＲ１０のサイズを拡縮したり、位置を移動させたりすることにより、切取枠ＡＲ１０に含まれる領域（関心領域）を変動させて、各スコアを算出する。例えば、生成装置１００は、上記式（６）を用いて各関心領域のスコアを算出する。

その後、生成装置１００は、スコアが最大となる領域を特定する（ステップＳ２０４）。例えば、生成装置１００は、上記式（６）を用いて算出したスコアにより、画像ＩＭ１０をクロッピングする領域を特定する。

その後、生成装置１００は、特定した領域に基づいて画像を加工する（ステップＳ２０５）。例えば、生成装置１００は、変動させた各切取枠ＡＲ１０に含まれる領域のうち、スコアが最大となる領域を特定し、特定した領域に基づいて画像をクロッピングする。例えば、生成装置１００は、切取枠ＡＲ１１に対応する切取枠に含まれる画像ＩＭ１０における領域をクロッピングすることにより、画像ＩＭ１０から加工画像ＩＭ１２を生成する。

〔５．画像の表示例〕
次に、図８を用いて、生成装置１００により生成された加工画像ＩＭ１２の表示例を示す。図８は、実施形態に係る端末装置における加工画像の表示例を示す図である。

図８に示す端末装置１０には、所定のコンテンツ配信装置から配信されたコンテンツＣＴ１１〜ＣＴ１４が表示される。なお、生成装置１００がコンテンツを配信する場合、コンテンツＣＴ１１〜ＣＴ１４は生成装置１００から端末装置１０へ送信されてもよい。

図８に示す例においては、コンテンツＣＴ１４の画像には加工画像ＩＭ１２が用いられる。このように、加工画像ＩＭ１２は、端末装置１０においてスクロール方向に並べて表示されるコンテンツの画像として用いられてもよい。このように、生成装置１００により生成された加工画像ＩＭ１２は、スマートフォン等の種々の端末装置１０において表示される。生成装置１００は、端末装置１０の種別を問わず、適切な加工画像ＩＭ１２を生成することができる。

〔６．アスペクト比に応じた生成〕
上述した例では、画像中においてクロッピングする領域のアスペクト比が「１：１」に指定された場合を例に説明したが、アスペクト比は「１：１」に限らず、種々のアスペクト比であってもよい。この点について図９を用いて説明する。図９は、実施形態に係るアスペクト比に基づく加工画像の生成例を示す図である。

図９の例では、生成装置１００は、アスペクト比が「１：１」に指定された場合、画像ＩＭ１０をクロッピングすることにより、アスペクト比が「１：１」である加工画像ＩＭ１２を生成する。なお、生成装置１００は、加工画像ＩＭ１２を生成する処理を、図２と同様に各関心領域のスコアに基づいて行う。

また、図９の例では、生成装置１００は、アスペクト比が「２：１」に指定された場合、画像ＩＭ１０をクロッピングすることにより、アスペクト比が「２：１」である加工画像ＩＭ１３を生成する。なお、生成装置１００は、加工画像ＩＭ１３を生成する処理を、図２と同様に各関心領域のスコアに基づいて行う。例えば、図９の例では、加工画像ＩＭ１３が、コンテンツＣＴ１５の画像に用いられる。このように、加工画像ＩＭ１３は、端末装置１０においてスクロール方向に並べて表示されるコンテンツの画像として用いられてもよい。

また、図９の例では、生成装置１００は、アスペクト比が「４：３」に指定された場合、画像ＩＭ１０をクロッピングすることにより、アスペクト比が「４：３」である加工画像ＩＭ１４を生成する。なお、生成装置１００は、加工画像ＩＭ１４を生成する処理を、図２と同様に各関心領域のスコアに基づいて行う。また、図示することは省略するが、加工画像ＩＭ１４は、端末装置１０においてスクロール方向に並べて表示されるコンテンツの画像として用いられてもよい。このように、生成装置１００は、指定されたアスペクト比に応じて、画像ＩＭ１０から種々のアスペクト比に対応した加工画像を生成することができる。

〔７．効果〕
上述してきたように、実施形態に係る生成装置１００は、取得部１３１と、生成部１３２とを有する。取得部１３１は、画像中の対象物の数を認識するニューラルネットワークの中間層における中間画像を取得する。生成部１３２は、取得部１３１により抽出された中間画像を合成した合成画像を生成する。

これにより、実施形態に係る生成装置１００は、ニューラルネットワークの中間層における中間画像を取得する。そし生成装置１００は、取得した中間画像を合成することにより、合成画像を生成する。すなわち、生成装置１００は、対象物の数を認識する中間画像を用いて適切に合成画像を生成する。このように、生成装置１００は、ニューラルネットワークにおける情報から画像を適切に認識するために用いる情報を生成することができる。

また、実施形態に係る生成装置１００において、生成部１３２は、中間画像の各々への加工に応じた対象物の数の認識の変化に基づいて、重み付けした中間画像を合成した合成画像を生成する。

これにより、実施形態に係る生成装置１００は、加工による対象物の数の認識率の変化に応じて重み付けすることにより、ニューラルネットワークの中間層における中間画像を用いて適切に合成画像を生成することができる。

また、実施形態に係る生成装置１００は、加工部１３４を有する。加工部１３４は、生成部１３２により生成された合成画像に基づいて、画像を加工する。

これにより、実施形態に係る生成装置１００は、合成画像に基づいて適切に画像を加工することができる。

また、実施形態に係る生成装置１００において、加工部１３４は、合成画像に基づいて、画像の一部を加工画像として取り出す。

これにより、実施形態に係る生成装置１００は、合成画像に基づいて適切に画像から領域を取り出す（クロッピングする）ことができる。

また、実施形態に係る生成装置１００において、加工部１３４は、合成画像のアスペクト比を画像のアスペクト比に基づいて変更した補正画像を用いて、画像の一部を加工画像として取り出す。

これにより、実施形態に係る生成装置１００は、補正画像に基づいて適切に画像から領域を取り出す（クロッピングする）ことができる。

また、実施形態に係る生成装置１００において、加工部１３４は、補正画像における特徴量に基づいて、画像から加工画像を取り出す。

これにより、実施形態に係る生成装置１００は、補正画像に含まれる領域の特徴量に基づいて適切に画像から領域を取り出す（クロッピングする）ことができる。

また、実施形態に係る生成装置１００において、加工部１３４は、補正画像における特徴量により算出されるスコアに基づいて、画像から加工画像を取り出す。

これにより、実施形態に係る生成装置１００は、補正画像に含まれる領域の特徴量により算出されるスコアに基づいて適切に画像から領域を取り出す（クロッピングする）ことができる。

また、実施形態に係る生成装置１００において、加工部１３４は、補正画像における所定の領域と、所定の領域に含まれる特徴量とにより算出されるスコアに基づいて、画像から加工画像を取り出す。

これにより、実施形態に係る生成装置１００は、補正画像に含まれる所定の領域の特徴量により算出されるスコアに基づいて適切に画像から領域を取り出す（クロッピングする）ことができる。

また、実施形態に係る生成装置１００において、加工部１３４は、所定のアスペクト比により形成される所定の領域に基づいて、画像から加工画像を取り出す。

これにより、実施形態に係る生成装置１００は、所定のアスペクト比により形成される所定の領域の特徴量により算出されるスコアに基づいて適切に画像から領域を取り出す（クロッピングする）ことができる。

また、実施形態に係る生成装置１００において、取得部１３１は、畳み込み処理及びプーリング処理を行うニューラルネットワークの中間層における中間画像を取得する。

これにより、実施形態に係る生成装置１００は、畳み込みニューラルネットワーク（ＣＮＮ）の中間層における中間画像を取得する。したがって、生成装置１００は、ニューラルネットワーク（ＣＮＮ）の中間層における中間画像を用いて適切に合成画像を生成することができる。

〔８．ハードウェア構成〕
上述してきた実施形態に係る生成装置１００は、例えば図１０に示すような構成のコンピュータ１０００によって実現される。図１０は、生成装置の機能を実現するコンピュータの一例を示すハードウェア構成図である。コンピュータ１０００は、ＣＰＵ１１００、ＲＡＭ１２００、ＲＯＭ１３００、ＨＤＤ１４００、通信インターフェイス（Ｉ／Ｆ）１５００、入出力インターフェイス（Ｉ／Ｆ）１６００、及びメディアインターフェイス（Ｉ／Ｆ）１７００を有する。

ＣＰＵ１１００は、ＲＯＭ１３００またはＨＤＤ１４００に格納されたプログラムに基づいて動作し、各部の制御を行う。ＲＯＭ１３００は、コンピュータ１０００の起動時にＣＰＵ１１００によって実行されるブートプログラムや、コンピュータ１０００のハードウェアに依存するプログラム等を格納する。

ＨＤＤ１４００は、ＣＰＵ１１００によって実行されるプログラム、及び、かかるプログラムによって使用されるデータ等を格納する。通信インターフェイス１５００は、ネットワークＮを介して他の機器からデータを受信してＣＰＵ１１００へ送り、ＣＰＵ１１００が生成したデータをネットワークＮを介して他の機器へ送信する。

ＣＰＵ１１００は、入出力インターフェイス１６００を介して、ディスプレイやプリンタ等の出力装置、及び、キーボードやマウス等の入力装置を制御する。ＣＰＵ１１００は、入出力インターフェイス１６００を介して、入力装置からデータを取得する。また、ＣＰＵ１１００は、生成したデータを入出力インターフェイス１６００を介して出力装置へ出力する。

メディアインターフェイス１７００は、記録媒体１８００に格納されたプログラムまたはデータを読み取り、ＲＡＭ１２００を介してＣＰＵ１１００に提供する。ＣＰＵ１１００は、かかるプログラムを、メディアインターフェイス１７００を介して記録媒体１８００からＲＡＭ１２００上にロードし、ロードしたプログラムを実行する。記録媒体１８００は、例えばＤＶＤ（Digital Versatile Disc）、ＰＤ（Phase change rewritable Disk）等の光学記録媒体、ＭＯ（Magneto-Optical disk）等の光磁気記録媒体、テープ媒体、磁気記録媒体、または半導体メモリ等である。

例えば、コンピュータ１０００が実施形態に係る生成装置１００として機能する場合、コンピュータ１０００のＣＰＵ１１００は、ＲＡＭ１２００上にロードされたプログラムを実行することにより、制御部１３０の機能を実現する。コンピュータ１０００のＣＰＵ１１００は、これらのプログラムを記録媒体１８００から読み取って実行するが、他の例として、他の装置からネットワークＮを介してこれらのプログラムを取得してもよい。

以上、本願の実施形態を図面に基づいて詳細に説明したが、これらは例示であり、発明の開示の行に記載の態様を始めとして、当業者の知識に基づいて種々の変形、改良を施した他の形態で本発明を実施することが可能である。

〔９．その他〕
また、上記実施形態において説明した各処理のうち、自動的に行われるものとして説明した処理の全部または一部を手動的に行うこともでき、あるいは、手動的に行われるものとして説明した処理の全部または一部を公知の方法で自動的に行うこともできる。この他、上記文書中や図面中で示した処理手順、具体的名称、各種のデータやパラメータを含む情報については、特記する場合を除いて任意に変更することができる。例えば、各図に示した各種情報は、図示した情報に限られない。

また、図示した各装置の各構成要素は機能概念的なものであり、必ずしも物理的に図示の如く構成されていることを要しない。すなわち、各装置の分散・統合の具体的形態は図示のものに限られず、その全部または一部を、各種の負荷や使用状況などに応じて、任意の単位で機能的または物理的に分散・統合して構成することができる。

また、上述してきた実施形態は、処理内容を矛盾させない範囲で適宜組み合わせることが可能である。

また、上述してきた「部（section、module、unit）」は、「手段」や「回路」などに読み替えることができる。例えば、取得部は、取得手段や取得回路に読み替えることができる。

１００生成装置
１２１学習情報記憶部
１２２画像情報記憶部
１３０制御部
１３１取得部
１３２生成部
１３３算出部
１３４加工部
１３５送信部

Claims

画像中の対象物の数を認識するニューラルネットワークの中間層における中間画像を取得する取得部と、
前記取得部により取得された前記中間画像を合成した合成画像を生成する生成部と、
を備えることを特徴とする生成装置。
前記生成部は、
前記中間画像の各々への加工に応じた前記対象物の数の認識の変化に基づいて、重み付けした前記中間画像を合成した合成画像を生成する
ことを特徴とする請求項１に記載の生成装置。
前記生成部により生成された前記合成画像に基づいて、前記画像を加工する加工部、
をさらに備えることを特徴とする請求項１または請求項２に記載の生成装置。
前記加工部は、
前記合成画像に基づいて、前記画像の一部を加工画像として取り出す
ことを特徴とする請求項３に記載の生成装置。
前記加工部は、
前記合成画像のアスペクト比を前記画像のアスペクト比に基づいて変更した補正画像を用いて、前記画像の一部を加工画像として取り出す
ことを特徴とする請求項４に記載の生成装置。
前記加工部は、
前記補正画像における特徴量に基づいて、前記画像から前記加工画像を取り出す
ことを特徴とする請求項５に記載の生成装置。
前記加工部は、
前記補正画像における特徴量により算出されるスコアに基づいて、前記画像から前記加工画像を取り出す
ことを特徴とする請求項６に記載の生成装置。
前記加工部は、
前記補正画像における所定の領域と、前記所定の領域に含まれる特徴量とにより算出されるスコアに基づいて、前記画像から前記加工画像を取り出す
ことを特徴とする請求項７に記載の生成装置。
前記加工部は、
所定のアスペクト比により形成される前記所定の領域に基づいて、前記画像から前記加工画像を取り出す
ことを特徴とする請求項８に記載の生成装置。
前記取得部は、
畳み込み処理及びプーリング処理を行うニューラルネットワークの中間層における中間画像を取得する
ことを特徴とする請求項１〜９のいずれか１項に記載の生成装置。
コンピュータが実行する生成方法であって、
画像中の対象物の数を認識するニューラルネットワークの中間層における中間画像を取得する取得工程と、
前記取得工程により取得された前記中間画像を合成した合成画像を生成する生成工程と、
を含むことを特徴とする生成方法。
画像中の対象物の数を認識するニューラルネットワークの中間層における中間画像を取得する取得手順と、
前記取得手順により取得された前記中間画像を合成した合成画像を生成する生成手順と、
をコンピュータに実行させることを特徴とする生成プログラム。