JP2020013427A - 説明文章生成装置、対象情報表現システム、及び説明文章生成方法 - Google Patents

Abstract

【課題】 現実空間にいて画像を見ていない者が当該注目対象を容易に特定できる説明文章を生成する。【解決手段】 説明文章生成装置３０であって、画像９０の全体から全体特徴量ｖｇを抽出する全体特徴量抽出部３３と、画像９０から顕著性マップ９５を抽出する顕著性マップ抽出部３４と、画像９０における注目対象９１を含む注目領域９２から部分特徴量ｖｌを抽出する部分特徴量抽出部３１と、注目領域９２に近いほど重い重みを生成する重み生成部３２と、単語列の最後の単語ｘｔに基づいて、次単語の第１特徴量ｈｔを出力するとともに、次単語を求めるために画像９０を参照する度合いを示すパラメータＳｔを出力するＲＮＮ部３５１と、全体特徴量ｖｇ、部分特徴量ｖｌ、パラメータＳｔ、重み９４、顕著性マップ９５、及び第１特徴量ｈｔに基づいて、次単語の第２特徴量ｃｔを出力するアテンションネットワーク部３５２と、第１特徴量ｈｔと第２特徴量ｃｔとを合成することで、次単語の合成特徴量ｙｔを得る合成部３５３とを備えている。【選択図】 図１

Description

本発明は、画像中の特定の対象を説明する説明文章を生成する説明文章生成装置、それを用いた対象情報表現システム、及び説明文章生成方法に関する。

車載カメラを用いた危険歩行者の注意喚起や監視カメラによる不審者監視等、画像に基づいて所定の事態を検知するシステムでは、検知した事態をいかにしてユーザ（ドライバー、警備員等）に伝えるかが課題となる。特に、車載カメラや監視カメラの場合は、検知した事態の対象が現実空間のどこにどのような状態で存在するかを伝えることで初めてユーザがそれに伴った行動をとることができる。

車載カメラを用いた危険歩行者の注意喚起の場合、ヘッドアップディスプレイ（ＨＵＤ）を用いて、画像において危険と判断された歩行者上に枠を出す手法が提案されている。しかしながら、ＨＵＤでは、ドライバの視界を奪ってしまうというデメリットがある。したがって、ドライバの視界を奪わず、分かりやすい形で対象を特定する情報をドライバに伝える手段が望まれる。

また、監視カメラを用いた監視システムによる不審者監視では、多くの場合、監視カメラで不審者を発見した場合に、現場で不審者に対応する人（駅員ないし警備員）に当該不審者の情報を適切に伝える必要がある。例えば、駅のホームに設置された監視カメラで不審者（ふらついている酔っ払いなど）を見つけた場合には、監視カメラの監視員ないし監視システムから、現場のホームに向かう警備員に「〜〜の近くにいる男性が酔っぱらっている」等の対象者を一意に識別する説明を無線等で連絡することになる。この口頭による説明においてどのような説明文章で伝えるかはその説明を行う人に依存しており、自動的に明確な説明で伝える手法は提案されていない。

高度運転支援システムや監視システムでは、物体認識技術が用いられる（例えば、特許文献１）。しかし、これらの技術では、物体や歩行者の種類分類と、その位置を特定するにすぎず、利用者に特定の物体や歩行者を伝える手段としては、画像上で枠を囲う等、画像用いるものであり、特定の物体や歩行者を伝えるために運転手の視界を奪うことになってしまう。

車の運転時等、運転手の視界を奪わず情報を通知する手段として、音声によるナビゲーションシステムが存在する（例えば、特許文献２）。しかし、このようなナビゲーションシステムでは、ＧＰＳで得た現在位置情報と既に準備されたＤＢとを照合しているにすぎず、道路にいる歩行者のように、その位置が時々刻々と変化する対象の情報を伝えることはできない。

また、歩行者認識を行って、危険な歩行者が認識された場合、その歩行者に対して危険である旨の通知を行うシステムも提案されている（例えば、特許文献３）。しかしながら、このシステムでは、あくまで歩行者への通知しか行わず、危険と判断された歩行者をドライバに伝えるものではない。また、このシステムを実現するために、車と歩行者が対になるデバイスを保持している必要がある。

さらに、運転の操作情報等を用いて、交通イベント（急ブレーキなど）を複数抽出し、イベント間を結合して文脈記述を生成することによって現在の状況を文章でドライバに伝えるシステムも知られている（例えば、特許文献４）。しかし、このシステムでは、事象を説明することが主目的であり、歩行者を同定するものではない。また、このシステムでは、生成される記述のパターンも限定されている。

また、監視システムとしては、監視カメラの映像を用いて不審者を特定し、自動的に継続監視を行うシステムがある（例えば、特許文献５）。しかし、その監視映像を見ていない人には、特定された不審者がどのような人か分からず、その不審者の元へ警察官などが駆けつける際、その情報の伝達は監視映像を見ている人の表現能力に委ねられるという問題点があった。

特開２０１３−１０９４５７号公報 特開２０１０−２５６１０６号公報 特開２００２−２４５５９５号公報 特開２０１５−２３０６９４号公報 特開２００７−６８１９５号公報

Ruotian Luo and Gregory Shakhnarovich: Comprehension-guided referring expressions, arXiv:1701.03439v1 [cs.CV] 12 Jan 2017 Junhua Mao, Jonathan Huang, Alexander Toshev, Oana Camburu, Alan Yuille, and Kevin Murphy: Generation and Comprehension of Unambiguous Object Descriptions, arXiv:1511.02283v3 [cs.CV] 11 Apr 2016

画像中の特定の対象を説明する説明文章を生成する説明文章生成装置が知られている。この装置では、画像中の対象となる人物や物体を、他の人物や物体と判別できるような説明文章を生成する（例えば、非特許文献１及び非特許文献２）。しかし、この装置で生成される説明文章は、あくまでも画像において対象が存在する領域を説明するための文章であり、例えば、「画像の一番左の人」等の説明文章が生成されることもある。この説明文章の場合、画像そのものを見ることができない車のドライバや監視カメラの映像を見ていない警備員等が説明文章に基づいて現実空間で対象を特定するのには向いていない。

本発明は、上記背景に鑑みてなされたものであり、画像中の注目対象を説明する説明文章を生成する説明文章生成装置において、現実空間にいて画像を見ていない者が注目対象を容易に特定できる説明文章を生成することを目的とする。

本発明の一態様の説明文章生成装置は、画像（９０）中の注目対象（９１）を説明する単語列からなる説明文章を生成する説明文章生成装置（３０）であって、前記画像の全体から全体特徴量（ｖｇ）を抽出する全体特徴量抽出部（３３）と、前記画像の顕著性度合いを示す顕著性マップ（９５）を抽出する顕著性マップ抽出部（３４）と、前記画像における前記注目対象を含む注目領域（９２）から部分特徴量（ｖｌ）を抽出する部分特徴量抽出部（３１）と、前記注目領域に近いほど重い重みを生成する重み生成部（３２）と、既に出力された単語列の最後の単語（ｘｔ）に基づいて、当該最後の単語に続く次単語の第１特徴量（ｈｔ）を出力するとともに、前記次単語を求めるために前記画像を参照する度合いを示すパラメータ（Ｓｔ）を出力するＲＮＮ部（３５１）と、前記全体特徴量と、前記部分特徴量と、前記第２特徴量と、前記重みと、前記顕著性マップと、前記第１特徴量とに基づいて、前記次単語の第２特徴量（ｃｔ）を出力するアテンションネットワーク部（３５２）と、前記第１特徴量と前記第２特徴量とを合成することで、前記次単語の合成特徴量（ｙｔ）を得る合成部（３５３）とを備えている。

この構成により、画像中の注目対象について、その周辺の顕著な物体や人物を交えた単語列で分かり易く当該特定の対象を説明する説明文章を作成できる。

本発明の一態様の対象情報表現システムは、撮影によって前記画像を取得するカメラ（１０）と、前記画像から前記注目対象を検出して、前記注目領域を特定する注目領域特定装置（２０）と、上記の説明文章生成装置（３０）と、前記説明文章生成装置（３０）で生成された前記説明文章を出力する説明文章出力装置（４０）とを備えている。

本発明の一態様の対象情報表現方法は、画像（９０）中の注目対象を説明する単語列からなる説明文章を生成する対象情報表現方法であって、前記画像の全体から全体特徴量（Ｖｇ）を抽出する全体特徴量抽出ステップと、前記画像の顕著性度合いを示す顕著性マップ（９５）を抽出する顕著性マップ抽出ステップと、前記画像における前記注目対象を含む注目領域（９２）から部分特徴量（ｖｌ）を抽出する部分特徴量抽出ステップと、前記注目領域（９２）に近いほど重い重みを生成する重み生成ステップと、既に出力された単語列の最後の単語に基づいて、当該最後の単語に続く次単語の第１特徴量（ｈｔ）を出力するとともに、前記次単語を求めるために前記画像を参照する度合いを示すパラメータ（Ｓｔ）を出力するＲＮＮ演算ステップと、前記全体特徴量（ｖｇ）と、前記部分特徴量（ｖｌ）と、前記パラメータ（Ｓｔ）と、前記重み（９４）と、前記顕著性マップ（９５）と、前記第１特徴量（ｈｔ）とに基づいて、前記次単語の第２特徴量（ｃｔ）を出力するアテンション演算ステップと、前記第１特徴量（ｈｔ）と前記第２特徴量（ｃｔ）とを合成することで、前記次単語の合成特徴量（ｙｔ）を得る合成ステップとを備え、前記合成特徴量に基づいて決定した前記次単語を前記最後の単語として、前記ＲＮＮ演算ステップ、前記アテンション演算ステップ、及び前記合成ステップを繰り返すことで、１単語ずつ前記説明文章を構成する。

図１は、対象情報表現システムの構成を示すブロック図である。 図２は、カメラの撮影によって得られた画像の例を示す図である。 図３は、画像から特定された注目領域を示す図である。 図４は、注目領域の画像を示す図である。 図５は、注目領域の特徴量抽出を説明する図である。 図６は、重みを可視化した図である。 図７は、全体画像の特徴量抽出を説明する図である。 図８は、顕著性マップを可視化した図である。 図９は、説明文章生成部の構成を示すブロック図である。 図１０は、アテンションネットワーク部の構成を示す図である。 図１１は、説明文章の選択を説明する図である。 図１２は、対象情報表現システムを車両の予防安全システムに応用した例を示す図である。 図１３は、対象情報表現システムを車両の予防安全システムに応用した例の予防安全方法のフロー図である。 図１４は、対象情報表現システムを駅の監視システムに応用した例を示す図である。

以下、本発明に係る説明文章生成装置、対象情報表現方法、及び対象情報表現方プログラムの実施の形態について図面を参照しながら説明する。図１は、対象情報表現システムの構成を示すブロック図である。図１に示すように、対象情報表現システム１００は、カメラ１０と、注目領域特定装置２０と、説明文章生成装置３０と、説明文章出力装置４０とを備えている。

図２は、カメラの撮影によって得られた画像の例を示す図である。カメラ１０は、現実空間を撮影して画像を生成する。この例において、画像９０は、街頭を撮影して得られたものである。

図３は、画像から特定された注目領域を示す図であり、図４は、注目領域の画像を示す図である。注目領域特定装置２０は、カメラ１０の撮影によって得られた画像９０を取得して、画像９０から注目対象９１を検出し、注目対象９１を含む注目領域９２を特定する。

注目領域特定装置２０は、目的に応じて既存の任意の方法によって注目対象９１を検出し、注目領域を特定する。この例では、注目対象９１は横断歩道を渡ろうとしている金髪の女性である。注目領域９２は、注目対象９１を含む矩形の領域として特定される。以下では、注目領域９２の画像を部分画像９３といい、画像９０を全体画像ともいう。

説明文章生成装置３０は、注目領域特定装置２０で検出された注目対象９１を表現するための複数の単語の列からなる説明文章を生成する。説明文章生成装置３０は、部分特徴量抽出部３１と、重み生成部３２と、全体特徴量抽出部３３と、顕著性マップ抽出部３４と、説明文章生成部３５と、説明文章選択部３６とを備えている。

図５は、注目領域の特徴量抽出を説明する図である。部分特徴量抽出部３１は、注目領域特定装置２０から注目領域の部分画像を受けて、注目領域９２を複数の部分領域（「バウンディングボックス」ともいう。）に分けて、各部分領域について部分特徴量ｖｌを抽出する。本実施の形態では、部分特徴量抽出部３１は、部分画像９３を横２縦４の８部分領域に分割し、各部分領域について、部分特徴量ｖｌとして２０４８次元の特徴量ベクトルを抽出する。

また、本実施の形態では、部分特徴量抽出部３１は、ＲｅｓＮｅｔ（K. He, X. Zhang, S. Ren, and J. Sun. Deep residual learning for image recognition. In Proceedings of CVPR, pages 770-778, 2016. arxiv.org/abs/1512.03385.を参照）を利用して各部分領域の部分特徴量ｖｌを抽出する。なお、特徴量抽出の手法は、各部分領域の特徴量ベクトルを抽出できるものであればよく、例えば、ニューラルネットワークやＨｏＧによって特徴量を抽出してもよい。また、分割部分領域数や各部分領域の特徴ベクトルの次元等のパラメータは任意に変更可能である。

図６は、重みを可視化した図である。重み生成部３２は、各画素について重み９４を設定する。具体的には、重み生成部３２は、注目領域特定装置２０から注目領域９２の大きさおよび全体画像における位置の情報を取得して、注目領域９２を中心とするガウス分布によって重み９４を生成する。すなわち、重み生成部３２は、注目領域９２に近いほど重みが重くなるように重み９４を生成する。重み生成部３２は、部分領域ごとに各画素の重みの平均をとることで、部分領域ごとの重みを求める。なお、重み生成部３２は、部分領域中の画素の重みの最大値あるいは中央値を当該部分領域の重みとする等の手法で部分領域ごとの重みを求めてもよい。

図７は、全体画像の特徴量抽出を説明する図である。全体特徴量抽出部３３は、カメラ１０から全体画像９０を受けて、全体画像９０を複数の部分領域に分けて、各部分領域について全体特徴量ｖｇを抽出する。本実施の形態では、全体特徴量抽出部３３は、全体画像９０を横８縦４の３２部分領域に分割し、各部分領域について、全体特徴量ｖｇとして２０４８次元の特徴量ベクトルを抽出する。ここで、全体画像９０の各部分領域から抽出される特徴ベクトルの次元数と、部分画像９３の各部分領域から抽出される特徴ベクトルの次元数とは同じである。

また、本実施の形態では、全体特徴量抽出部３３は、ＲｅｓＮｅｔを利用して各部分領域の全体特徴量ｖｇを抽出する。なお、特徴量抽出の手法は、各部分領域の特徴量ベクトルを抽出できるものであればよく、例えば、ニューラルネットワークやＨｏＧによって特徴量を抽出してもよい。また、分割部分領域数や各部分領域の特徴ベクトルの次元等のパラメータは任意に変更可能である。ただし、上述のように、全体画像９０の各部分領域から抽出される特徴ベクトルの次元数と、部分画像９３の各部分領域から抽出される特徴ベクトルの次元数は同一とする。

図８は、顕著性マップを可視化した図である。顕著性マップ生成部３４は、カメラ１０から全体画像９０を取得して、全体画像９０に対して既存の画像処理やニューラルネットワーク等の手法を用いて、画像中の各画素の顕著性度合いを計算する。本実施の形態では、顕著性マップ生成部３４は、Ｉｔｔｉらの手法（L. Itti, C. Koch, E. Niebur, A Model of Saliency-Based Visual Attention for Rapid Scene Analysis, IEEE Transactions on Pattern Analysis and Machine Intelligence, Vol. 20, No. 11, pp. 1254-1259, Nov 1998.を参照）を用いて顕著性マップ９５を生成する。

顕著性マップ９５は、画素ごとの顕著性度合いを示す係数として生成され、例えば、明るい部分や赤い部分等の人の目につきやすい部分の顕著性が高くなるように生成される。顕著性マップ生成部３４は、部分領域ごとに各画素の顕著性度合いの平均を取ることで、部分領域ごとに顕著性度合いの係数を求める。さらに係数を二値化し、顕著であると判定された部分領域のみを考慮するようにしてもよい。なお、顕著性マップ生成部３４は、部分領域中の画素の顕著性度合いの最大値あるいは中央値を採用することで部分領域ごとの顕著性度合いの係数を求めてもよい。

図１に戻って、部分特徴量抽出部３１、重み生成部３２、全体特徴量抽出部３３、及び顕著性マップ生成部３４は、それぞれ、抽出ないし生成した部分画像の部分特徴量ｖｌ、重み９４、全体画像の全体特徴量ｖｇ、及び顕著性マップ９５を説明文章生成部３５に出力する。説明文章生成部３５はこれらの情報を用いて、対象９２を説明する説明文章を生成する。

図９は、説明文章生成部の構成を示すブロック図である。説明文章生成部３５は、再帰性ニューラルネットワーク部（以下、「ＲＮＮ部」という。）３５１と、アテンションネットワーク部３５２と、合成部３５３とを備えている。説明文章生成部３５で生成される説明文章は、複数の単語の列からなる。図９に示すように、説明文章生成部３５は、ＲＮＮ部３５１、アテンションネットワーク部３５２、合成部３５３の順で処理が行われるが、これらの処理は説明文章中の１単語を生成するごとに行われる。よって、生成される単語数分だけ処理が繰り返される。

ＲＮＮ部３５１は、対象言語（例えば、英語、日本語、中国語等）の文法情報を学習している。ＲＮＮ部３５１には、それまでに生成された単語列の最後の単語ｘｔが入力され、文法的に見た場合に次に続くべき単語（以下、「次単語」ともいう。）の特徴量Ｓｔ、ｈｔを出力する。ここで、特徴量Ｓｔは、次単語を求めるために画像の情報を参照する度合いを示すパラメータである。

また、特徴量ｈｔは、次単語の候補のスコアである。例えば、次単語の候補として、ｂｕｓ、ｃａｒ、ｐｅｒｓｏｎ、・・・がある場合に、特徴量ｈｔは（ｂｕｓ：０．５１，ｃａｒ：０，２４，ｐｅｒｓｏｎ：０．０１，・・・）のような次単語の候補のスコアを要素とするベクトルで表現される。なお、特徴量Ｓｔと特徴量ｈｔとは同じ次元及び同じ値であってもよい。ただし、特徴量Ｓｔは、画像の全体特徴量ｖｇ及び部分特徴量ｖｌと同じ次元である。

ＲＮＮ部３５１から出力される特徴量Ｓｔ、ｈｔは、アテンションネットワーク部３５２に入力される。また、アテンションネットワーク部３５２には、部分特徴量抽出部３１、重み生成部３２、全体特徴量抽出部３３、及び顕著性マップ生成部３４からそれぞれ部分画像の部分特徴量ｖｌ、重み９４、全体画像の全体特徴量ｖｇ、及び顕著性マップ９５が入力される。

図１０は、アテンションネットワーク部の構成を示す図である。アテンションネットワーク部３５２は、ＲＮＮ部３５１から入力された特徴量Ｓｔと、部分特徴量抽出部３１から入力された部分特徴量ｖｌと、全体特徴量抽出部３３から入力された全体特徴量ｖｇとを並列に並べてニューラルネットワークを用いて各部分領域の注目スコアを計算する。なお、演算手法はニューラルネットワークには限らない。

このとき、全体画像の全体特徴量ｖｇについては、重み９４及び顕著性マップ９５でフィルタリング（即ち、重み付け）を行う。上述のように、重み９４は注目領域９２に近いほど重み係数が大きく、顕著性マップ９５は顕著な部分領域ほど顕著性度合いの係数が大きいので、注目対象９１の近くであって、かつ、顕著な物体に注目することができる。

図９に戻って、合成部３５３は、アテンションネットワークの出力ｃｔと、ＲＮＮ部３５１の出力ｈｔとを合成して、各単語のスコアｙｔを出力する。すなわち、合成部３５３の出力ｙｔも、例えば（ｂｕｓ：０．７６，ｃａｒ：０．１８，ｐｅｒｓｏｎ：０．０２，・・・）のような次単語の候補のスコアを要素とするベクトルで表現される。

説明文章生成部３５は、合成部３５３で得られた次単語の候補のスコアに基づいて、次単語を決定する。決定された次単語は、それまでに決定された単語列の最後の単語として、ＲＮＮ部３５１に入力され、ＲＮＮ部３５１、アテンションネットワーク部３５２、及び合成部３５３にて上記の処理が行われる。説明文章生成部３５は、これを説明文章の最後の単語に至るまで繰り返すことにより、説明文章を生成する。

説明文章生成部３５の上記の構成により、画像中の注目領域９２の情報とＲＮＮ部３５１における文法情報の両方を加味したうえで単語スコアｙｔを出力できる。また、アテンションネットワーク部３５２では、注目領域９２の位置（即ち座標）に基づく重み９４と顕著性マップ９５とを用いているため、注目対象周辺の顕著性度合いが高い部分のスコアが高くなり、その部分を表現する単語のスコアが高くなることが期待できる。

図１に戻って、説明文章選択部３６は、複数の候補説明文章の中から注目対象を表現する説明文章を選択する。説明文章生成部３５は、１単語ずつ、出力し得る単語すべてにスコアをつけて文章を生成する。例えば、１単語目の単語スコアｙ１と２単語目の単語スコアｙ２は以下のようになる。
ｙ１＝（ａ：０．７５，ｔｈｅ：０．１６，ｗｏｍａｎ：０．０４，ｂｌｏｎｄ：０．００５，・・・）
ｙ２＝（ａ：０．０１，ｔｈｅ：０．０２，ｗｏｍａｎ：０．２４，ｂｌｏｎｄ：０．４５，・・・）

説明文章生成部３５は、スコアの高い順に複数個の単語を選んでいくことにより、スコアが高い順に複数の候補説明文章を生成する。そして、説明文章選択部３６では、生成された複数の候補説明文章のうちの最も適切な説明文章を選択して、最終的な出力とする。

図１１は、説明文章の選択を説明する図である。いま、図１１に例示するように、以下の３つの候補説明文章が説明文章生成部３５から得られたとする。
１．A woman walking on the road.
２．A blond hair woman in front of a red bus.
３．A blue shirt man.

説明文章選択部３６は、画像９０について、既存の検出システムを用いて複数の対象を検出する。図１１の例では、検出システムを用いて歩行者を検出した結果、対象Ａ〜Ｇが検出されている。これらの対象Ａ〜Ｇの中には、上記の説明文章の生成のための処理において注目対象９１とされていた対象Ｃも含まれている。説明文章選択部３６は、各候補説明文章について、当該候補説明文章が最もよく表している対象を選択する。この選択には、Ｌｕｏらの手法（非特許文献１を参照）やＭａｏらの手法（非特許文献２を参照）を用いることができる。

図１１の例では、候補説明文章１が最もよく表している対象として、対象Ａが選ばれ、候補説明文章２が最もよく表している対象として、対象Ｃが選ばれ、候補説明文章３が最もよく表している対象として、対象Ｄが選ばれている。本実施の形態の例において、注目対象は対象Ｃであるので、説明文章選択部３６は、対象Ｃを最もよく表している候補説明文章２を最終的な説明文章として選択して出力する。

図１に戻って、説明文章出力装置４０は、説明文章選択部３６で最終的に選択された説明文章を受けて、この説明文章を出力する。説明文章出力装置４０は、例えば、説明文章を読み上げる音声の形式で説明文章を出力してよい。

以上のように、本実施の形態の対象情報表現システム１００ないし説明文章生成装置３０によれば、注目対象を特定するための説明文章を生成するにあたって、当該注目対象自体の特徴を表現するだけでなく、当該注目対象の周りの物体や人物等にも注目をして注目対象を表現する説明文章を生成するので、この説明文章を頼りに当該注目対象を同定することが容易になる。

さらに、本実施の形態の対象情報表現システム１００ないし説明文章生成装置３０は、注目対象に近い対象を重くする重み付けをし、顕著性度合いの高い対象を重視するので、注目対象の近くの目につきやすい物体や人物を参照して注目対象を表現する説明文章を生成できる。

以下、本発明の実施の形態の対象情報表現システム１００の応用例を説明する。

図１２は、対象情報表現システムを車両の予防安全システムに応用した例を示す図である。この例では、図１に示す対象情報表現システム１００のすべての構成が車両５１に備えられている。また、カメラ１０は、車両５１の前方に向けられており、車両５１の前方の画像を取得する。車両５１の正面方向に歩行者５２がおり、車両５１の左前方に歩行者５３がある。また、歩行者５２の近くには木５４がある。歩行者５２と歩行者５３は、いずれも同様の色の服を着ており、同性であり、いずれも道路を横断するという行動をしている。

対象情報表現システム１００が、注目領域特定装置２０にて歩行者５２を注目対象として検出して、説明文章生成装置３０にて歩行者５２を同定するための説明文章を生成して、説明文章出力装置４０で説明文章の音声読み上げを行うとすると、この説明文章は、歩行者５３と区別して歩行者５２を特定する文章であることが望ましい。

仮に、歩行者５２自体の特徴を表現するのみであると、例えば、「グレーの服を着た、道路を横断している、男性」のように、歩行者５３との区別が困難な説明文章となる。本実施の形態の説明文章生成装置３０では、上記のとおり、注目対象を周辺の目立つ物体と関連付けて表現する説明文章を生成する。例えば、図１２の例では、「木のそばで、道路を横断している、男性」という説明文章が生成される。これにより、歩行者５３とは区別して歩行者５２を特定できる説明文章がユーザに提供されることになる。

図１３は、対象情報表現システムを車両の予防安全システムに応用した例の予防安全方法のフロー図である。このフローは、図１に示す対象情報表現システム１００において実行される。カメラ１０は車両５１に前方を向けて取り付けられている。まず、カメラ１０が車外（即ち、車両の前方）の画像９０を撮影する（ステップＳ１３１）。次に、注目領域特定装置２０は、画像９０に対して歩行者認識を行い、画像９０に映っている歩行者を検出する（ステップＳ１３２）。画像９０に複数の歩行者がある場合には、注目領域特定装置２０は、それらのすべての歩行者を検出する。

次に、注目領域特定装置２０は、検出した複数の歩行者の各々について、衝突余裕時間（Ｔｉｍｅ Ｔｏ Ｃｏｌｌｉｓｉｏｎ：ＴＴＣ）を計算する（ステップＳ１３３）。次に、注目領域特定装置２０は、ＴＴＣが所定の閾値Ｔａより小さい歩行者がいるかを判断し（ステップＳ１３４）、そのような歩行者がいる場合には（ステップＳ１３４でＹＥＳ）、緊急ブレーキを発動させて（ステップＳ１３５）、処理を終了する。

ＴＴＣが閾値Ｔａより小さい歩行者がいない場合には、注目領域特定装置２０は、ＴＴＣが閾値Ｔａより大きく閾値Ｔｂより小さい歩行者、即ち、直ちに緊急ブレーキを発動させる必要はないが注意を要する歩行者がいるかを判断する（ステップＳ１３６）。そのような歩行者がいない場合には（ステップＳ１３６でＮＯ）、処理を終了する。そのような歩行者がいる場合には（ステップＳ１３６でＹＥＳ）、注目領域特定装置２０は、ＴＴＣが最も小さい歩行者を注目対象として特定して、当該歩行者を囲む矩形の注目領域を設定する（ステップＳ１３７）。

注目領域特定装置２０にて注目領域９２が設定されると、説明文章生成装置３０は、上記の手順で注目対象９１とされた歩行者を説明する説明文章を生成する（ステップＳ１３８）。説明文章が生成されると、説明文章出力装置４０は、説明文章を音声に変換して（ステップＳ１３９）、その音声を出力する（ステップＳ１４０）。説明文章出力装置４０は、車内に備えられたスピーカを含む。ドライバを含む乗員は、このスピーカから出力される音声を聞くことができる。

この予防安全方法によれば、カメラ１０にて撮影された画像から注意を要する歩行者を検出して、そのような歩行者を特定する説明文章を生成し、それを音声で出力するので、ドライバは、注意を要すると判断された歩行者を特定する説明文章を音声で聞くことができる。

図１４は、対象情報表現システムを駅の監視システムに応用した例を示す図である。この監視システムは、駅に設置された監視カメラ７１と、監視装置７０と、説明文章生成装置３０と、インカム装置７２とを備えている。監視カメラ７１は、図１に示す対象情報表現システム１００のカメラ１０に相当し、監視装置７０は、対象領域特定部２０に相当し、インカム装置７２は、説明文章出力装置４０に相当する。

監視カメラ７１は、駅に設置される。図１４の例では、監視カメラ７１は駅のホームの柱に設置されている。監視装置７０は、監視カメラ７１によって撮影された画像において駅員が対応する必要がある人物や事象を注目対象として特定する。監視装置７０は、画像認識技術を用いて、自動的に注目対象を特定してよい。あるいは、注目対象は、監視装置７０を用いて画像を目視しているオペレータによって特定されてもよい。

図１４の例では、奥側のホームで酔ってふらついている客８１が監視カメラ７１によって撮影されて、注目対象として特定されている。この場合に、駅員８３が携帯するインカム装置８３にこの酔っ払い客８１を特定する説明文章を音声で出力する必要がある。このとき、この説明文章は、例えば、同じく監視カメラ７１によって撮影されている客８２と区別が容易なように、酔っ払い客８１を説明する文章であることが望ましい。

そこで、説明文章生成装置３０は、上記の構成によって酔っ払い客８１を説明するのに、周囲の目立つ物の情報を利用する。この説明文章生成装置３０によって、図１４の例では、例えば「青いベンチの近くにいる、酔っぱらった、男性」という説明文章が生成される。そして、駅員８３のインカム装置７２では、この説明文章が音声として出力され、駅員８３に伝えられる。駅員８３は、この音声を頼りに、現場において、注目対象ではない客８２と区別して、注目対象となっている酔っ払い客８１を容易に特定できる。

１００ 対象情報表現システム、１０ カメラ、２０ 注目領域特定装置、
３０ 説明文章生成装置、３１ 部分特徴量抽出部、３２ 重み生成部、
３３ 全体特徴量抽出部、３４ 顕著性マップ抽出部、３５ 説明文章生成部、
３６ 説明文章選択部、４０ 説明文章出力装置、３５１ ＲＮＮ部、
３５２ アテンションネットワーク部、３５３ 合成部

Claims (5)

1. 画像（９０）中の注目対象（９１）を説明する単語列からなる説明文章を生成する説明文章生成装置（３０）であって、
   前記画像の全体から全体特徴量（ｖｇ）を抽出する全体特徴量抽出部（３３）と、
   前記画像の顕著性度合いを示す顕著性マップ（９５）を抽出する顕著性マップ抽出部（３４）と、
   前記画像における前記注目対象を含む注目領域（９２）から部分特徴量（ｖｌ）を抽出する部分特徴量抽出部（３１）と、
   前記注目領域に近いほど重い重みを生成する重み生成部（３２）と、
   既に出力された単語列の最後の単語（ｘｔ）に基づいて、当該最後の単語に続く次単語の第１特徴量（ｈｔ）を出力するとともに、前記次単語を求めるために前記画像を参照する度合いを示すパラメータ（Ｓｔ）を出力するＲＮＮ部（３５１）と、
   前記全体特徴量と、前記部分特徴量と、前記第２特徴量と、前記重みと、前記顕著性マップと、前記第１特徴量とに基づいて、前記次単語の第２特徴量（ｃｔ）を出力するアテンションネットワーク部（３５２）と、
   前記第１特徴量と前記第２特徴量とを合成することで、前記次単語の合成特徴量（ｙｔ）を得る合成部（３５３）と、
   を備えた説明文章生成装置。
2. 前記合成特徴量に基づいて、複数の前記候補説明文章を生成し、
   さらに、前記画像から前記注目対象を含む複数の対象を検出して、前記複数の候補説明文章が最もよく表している対象を特定し、最もよく表している対象として前記注目対象が特定された前記候補説明文章を、前記説明文章として選択する説明文章選択部（３６）を備えた、請求項１に記載の説明文章生成装置。
3. 前記アテンションネットワーク部は、前記全体特徴量と前記部分特徴量と前記パラメータとを並列に並べて各部分領域の注目スコアを計算し、
   前記全体特徴量に対して、前記重み及び前記顕著性マップでフィルタリングを行う、請求項１又は２に記載の説明文章生成装置。
4. 撮影によって前記画像を取得するカメラ（１０）と、
   前記画像から前記注目対象を検出して、前記注目領域を特定する注目領域特定装置（２０）と、
   請求項１〜３のいずれかに記載の説明文章生成装置（３０）と、
   前記説明文章生成装置（３０）で生成された前記説明文章を出力する説明文章出力装置（４０）と、
   を備えた対象情報表現システム（１００）。
5. 画像（９０）中の注目対象を説明する単語列からなる説明文章を生成する説明文章生成方法であって、
   前記画像の全体から全体特徴量（Ｖｇ）を抽出する全体特徴量抽出ステップと、
   前記画像の顕著性度合いを示す顕著性マップ（９５）を抽出する顕著性マップ抽出ステップと、
   前記画像における前記注目対象を含む注目領域（９２）から部分特徴量（ｖｌ）を抽出する部分特徴量抽出ステップと、
   前記注目領域（９２）に近いほど重い重みを生成する重み生成ステップと、
   既に出力された単語列の最後の単語（ｘｔ）に基づいて、当該最後の単語に続く次単語の第１特徴量（ｈｔ）を出力するとともに、前記次単語を求めるために前記画像を参照する度合いを示すパラメータ（Ｓｔ）を出力するＲＮＮ演算ステップと、
   前記全体特徴量（ｖｇ）と、前記部分特徴量（ｖｌ）と、前記パラメータ（Ｓｔ）と、前記重み（９４）と、前記顕著性マップ（９５）と、前記第１特徴量（ｈｔ）とに基づいて、前記次単語の第２特徴量（ｃｔ）を出力するアテンション演算ステップと、
   前記第１特徴量（ｈｔ）と前記第２特徴量（ｃｔ）とを合成することで、前記次単語の合成特徴量（ｙｔ）を得る合成ステップと、
   を備え、
   前記合成特徴量に基づいて決定した前記次単語を前記最後の単語として、前記ＲＮＮ演算ステップ、前記アテンション演算ステップ、及び前記合成ステップを繰り返すことで、１単語ずつ前記説明文章を構成する説明文章生成方法。

Images