JP2018082766A - 診断装置、診断方法、プログラム - Google Patents

Abstract

【課題】精神健康度の診断精度を向上させることができる診断装置を提供すること。【解決手段】診断対象者６が食する料理が撮像された食事雰囲気画像８を取得する画像取得手段３１と、前記食事雰囲気画像の特徴量を抽出する特徴量抽出手段３３と、前記特徴量を用いて前記診断対象者の精神健康度を推定する推定手段３６と、前記推定手段が推定した前記精神健康度を出力する出力手段３７と、を有する。【選択図】図１

Description

本発明は、診断装置、診断方法、及び、プログラムに関する。

いわゆるうつ病の診断基準には、ＷＨＯ（世界保健機関）の国際疾病分類である「ＩＣＤ−１０」、又は、米国精神医学会の「ＤＳＭ−５」が用いられる場合が多い。しかしながら、患者が医師の診断を受けるには、患者が医療機関に赴く必要がある。

また、診断対象者の精神健康度はそもそも自己診断が困難であるため、従来から精神健康度を把握するための客観的な指標が求められている。このような要請に対し、画像処理技術を用いた精神疾患の診断が知られている（例えば、特許文献１参照。）。特許文献１には、診断対象者の顔を撮像し、その画像から計算される特徴量を事前に作成した医師の診断結果を学習した識別器を用いて識別することによって精神疾患を診断する方法が開示されている。

しかしながら、従来の画像処理を用いた精神健康度の診断方法では、顔画像から得られる特徴量しか用いておらず診断結果の精度が低下するおそれがあるという問題があった。例えば、うつ病であるにもかかわらず、「陰性」と診断される場合が生じやすいという指摘がある。

これは、顔画像だけが診断に用いられ、従来は行動の変化を診断対象とすることが考慮されていなかったためであると考えられる。

本発明は、上記課題に鑑み、精神健康度の診断精度を向上させることができる診断装置を提供することを目的とする。

本発明は、診断対象者が食する料理が撮像された食事雰囲気画像を取得する画像取得手段と、前記食事雰囲気画像の特徴量を抽出する特徴量抽出手段と、前記特徴量を用いて前記診断対象者の精神健康度を推定する推定手段と、前記推定手段が推定した前記精神健康度を出力する出力手段と、を有する。

精神健康度の診断精度を向上させることができる診断装置を提供することができる。

診断システムの概略的な動作を説明する図の一例である。 うつ病とその徴候についての説明する図の一例である。 診断システムのシステム構成例を示す図である。 情報処理装置の概略的なハードウェア構成図の一例である。 端末装置の一例のハードウェア構成図である。 診断システムが有する端末装置と情報処理装置の機能をブロック状に示す機能ブロック図の一例である。 顔の特徴点を説明する図の一例である。 食事内容と食事特徴量を模式的に説明する図の一例である。 雰囲気画像と場の雰囲気特徴量の一例を示す図である。 食事雰囲気画像に基づく構図の推定方法を説明する図の一例である。 Saliency Mapを説明する図の一例である。 画像特徴量計算部が特徴量を抽出する手順を示すフローチャート図の一例である。 精神状態推定器の作成を模式的に説明する図の一例である。 精神状態推定器の作成を説明するフローチャート図の一例である。 診断対象者の精神健康度の推定方法を模式的に説明する図の一例である。 診断対象者の精神健康度の推定方法を説明するフローチャート図の一例である。

以下、本発明を実施するための形態として、診断システム１００及び診断システム１００が行う診断方法について図面を参照しながら説明する。

＜診断システム１００の概略的な動作＞
図１は、本実施形態の診断システム１００の概略的な動作を説明する図の一例である。診断システム１００の動作は大きく学習フェーズと識別フェーズに分けられる。学習フェーズで食事雰囲気画像８を提供する人を被験者７といい、被験者７には健常者及び精神疾患がある患者のいずれも含まれており、医師の診断により精神健康度が分かっているものとする。また、診断フェーズで食事雰囲気画像８により精神健康度の診断を受ける者を診断対象者６（診断システム１００のユーザに相当する）と称する。

Ａ．学習フェーズ
（１）被験者７は端末装置１０で食事雰囲気画像８を撮像し情報処理装置３０に送信する。
（２）情報処理装置３０は食事雰囲気画像８を画像処理して表情特徴量、食事特徴量、及び場の雰囲気特徴量を抽出する。被験者７の精神健康度が分かっているので３つの特徴量は精神健康度と対応付けられる。
（３）そして、情報処理装置３０は３つの特徴量と教師信号となる精神健康度を用いて、機械学習を行い精神状態推定器３６を作成する。

Ｂ．識別フェーズ
（４）診断対象者６は端末装置１０で食事雰囲気画像８を撮像し情報処理装置３０に送信する。
（５）情報処理装置３０は同様に表情特徴量、食事特徴量、及び場の雰囲気特徴量を抽出し、精神状態推定器３６に入力する。
（６）精神状態推定器３６は診断対象者６の精神健康度を出力する。

このように、診断システム１００は、食事時の周囲の状況を撮像した食事雰囲気画像８を解析することにより、食した料理や食事の際の場の雰囲気を利用して、診断対象者６の精神健康度を診断できるので、精神疾患の診断精度を向上させることができる。

＜用語について＞
食事雰囲気画像は、診断対象者が食する料理を少なくとも含む画像である。更に、診断対象者の顔画像、診断対象者の周囲が撮像されていることが好ましい。食事雰囲気画像は１つで料理、顔画像、及び、周囲が撮像されている必要はなく、複数の画像でこれらが撮像されてよい。また、画像は動画でも静止画でもよい。

特徴量とは、人間又はコンピュータが対象を認識する際の要素になっているようなものが数値化されたものである。

精神健康度とは、肉体と対比される精神の状態がどのくらい良いか又は悪いかを意味する。簡単には、精神疾患に陥った又は陥るおそれがある状態が、精神健康度が悪い状態である。精神健康度が悪い状態では更にその程度が精神健康度である。精神健康度が悪い状態を精神疾患といい、精神が不調をきたすこと又は心の健康（メンタルヘルス）が損なわれた状態である。本実施形態では、精神健康度が悪い状態をうつ病と称する場合がある。

＜うつ病について＞
図２は、うつ病とその徴候についての説明する図の一例である。図２では、うつ病が引き起こす、主な体内変化、主な徴候、及び、徴候の具体表現がツリー構造に表されている。うつ病が引き起こす主な体内変化は内分泌（ホルモン）の乱れ、及び脳内変化がある。内分泌（ホルモン）の乱れの主な徴候は体への徴候があり、その具体表現は、肌のキメが粗くなること、爪の凹凸、脱髪、睡眠障害、聴覚過敏などである。

脳内変化の主な徴候は行動の徴候と心の徴候がある。行動の徴候の具体表現は、生体リズムの乱れ、思考行動の鈍さ、社交回避などである。心の徴候の具体表現は、自己否定、不安、意欲喪失などである。

本実施形態では行動の徴候に着目してうつ病（精神健康度）を推定する。具体的には表情の変化に加えて、食事内容や社交回避といった行動内容を画像から捉える。

＜システム構成例＞
図３は、本実施形態の診断システム１００のシステム構成例を示す図である。診断システム１００はネットワークＮを介して通信可能な端末装置１０、医師端末２０及び情報処理装置３０を有する。

ネットワークＮは、無線ＬＡＮのアクセスポイント９、端末装置１０が配置された施設のＬＡＮ、ＬＡＮをインターネットに接続するプロバイダのプロバイダネットワーク、及び、回線事業者が提供する回線等により構築されている。ネットワークＮが複数のＬＡＮを有する場合、ネットワークＮはＷＡＮやインターネットと呼ばれる。ネットワークＮは有線又は無線のどちらで構築されてもよく、また、有線と無線が組み合わされていてもよい。また、端末装置１０が、３ＧやＬＴＥなどの回線交換型の通信装置を有する場合、アクセスポイント９は回線事業者が提供する基地局とよばれ、端末装置１０は回線事業者の回線を介してインターネットに接続できる。

端末装置１０は、被験者７又は診断対象者６が操作するスマートフォンなどの好ましくは携帯可能な情報処理装置である。端末装置１０は、スマートフォンの他、携帯電話、タブレット端末、ゲーム機、ＰＤＡ（Personal Digital Assistant）、デジタルカメラ、ウェアラブルＰＣ（Personal Computer）、ノートＰＣなどでもよい。端末装置１０には、情報処理装置３０に画像データ（上記の食事雰囲気画像８）を送信することができるアプリケーションが搭載（インストール）されており、端末装置１０は、診断対象者６の操作により食事雰囲気画像８を情報処理装置３０に送信する。食事雰囲気画像８は静止画でも動画でもよい。

被験者７と診断対象者６は共に端末装置１０を使用する必要はなく、例えば被験者７の食事雰囲気画像は医師端末２０が情報処理装置３０に送信してもよい。また、被験者７の自宅のＰＣ（情報処理装置）などから食事雰囲気画像を情報処理装置３０に送信してもよい。本実施形態では説明の便宜上、被験者７と診断対象者６は共に端末装置１０を使用するとして説明する。

医師端末２０は、被験者７の精神健康度を診断する医師が使用する端末である。医師端末２０は、例えばＰＣであるが、ネットワークＮに接続できる情報処理装置３０であればよい。医師端末２０ではブラウザソフトウェアが動作しており、情報処理装置３０と通信してＨＴＭＬデータやスクリプト言語で記述された画面情報を取得してＷｅｂページ又はＷｅｂアプリの画面を医師端末２０が表示する。医師端末２０は各被験者７ごとの被験者ＩＤと精神健康度の入力を受け付け、これらを情報処理装置３０に登録する。

情報処理装置３０は、例えばサーバと呼ばれ、食事雰囲気画像８と精神健康度の関係を機械学習し、診断対象者６の精神健康度を診断する診断装置である。すなわち、被験者７（健常者及び精神疾患の患者）の食事雰囲気画像と医師により診断された精神健康度の対応を学習して精神状態推定器３６を作成する。また、端末装置１０から食事雰囲気画像が送信されると特徴量を抽出し、精神状態推定器３６に入力して、診断対象者６の精神健康度を出力する。

情報処理装置３０は、クラウドコンピューティングが適用されていることが好ましい。クラウドコンピューティングとは、特定ハードウェア資源が意識されずにネットワーク上のリソースが利用される利用形態をいう。クラウドコンピューティングでは、ハードウェアが１つの筐体に収納されていたりひとまとまりの装置として備えられていたりする必要はなく、負荷に応じてハード的なリソースが動的に接続・切断されることで構成される。また、一台の情報処理装置３０の中の仮想化環境に複数のサーバの機能が構築されていたり、複数台の情報処理装置３０に跨って１つのサーバの機能が構築されたりしてもよい。

＜ハードウェア構成例＞
図４は、情報処理装置３０の概略的なハードウェア構成図の一例である。情報処理装置３０は、ＣＰＵ（Central Processing Unit）２０１と、ＣＰＵ２０１が使用するデータの高速アクセスを可能とするメモリ２０２とを備える。ＣＰＵ２０１及びメモリ２０２は、システム・バス２０３を介して、情報処理装置３０の他のデバイス又はドライバ、例えば、グラフィクス・ドライバ２０４及びネットワーク・ドライバ（ＮＩＣ）２０５へと接続されている。

グラフィクス・ドライバ２０４は、バスを介してディスプレイ装置であるＬＣＤ（Liquid Crystal Display）２０６に接続されて、ＣＰＵ２０１による処理結果をモニタする。また、ネットワーク・ドライバ２０５は、トランスポート層レベル及び物理層レベルで情報処理装置３０をネットワークＮへと接続して、端末装置１０とのセッションを確立させている。

システム・バス２０３には、更にＩ／Ｏバス・ブリッジ２０７が接続されている。Ｉ／Ｏバス・ブリッジ２０７の下流側には、ＰＣＩなどのＩ／Ｏバス２０８を介して、ＩＤＥ、ＡＴＡ、ＡＴＡＰＩ、シリアルＡＴＡ、ＳＣＳＩ、ＵＳＢ（Universal Serial Bus memory）などにより、ＨＤＤ（ハードディスクドライブ）２０９などの記憶装置が接続されている。ＨＤＤ２０９は情報処理装置３０の全体を制御するプログラム２０９ｐを記憶している。ＨＤＤ２０９はＳＳＤ（Solid State Drive）でもよい。プログラム２０９ｐは記憶媒体に記憶された状態で配布されてもよいし、プログラム配信用のサーバから配信されてもよい。

また、Ｉ／Ｏバス２０８には、ＵＳＢなどのバスを介して、キーボード及びマウス（ポインティング・デバイスと呼ばれる）などの入力装置２１０が接続され、システム管理者などのオペレータによる入力及び指令を受け付けている。

なお、図示した情報処理装置３０のハードウェア構成は、情報処理装置３０が備えていることが好ましいハード的な要素を示す。また、クラウドコンピューティングに対応するため、本実施例の情報処理装置３０の物理的な構成は固定的でなくてもよく、負荷に応じてハード的なリソースが動的に接続・切断されることで構成されてよい。

医師端末２０のハードウェア構成図は、情報処理装置３０と同様であるか、又は、異なるとしても本実施形態の診断システム１００の説明の上で支障はないものとする。

≪端末装置≫
本実施例に係る端末装置１０は、例えば図５に示すようなハードウェア構成により実現される。図５は、本実施例に係る端末装置の一例のハードウェア構成図である。図５に示す端末装置１０は、入力装置１０１、表示装置１０２、外部Ｉ／Ｆ１０３、ＲＡＭ（Random Access Memory）１０４、ＲＯＭ（Read Only Memory）１０５、ＣＰＵ１０６、通信Ｉ／Ｆ１０７、ＳＳＤ１０８、近距離無線通信装置１０９、及びカメラ１１０などを備え、それぞれがバスＢで相互に接続されている。

入力装置１０１は、例えば、タッチパネルであり、端末装置１０に各操作信号を入力するのに用いられる。なお、入力装置１０１は、キーボードやマウスなどであってもよい。表示装置１０２は、例えば、ＬＣＤなどであり、端末装置１０による処理結果を表示する。

外部Ｉ／Ｆ１０３は、外部装置とのインタフェースである。外部装置には、記録媒体１０３ａなどがある。記録媒体１０３ａには、実施例を実現するプログラムを格納することができる。端末装置１０は外部Ｉ／Ｆ１０３を介して、記録媒体１０３ａの読み取り及び／又は書き込みを行うことができる。

記録媒体１０３ａは、例えば、ＳＤメモリカード（SD Memory card）などの記録媒体である。記録媒体１０３ａは、ＵＳＢメモリ、ＤＶＤ（Digital Versatile Disk）、ＣＤ（Compact Disk）、フレキシブルディスクなどの記録媒体であってもよい。

ＲＡＭ１０４は、プログラムやデータを一時保持する揮発性の半導体メモリ（記憶装置）である。ＲＯＭ１０５は、電源を切ってもプログラムやデータを保持することができる不揮発性の半導体メモリ（記憶装置）である。ＲＯＭ１０５には、端末装置１０の起動時に実行されるＢＩＯＳ（Basic Input/Output System）、ＯＳ（Operating System）設定、及びネットワーク設定などのプログラムやデータが格納されている。

ＣＰＵ１０６は、ＲＯＭ１０５やＳＳＤ１０８などの記憶装置からプログラムやデータをＲＡＭ１０４上に読み出し、処理を実行することで、端末装置１０全体の制御や機能を実現する演算装置である。

通信Ｉ／Ｆ１０７は、ネットワークＮを介した通信を行うためのインタフェースである。例えば、通信Ｉ／Ｆ１０７は、端末装置１０を、無線ＬＡＮを介してＬＡＮ等に接続するためのインタフェースである。これにより、端末装置１０は通信Ｉ／Ｆ１０７を介してデータ通信を行うことができる。なお、通信Ｉ／Ｆ１０７は、携帯電話網やインターネット等に接続するためのインタフェースであってもよい。

ＳＳＤ１０８は、プログラム１０８ｐやデータを格納している不揮発性の記憶装置である。格納されるプログラム１０８ｐやデータには、例えば端末装置１０全体を制御する基本ソフトウェアであるＯＳや、ＯＳ上において各種機能を提供するアプリケーションソフトウェア（以下、単にアプリケーションという）などがある。ＳＳＤ１０８は格納しているプログラムやデータを所定のファイルシステム及び／又はＤＢ（データベース）により管理している。なお、端末装置１０は、ＳＳＤ１０８の代わりに又はＳＳＤ１０８と併せて、ＨＤＤ（Hard Disk Drive）等を備えていてもよい。

近距離無線通信装置１０９は、例えば、Bluetooth Low Energy（登録商標。以下省略する）又は従来からあるBluetooth（クラシックBluetoothという）という通信規格で近距離の他の装置と通信する。また、近距離無線通信装置１０９は、ＮＦＣリーダライタでもよい。近距離無線通信装置１０９は内蔵されていても外付けされていてもよい。

カメラ１１０はＣＣＤやＣＭＯＳなどの光電変換素子であり、レンズから入った光を輝度情報に変換し画像データ（食事雰囲気画像）を生成する。

＜機能について＞
図６は、診断システム１００が有する端末装置１０と情報処理装置３０の機能をブロック状に示す機能ブロック図の一例である。

<<端末装置１０＞＞
端末装置１０は、通信部１１、操作受付部１２、表示制御部１３、及び撮像部１４を有する。端末装置１０が有するこれら各機能部は、図５に示された各構成要素のいずれかが、ＳＳＤ１０８からＲＡＭ１０４に展開されたプログラム１０８ｐに従ったＣＰＵ１０６からの命令により動作することで実現される機能又は手段である。このプログラム１０８ｐは、プログラム配信用のサーバから配信されるか又は記憶媒体に記憶された状態で配布される。

通信部１１は、図５に示したＣＰＵ１０６がプログラム１０８ｐを実行し通信Ｉ／Ｆ１０７等を制御すること等により実現され、アクセスポイント９を介して情報処理装置３０と通信し、各種のデータを送受信する。

操作受付部１２は、図５に示したＣＰＵ１０６がプログラム１０８ｐを実行し入力装置１０１を制御すること等により実現され、診断対象者６の端末装置１０に対する各種の操作や入力を受け付ける。

表示制御部１３は、図５に示したＣＰＵ１０６がプログラム１０８ｐを実行すること等により実現され、アプリケーションが作成する画面を表示装置１０２に表示させる。アプリケーションはブラウザソフトウェアでもよく、情報処理装置３０から受信した画面情報を解析してＷｅｂページやＷｅｂアプリの画面を表示する。

撮像部１４は、図５に示したＣＰＵ１０６がプログラム１０８ｐを実行しカメラ１１０等を制御することにより実現され、カメラ１１０が撮像した画像データ（食事雰囲気画像）を取得する。

<<情報処理装置３０>>
情報処理装置３０は、通信部３１、データベース操作部３２、画像特徴量計算部３３、食事内容推定部３４、精神状態推定器作成部３５、精神状態推定器３６、及びメッセージ作成部３７を有する。情報処理装置３０が有するこれら各機能部は、図４に示された各構成要素のいずれかが、ＨＤＤ２０９からメモリ２０２に展開されたプログラム２０９ｐに従ったＣＰＵ２０１からの命令により動作することで実現される機能又は手段である。このプログラム２０９ｐは、プログラム配信用のサーバから配信されるか又は記憶媒体に記憶された状態で配布される。

また、情報処理装置３０はＨＤＤ２０９、及びメモリ２０２等により実現される記憶部３９を有している。記憶部３９には、被験者ＤＢ４１、食事雰囲気画像ＤＢ４２及び特徴量ＤＢ４３が構築されている。

表１は、被験者ＤＢ４１が記憶する情報をテーブル状に示す。被験者ＤＢ４１は被験者７に関する情報を記憶するデータベースである。被験者ＤＢ４１は被験者ＩＤに対応付けられた精神健康度、及び更新日の各項目を有する。被験者ＩＤは被験者７を特定するための情報である。ＩＤはIdentificationの略であり識別子や識別情報という意味である。ＩＤは複数の対象から、ある特定の対象を一意的に区別するために用いられる名称、符号、文字列、数値又はこれらのうち１つ以上の組み合わせをいう。被験者ＩＤ以外のＩＤについても同様である。

また、精神健康度には医師の診断、又は精神疾患の診断に用いられる主観評価指標である「ＩＣＤ−１０」又は「ＤＳＭ−５」などの結果が用いられる。自己診断であるＣＥＳ−Ｄが用いられてもよい。生成健康度の値としては健常者の精神健康度を０とする。精神健康度は、好ましくは医師が自分の使用している医師端末２０から被験者７ごとに入力する。例えば、精神健康度がα又はβの被験者７は精神健康度が悪化している（精神疾患が認められる）と判断されている。また、精神健康度がβの被験者７は精神健康度がαの被験者７よりも精神疾患の程度が悪い。

最新の被験者ＩＤと精神健康度は情報処理装置３０に送信され、情報処理装置３０は被験者ＤＢ４１に登録又は更新する。更新日は最新の精神健康度が登録された日時である。

表２は、食事雰囲気画像ＤＢ４２が記憶する情報をテーブル状に示す。食事雰囲気画像ＤＢ４２は被験者７の端末装置１０から送信された食事雰囲気画像８を記憶するデータベースである。食事雰囲気画像ＤＢ４２は主に学習フェーズで使用される。食事雰囲気画像ＤＢ４２には被験者ＩＤと画像ＩＤ及び精神健康度の各項目が対応付けられている。

被験者７は端末装置１０から食事雰囲気画像８と被験者ＩＤを送信する。情報処理装置３０のデータベース操作部３２は食事雰囲気画像８に重複しない画像ＩＤを付与して被験者ＩＤと共に食事雰囲気画像ＤＢ４２に登録する。また、データベース操作部３２は被験者ＩＤに対応付けられている精神健康度を被験者ＤＢ４１から読み出して食事雰囲気画像ＤＢ４２に登録する。この精神健康度は学習フェーズにおける教師信号となる。

表３は、特徴量ＤＢ４３が記憶する情報をテーブル状に示す。特徴量ＤＢ４３は、被験者ＩＤに対応付けられた表情特徴量、食事特徴量、雰囲気特徴量及び精神健康度の各項目を有するデータベースである。被験者７の端末装置１０から食事雰囲気画像８が送信され食事雰囲気画像ＤＢ４２に記憶されると、情報処理装置３０の特徴抽出部は３つの特徴量を抽出し、被験者ＩＤと精神健康度と共に特徴量ＤＢ４３に記憶させる。

（情報処理装置３０の機能について）
通信部３１は、図４に示したＣＰＵ２０１がプログラム２０９ｐを実行しネットワーク・ドライバ２０５等を制御することにより実現され、端末装置１０と各種のデータを送受信する。

データベース操作部３２は、図４に示したＣＰＵ２０１がプログラム２０９ｐを実行すること等により実現され、記憶部３９の各データベースに各種のデータを記憶させたり、データを読み出したりする。

画像特徴量計算部３３は、図４に示したＣＰＵ２０１がプログラム２０９ｐを実行すること等により実現され、画像データから表情特徴量、食事特徴量、雰囲気特徴量を抽出する。食事特徴量の抽出のため、画像特徴量計算部３３は食事内容推定部３４を有する。食事内容推定部３４は、食事雰囲気画像８から食事の内容を推定すると共に食事特徴量を抽出する。詳細は後述される。

精神状態推定器作成部３５は、図４に示したＣＰＵ２０１がプログラム２０９ｐを実行すること等により実現され、機械学習のアルゴリズムを使って特徴量ＤＢ４３の特徴量と精神健康度から精神状態推定器３６を作成する。

精神状態推定器３６は、図４に示したＣＰＵ２０１がプログラム２０９ｐを実行すること等により実現され、診断対象者６の端末装置１０が送信した食事雰囲気画像から画像特徴量計算部３３が抽出した特徴量に基づいて精神健康度を推定する。

メッセージ作成部３７は、図４に示したＣＰＵ２０１がプログラム２０９ｐを実行すること等により実現され、精神状態推定器３６が推定した精神健康度に応じて端末装置１０に送信されるメッセージを作成する。

＜特徴量について＞
本実施形態で使用する表情特徴量、食事特徴量、雰囲気特徴量について説明する。本実施形態では、以下の３つの特徴量を組み合わせて、精神健康度を推定する。
(i) 表情特徴量
(ii) 食事特徴量
(iii) 場の雰囲気特徴量
<<表情特徴量>>
うつ病などの精神疾患に人が罹患すると、表情に変化が表れることが知られている（例えば、非特許文献１参照）。具体的には、うつや統合失調症では表情の変化がなくなる。あるいは、軽蔑の表情が表れるといわれている。したがって、情報処理装置３０が顔の表情の強さを検出すれば精神疾患の程度を推定できる。

図７は、顔の特徴点４０１を説明する図の一例である。図７（ａ）は元の画像データであり図７（ｂ）は検出された特徴点４０１を示す。食事雰囲気画像８には図７（ａ）に示すように被験者７又は診断対象者６の顔画像が写っている。図７（ｂ）のように顔から眉、眼、鼻、唇、輪郭などの特徴点４０１が検出されるが、特徴点４０１の変化は表情の強さと関係しているため、表情の強さを数値化可能である。その数値が低いものは表情の変化が小さいといえる。

また、軽蔑の表情として、上唇が上がる、鼻に皺が寄るなど表情が知られている。このような表情についても情報処理装置３０は特徴点４０１により軽蔑の表情であることとその表情の強さを算出可能である。更に、人が表情筋を動かす機会が減ると筋肉が衰えるため、頬などが下がる。情報処理装置３０はこのような特徴も捉えることが可能である。

本実施形態では非特許文献１を参考にして、図７に示した顔の特徴点４０１から種々の表情を特定することによって表情特徴量を算出する。

このような顔の特徴点４０１を表情に変換するテーブルとしてフェイシャルアクションコーディングシステムが知られている。フェイシャルアクションコーディングシステムは、顔の筋肉をアクション・ユニット（ＡＵ）と呼ばれる表情に分解する。ＡＵは、特定の顔の筋肉の収縮に対応する解剖学ベースの顔の表情である。表４に各ＡＵの筋肉名とこの筋肉と関係する表情を示す。

画像特徴量計算部３３は特徴点４０１と表情の対応を学習した識別器を有している。したがって、特徴点４０１を追跡できれば表情を推定できる。例えば、システムの管理者が初期の画像に対し特徴点４０１を登録すると、情報処理装置３０は画像認識により動画の各フレームから特徴点４０１を追跡する。特徴点４０１の周囲にバイナリーパターンヒストグラム（LBPH）、指向勾配ヒストグラム（HOG）、又は局部的なガボールフィルタを適用することで、特徴量をベクトルデータとして取得し、時系列の画像データを比較することで特徴点４０１を追跡する。例えば、おそれ、寂しさ、驚き、怒り、幸せ、嫌悪等が表情特徴量である。

<<食事特徴量>>
近年の研究で食事内容とうつに関連があることが分かった（例えば、非特許文献２、３参照。）。非特許文献２では、欧米の食事パターンでは、左の海馬の縮小を加速させるとの研究結果が記載されている。うつや認知症では、海馬の体積が減少することが知られている。非特許文献３では、スペインにおける１万５千人を対象とする１０年間の追跡調査によって、果物、野菜、豆類、そしてナッツをたくさん食べ、加工肉が少ない食事を心がけている人は、肉や甘いものをたくさん食べる人よりも、うつ病にかかりにくい傾向があることが報告されている。

したがって、情報処理装置３０が日々の食事画像から診断対象者６の食事パターンを推定することによって、診断対象者６の精神疾患のリスクを算出することができる。食事内容の推定を食事内容推定部３４が行う。

図８は、食事内容の推定を模式的に説明する図の一例である。食事雰囲気画像８には図８に示すように食事内容（例えば、料理の画像）が写っている。具体的には、食事内容推定部３４は、画像処理部３４ａ、及び、料理材料ＤＢ３４ｂを有する。画像処理部３４ａは典型的な料理の料理画像を予め保持しており、パターンマッチングや特徴量抽出などを行う。料理材料ＤＢ３４ｂは、料理名及び料理に使用されている材料の対応を記憶したデータベースである。

画像処理部３４ａは、例えば典型的な料理画像をテンプレートとするパターンマッチングにより食事雰囲気画像８に写っている料理を特定する。あるいは、典型的な料理画像から特徴量を抽出して、食事雰囲気画像の特徴量と比較することで料理を特定する。この場合、典型的な料理画像を保持している必要はなく、典型的な料理画像から抽出された特徴量を有していればよい。料理画像からの特徴量抽出方法に関しては、非特許文献４、非特許文献５に記載されている。例えば、画像の二値化、容器の検出などにより１つの食事雰囲気画像を複数の料理に分離する。また、容器部分を除外するため分離した画像を９分割し、その中央部分から特徴量を抽出する。料理には使用する素材の色・形状が現れることが多い。例えば、トマトを使った料理は赤色であることが多い。このため、各料理画像から色特徴や形状特徴，テクスチャ特徴を抽出して特徴量とする。

料理を特定できれば、画像処理部３４ａは料理材料ＤＢ３４ｂを利用して料理に使われている材料を特定できる。また、この料理材料ＤＢ３４ｂは情報処理装置３０が有する必要はなく、クラウド上のデータベースを利用してよい。例えば、文部科学省の食品成分データベース（例えばhttp://fooddb.mext.go.jp）や民間の食品栄養データベースなどがこれに相当する（例えばhttp://imd.jp/fdb/）。また、料理画像とそれに対応したレシピのデータベースも一般に知られている（例えば、http://www.fcg-r.co.jp/lab/foods/content_recipe.html）。

材料を特定できれば、食事内容推定部３４は材料とカロリーが対応付けられたデータベースを参照してカロリーを推定できる。このデータベースもクラウド上に多く存在している。精神健康度が悪化した被験者７は摂取カロリーが低下すると考えられる。

このように、食事内容推定部３４は食事雰囲気画像と典型的な料理画像を比較したり、又は食事雰囲気画像の特徴量と典型的な料理画像の特徴量を比較して料理を特定し、データベースを参照することで各料理の材料やカロリーを特定できる。各材料やカロリーが食事特徴量である。

<<雰囲気特徴量>>
うつ病などの精神疾患に人が罹患すると、上記のように対人コミュニケーション意欲の低下が起こることが知られており、一人で食事することや、周囲の音が大きいと感じられる場所での食事を避ける傾向になることが予想される。また、様々なことに興味や関心がわかなくなることも知られており、そのような状態では、外食は減り、決まった場所での食事が増えると予想できる。更に、写真を撮像される際の撮られ方（構図など）への意識も低下すると考えられる。

そこで、図９に示すように、画像特徴量計算部３３は食事雰囲気画像８から得られる周囲の状況を特徴量として使用する。図９は、雰囲気画像と場の雰囲気特徴量の一例を示す図である。食事雰囲気画像８には図９に示すように食事中の光景が写っている。画像特徴量計算部３３は食事雰囲気画像８から撮像されている人の人数、周囲の明るさ、色味、構図を特徴量として抽出する。

周囲の状況を表す特徴量としては、撮像されている人の人数、食事雰囲気画像８の明るさ、色味、及び、画像の構図などである。具体的に、まず人数は、HOG特徴量やHAAR-Like特徴量を画像特徴量計算部３３が抽出して、顔検出や人検出する既存手法を利用する。人が検出できれば、人の数が分かる。なお、OpenCvなどのフリーのライブラリでも人を検出することができ、人の検出方法は周知である。

周囲の明るさについては、マンセル表色系における明度（Ｌ）を利用する。計算方法はＲＧＢの３チャンネルの画像それぞれの１画素について、以下のように計算する。画像特徴量計算部３３は、全画素に対して明度（Ｌ）を算出し、明度（Ｌ）のヒストグラムを明度の特徴量とする。

色味については、マンセル表色系における色相（Ｈ）を利用する。同様にＲＧＢの３チャンネルの画像それぞれの１画素について、以下のように計算する。全画素に対して色相（Ｈ）を算出し色相（Ｈ）のヒストグラムを色味の特徴量とする。

構図に関しては食事雰囲気画像８が代表的な構図を満たしているか否かを画像特徴量計算部３３が計算する（例えば、非特許文献６参照）。非特許文献６には、撮像された画像が代表的な構図を満たしているかどうかを計算する手法について記載されている。

図１０は、食事雰囲気画像８に基づく構図の推定方法を説明する図の一例である。画像特徴量計算部３３は図１０（ａ）に示したＡ〜Ｄで囲まれた領域４０３に顔や料理といった特徴的な要素が入っているかを判断する。Ａ〜Ｄで囲まれた領域４０３は中央部であり、重要な要素が入っていることが一般的な領域である。

また、画像特徴量計算部３３は、図１０（ｂ）に示した三分割線４０４上に顔や料理といった特徴的な要素が入っているか否かを判断する。三分割線４０４は端部でないので重要な要素が写っていることが一般的な領域である。

顔や料理の検出方法は上記のとおりであり、画像特徴量計算部３３は顔や料理を検出することで代表的な構図か否かを判断できる。構図に関する特徴量は、これら代表的な構図になっているか否かの２値である。

図１０（ａ）（ｂ）は代表図の１つである３分割構図の一例にすぎず、代表的な構図は他にも日の丸構図や対角構図などがある。これらの構図に基づいて判断してもよい。

また、顔や料理など特定の要素を検出するのでなく、注目すべき領域を検出し、該領域がＡ〜Ｄで囲まれた領域４０３又は三分割線４０４上にあるか否かを判断してもよい。注目すべき領域が検出された画像をSaliency Mapという。

Saliency Mapは以下のように作成される。画像データからいくつかの基本的な特徴量（輝度・色など）を抽出してそれぞれの特徴量画像を作成する。これらの特徴量画像を統合し特徴的な画素ほど大きな輝度値を与えることにより、Saliency Mapを作成できる。Saliency Mapでは最も輝度値が大きくなる箇所に視線が向けられやすいと判断される。

図１１はSaliency Mapを説明する図の一例であり、図１１（ａ）は元の画像であり、図１１（ｂ）はこの画像から作成されたSaliency Mapである。図１１（ｂ）で最も輝度値が高い領域４０５は標識がある領域４０６なので、人は標識を着目すべきことが分かる。構図の判断では、輝度値が閾値以上の領域４０５がＡ〜Ｄで囲まれた領域４０３又は三分割線４０４上にあるか否かが判断される。以上の、人数、明るさ、色味、及び構図が場の雰囲気特徴量である。

<<特徴量の抽出の動作手順>>
図１２は、画像特徴量計算部３３が特徴量を抽出する手順を示すフローチャート図の一例である。図１２の処理は食事雰囲気画像８が食事雰囲気画像ＤＢ４２に登録されると実行される。

画像特徴量計算部３３は食事雰囲気画像８を食事雰囲気画像ＤＢ４２から読み出す（Ｓ１０）。

次に、画像特徴量計算部３３は表情特徴量を抽出する（Ｓ２０）。すなわち、顔画像の特徴点４０１を追跡し特徴点４０１と表情の関係を学習した識別器により表情を抽出する。この表情が特徴量である。

次に、食事内容推定部３４は食事特徴量を抽出する（Ｓ３０）。すなわち、典型的な料理画像と食事雰囲気画像８を比較したり、食事雰囲気画像８から抽出した特徴量と予め保持してる各料理の特徴量を比較することで食事雰囲気画像８に写っている料理を特定する。そして、料理材料ＤＢ３４ｂを参照し、料理の材料を特定する。特定された材料やカロリーが特徴量である。

次に、画像特徴量計算部３３は場の雰囲気特徴量を抽出する（Ｓ４０）。すなわち、写っている人数、明るさのヒストグラム、色相のヒストグラム、及び、顔や料理が中央付近に映っているか否かの構図、を画像処理により取得する。

なお、食事雰囲気画像８は１枚である必要はなく、複数枚でもよい。この場合、３つの特徴量に適した３つの食事雰囲気画像８を端末装置１０が送信することも有効である。情報処理装置３０としては３つの特徴量のどれに適した食事雰囲気画像８であるかを判断できるが、端末装置１０が３つの特徴量のどれに適した食事雰囲気画像８であるかの識別情報と共に送信することで、特徴量の抽出精度が向上できると期待される。

＜精神状態推定器３６の作成＞
情報処理装置３０は精神状態推定器３６を前述の３つの特徴量をもとに作成する。精神状態推定器３６の作成はいわゆる機械学習のプロセスに沿って行われる。

図１３は精神状態推定器３６の作成を模式的に説明する図の一例である。図１４はフローチャート図となっており、図１３と図１４のステップ番号は対応している。また、予め医師は被験者７となる診断を行っており、健常者と精神疾患の患者とが区別されている。

S101：健常者は食事の際に食事内容を周囲の雰囲気を含めて撮像し、被験者ＩＤと共に食事雰囲気画像８を情報処理装置３０に送信する。食事雰囲気画像８を適切に撮像するカメラ１１０としては広角なカメラ、全天球カメラ、リモート撮像が可能なカメラ、監視カメラなどが挙げられる。また、患者が送信する食事雰囲気画像８は１回の食事に１つである必要はなく、１回の食事で複数の食事雰囲気画像を送信してもよい。例えば特徴量ごとに送信してよい。

医師等は、被験者ＩＤと精神健康度の対応をＷｅｂページやＷｅｂアプリを使用して情報処理装置３０に入力している（被験者ＤＢ４１）。したがって、データベース操作部３２は端末装置１０から被験者ＩＤが送信されれば食事雰囲気画像８の画像ＩＤに対応付けて精神健康度を食事雰囲気画像ＤＢ４２に登録できる。

S102：医師が精神疾患と診断した患者も同様に食事の際に食事内容を周囲の雰囲気を含めて撮像し、被験者ＩＤと共に食事雰囲気画像８を情報処理装置３０に送信する。

S103：情報処理装置３０の通信部３１は食事雰囲気画像８を受信し、データベース操作部３２は被験者ＩＤに対応付けて食事雰囲気画像８と精神健康度（教師データ）とを食事雰囲気画像ＤＢ４２に登録する。

S104、S105：画像特徴量計算部３３は食事雰囲気画像８から特徴量を抽出し、特徴量ＤＢ４３に登録する。上記のように、表情特徴量、食事特徴量、及び場の雰囲気特徴量が抽出される。

S106：精神状態推定器作成部３５は、機械学習のアルゴリズム（ex. RandomForest、SVM、DeepLearning、Bayesなど）を用いて精神状態推定器３６を作成する。例えば、DeepLearningでは入力層のノードと中間層のノードと出力層のノードの結合に関する重みを誤差逆伝播法で学習する。ＳＶＭの場合は下式を解くことで学習する。

＜診断対象者６の精神健康度の推定＞
精神状態推定器３６が作成されたので、診断対象者６の画像データが情報処理装置３０に送信されれば情報処理装置３０は推定される精神健康度を診断対象者６の端末装置１０に送信できる。

図１５は、診断対象者６の精神健康度の推定方法を模式的に説明する図の一例である。図１６はフローチャート図となっており、図１５と図１６のステップ番号は対応している。

S201：診断対象者６は端末装置１０を使って撮像した食事雰囲気画像８を情報処理装置３０に送信する。端末装置１０で動作するアプリケーションには情報処理装置３０のＩＰアドレス等が設定されている。食事雰囲気画像８を撮像したり送信するタイミングは診断対象者６の任意である。例えば、１日に１回、１週間に１回などのように定期的に撮像・送信してもよいし、精神健康度が悪化したと感じた場合に撮像・送信してもよい。

S202：情報処理装置３０の通信部３１は食事雰囲気画像８を受信し、画像特徴量計算部３３が表情特徴量、食事特徴量、及び場の雰囲気特徴量の３つの特徴量を抽出する。

S203：精神状態推定器３６は３つの特徴量を取得し、診断対象者６の精神健康度を推定する。

S204：情報処理装置３０のメッセージ作成部３７は、推定された精神健康度を端末装置１０に送信する（フィードバック）。情報処理装置３０が診断対象者６の電子メールアドレスを保持している場合には電子メールで送信してもよい。例えば、精神健康度がやや悪い場合は精神健康度と共に「休憩を取りましょう」などのメッセージを送信する。精神健康度がかなり悪い場合は、精神健康度と共に病院での診断を促すメッセージを送信する。

端末装置１０の通信部１１は精神健康度とこのメッセージを受信して、表示制御部１３が表示装置１０２に精神健康度とメッセージを表示する。これにより、診断対象者６は自分の精神健康度を把握し、適切な対応を取ることができる。

＜まとめ＞
以上のように、本実施形態の診断システム１００は、食事時の周囲の状況を撮像した食事雰囲気画像８を解析することにより、食した料理や食事の際の場の雰囲気を利用して、診断対象者６の精神健康度を診断できるので、精神疾患の診断精度を向上させることができる。

＜その他の適用例＞
以上、本発明を実施するための最良の形態について実施例を用いて説明したが、本発明はこうした実施例に何等限定されるものではなく、本発明の要旨を逸脱しない範囲内において種々の変形及び置換を加えることができる。

例えば、図６の構成では情報処理装置３０が画像特徴量計算部３３と精神状態推定器３６と有しているが、画像特徴量計算部３３と精神状態推定器３６を端末装置１０が有していてもよい。この場合、端末装置１０は撮像した食事雰囲気画像から診断対象者６の精神健康度を推定できる。

また、図６などの構成例は、情報処理装置３０の処理の理解を容易にするために、主な機能に応じて分割したものである。処理単位の分割の仕方や名称によって本願発明が制限されることはない。また、情報処理装置３０の処理は、処理内容に応じて更に多くの処理単位に分割することもできる。また、１つの処理単位が更に多くの処理を含むように分割することもできる。

また、情報処理装置３０が一台の装置か複数台に分散されているかは適宜、構成される。例えば、図６に示すように情報処理装置３０が一台の装置として実現されてもよい。また、情報処理装置３０の機能が複数の装置に分散されていてもよい。また、情報処理装置３０の記憶部３９のデータベースは、診断システム１００がアクセスできる場所にあればよく、情報処理装置３０が有していなくてもよい。

なお、通信部３１は画像取得手段の一例であり、画像特徴量計算部３３は特徴量抽出手段の一例であり、精神状態推定器３６は推定手段の一例であり、メッセージ作成部３７は出力手段の一例であり、精神状態推定器作成部３５は推定手段作成手段の一例であり、表示制御部１３は表示手段の一例であり、通信部１１は通信手段の一例であり、

６ 診断対象者
７ 被験者
８ 食事雰囲気画像
１０ 端末装置
３０ 情報処理装置
３１ 通信部
３２ データベース操作部
３３ 画像特徴量計算部
３４ 食事内容推定部
３５ 精神状態推定器作成部
３６ 精神状態推定器
１００ 診断システム

特開２００６‐３０５２６０号公報

Girard, Jeffrey M., et al. "Social risk and depression: Evidence from manual and automatic facial expression analysis." Automatic Face and Gesture Recognition (FG), 2013 10th IEEE International Conference and Workshops on. IEEE, 2013. Jacka FN et al. Western diet is associated with a smaller hippocampus: a longitudinal investigation. BMC Med. 2015;13:215. Sanchez-Villegas, Almudena, et al. "A longitudinal analysis of diet quality scores and the risk of incident depression in the SUN Project." BMC medicine 13.1 (2015): 1. 松田 裕司 , 柳井 啓司、"複数品目が含まれる食事画像の認識における共起関係の利用"、電子情報通信学会論文誌. D, 情報・システム J96-D(8), 1724-1730, 2013-08-01 松長 大樹 他６名、"大量の画像付き料理レシピからの学習による料理に含まれる素材推定"、電子情報通信学会技術研究報告、IMQ, イメージ・メディア・クオリティ、112(472), 115-120, 2013-03-04 濱田 隆平 , 堀 磨伊也 , 吉村 宏紀 , 岩井 儀雄、"フレーミングサポートシステムのための構図特徴を用いた写真の評価"、情報科学技術フォーラム講演論文集 12(3), 137-140, 2013-08-20

Claims (9)

1. 診断対象者が食する料理が撮像された食事雰囲気画像を取得する画像取得手段と、
   前記食事雰囲気画像の特徴量を抽出する特徴量抽出手段と、
   前記特徴量を用いて前記診断対象者の精神健康度を推定する推定手段と、
   前記推定手段が推定した前記精神健康度を出力する出力手段と、
   を有する診断装置。
2. 前記食事雰囲気画像には、前記診断対象者の食事中の光景が写っており、
   前記特徴量抽出手段は食事中の光景から特徴量を抽出し、
   前記推定手段は、前記食事中の光景から抽出された前記特徴量を用いて前記診断対象者の精神健康度を推定する請求項１に記載の診断装置。
3. 前記食事雰囲気画像には、前記診断対象者の顔が写っており、
   前記特徴量抽出手段は顔画像から特徴量を抽出し、
   前記推定手段は、前記顔画像から抽出された前記特徴量を用いて前記診断対象者の精神健康度を推定する請求項２に記載の診断装置。
4. 前記特徴量抽出手段は、前記食事雰囲気画像に写っている料理を画像処理により特定し、料理と該料理に使われている材料が対応付けられたデータベースを参照して得られた前記材料を特徴量とし、
   前記推定手段は前記材料を特徴量として用いて前記診断対象者の精神健康度を推定する請求項２又は３に記載の診断装置。
5. 前記特徴量抽出手段は、前記食事中の光景に写っている人の人数、明るさ、及び色味を画像処理により特定し、前記人数、明るさ及び色味を特徴量とし、
   前記推定手段は前記食事中の光景から得られた前記人数、明るさ及び色味を前記特徴量として用いて前記診断対象者の精神健康度を推定する請求項４に記載の診断装置。
6. 前記特徴量抽出手段は、前記食事中の光景の構図に関する情報を画像処理により取得し、前記構図に関する情報を特徴量とし、
   前記推定手段は前記構図に関する情報を前記特徴量として用いて前記診断対象者の精神健康度を推定する請求項５に記載の診断装置。
7. 前記特徴量抽出手段は診断により精神健康度が得られている被験者の食事雰囲気画像から特徴量を抽出し、
   前記特徴量と診断による前記精神健康度の対応を学習することで前記推定手段を作成する推定手段作成手段を有する請求項１〜６のいずれか１項に記載の診断装置。
8. 診断対象者が食する料理を撮像する端末装置と、前記診断対象者の精神健康度を推定する情報処理装置とを有する診断システムの診断方法であって、
   前記端末装置によって行われる、
   通信手段が、診断対象者が食する料理が撮像された食事雰囲気画像を前記情報処理装置に送信するステップと、
   前記情報処理装置によって行われる、
   特徴量抽出手段が、前記食事雰囲気画像の特徴量を抽出するステップと、
   推定手段が、前記特徴量を用いて前記診断対象者の精神健康度を推定するステップと、
   出力手段が、前記推定手段が推定した前記精神健康度を前記端末装置に送信するステップと、を有する診断方法。
9. 端末装置を、
   診断対象者が食する料理が撮像された食事雰囲気画像を情報処理装置に送信する通信手段、として機能させ、
   前記通信手段は、
   前記情報処理装置が、診断対象者が食する料理が撮像された食事雰囲気画像を取得する画像取得手段と、前記食事雰囲気画像の特徴量を抽出する特徴量抽出手段と、前記特徴量を用いて前記診断対象者の精神健康度を推定する推定手段と、
   により推定した前記精神健康度を受信し、
   前記精神健康度を表示装置に表示させる表示手段、として機能させるためのプログラム。