JP2022077195A - うつ状態判別プログラム - Google Patents

Abstract

【課題】比較的簡易な方法で出演者のうつ状態を高精度に判別する。
【解決手段】メディアに出演する出演者のうつ状態を判別するうつ状態判別プログラムにおいて、上記出演者の動画像からなる動画像情報を取得する情報取得ステップと、人の動作を動画像として予め撮像した参照用動画像情報と、うつ状態のレベルとの３段階以上の連関度を利用し、上記情報取得ステップにおいて取得した動画像情報に応じた参照用動画像情報とうつ状態のレベルとの３段階以上の連関度に基づき、上記出演者のうつ状態を判別するうつ状態判別ステップとをコンピュータに実行させることを特徴とする。
【選択図】図３

Description

本発明は、ストレスや人間関係において悩むメディアなどの出演者のうつ状態を判別し、うつ状態に陥るのを事前に判別することが可能なうつ状態判別プログラムに関する。

現代社会では、心のストレスが問題となっている。中でもメディア等に出演するタレント等の出演者は、ストレス等により、うつ状態に陥ってしまう場合もあり、特には自殺まで及んでしまう場合も報告されている。このような出演者のうつ状態に陥るのを防止するために、出演者のうつ状態を監視し、うつ状態に陥る危険性があるか否かを事前に確認することが望ましい。しかしながら、従来においては、比較的簡易な方法でタレント等の出演者のうつ状態を高精度に判別することが可能なシステムが未だに提案されていないのが現状であった。

そこで本発明は、上述した問題点に鑑みて案出されたものであり、その目的とするところは、比較的簡易な方法でメディアに出演する出演者のうつ状態を高精度に判別することが可能なうつ状態判別プログラムを提供することにある。

本発明に係るうつ状態判別プログラムは、メディアに出演する出演者のうつ状態を判別するうつ状態判別プログラムにおいて、上記出演者の動画像からなる動画像情報を取得する情報取得ステップと、人の動作を動画像として予め撮像した参照用動画像情報と、うつ状態のレベルとの３段階以上の連関度を利用し、上記情報取得ステップにおいて取得した動画像情報に応じた参照用動画像情報とうつ状態のレベルとの３段階以上の連関度に基づき、上記出演者のうつ状態を判別するうつ状態判別ステップとをコンピュータに実行させることを特徴とする。

特段のスキルや経験が無くても、比較的簡易な方法で出演者のうつ状態を高精度に判別することが可能となる。

本発明を適用したシステムの全体構成を示すブロック図である。 探索装置の具体的な構成例を示す図である。 本発明の動作について説明するための図である。 本発明の動作について説明するための図である。 本発明の動作について説明するための図である。 本発明の動作について説明するための図である。 本発明の動作について説明するための図である。 本発明の動作について説明するための図である。

以下、本発明を適用したうつ状態判別プログラムについて、図面を参照しながら詳細に説明をする。

図１は、本発明を適用したうつ状態判別プログラムが実装されるうつ状態判別システム１の全体構成を示すブロック図である。うつ状態判別システム１は、情報取得部９と、情報取得部９に接続された判別装置２と、判別装置２に接続されたデータベース３とを備えている。

情報取得部９は、本システムを活用する者が各種コマンドや情報を入力するためのデバイスであり、具体的にはキーボードやボタン、タッチパネル、マウス、スイッチ等により構成される。情報取得部９は、テキスト情報を入力するためのデバイスに限定されるものではなく、マイクロフォン等のような音声を検知してこれをテキスト情報に変換可能なデバイスで構成されていてもよい。また情報取得部９は、カメラ等の画像を撮影可能な撮像装置として構成されていてもよい。情報取得部９は、紙媒体の書類から文字列を認識できる機能を備えたスキャナで構成されていてもよい。また情報取得部９は、後述する推定装置２と一体化されていてもよい。情報取得部９は、検知した情報を推定装置２へと出力する。また情報取得部９は地図情報をスキャニングすることで位置情報を特定する手段により構成されていてもよい。また情報取得部９は、温度センサ、湿度センサ、風向センサ、を測るための照度センサで構成されていてもよい。また情報取得部９は、天候についてのデータを気象庁や民間の天気予報会社から取得する通信インターフェースで構成されていてもよい。また情報取得部９は身体に装着して身体のデータを検出するための身体センサで構成されていてもよく、この身体センサは、例えば体温、心拍数、血圧、歩数、歩く速度、加速度を検出するためのセンサで構成されていてもよい。また情報取得部９は図面等の情報をスキャニングしたり、或いはデータベースから読み出すことで取得するデバイスとして構成されていてもよい。情報取得部９は、これら以外に臭気や香りを検知する臭気センサにより構成されていてもよい。

データベース３は、うつ状態判別を行う上で必要な様々な情報が蓄積される。うつ状態判別を行う上で必要な情報としては、人の動作を動画像として予め撮像した参照用動画像情報、人の音声を録音した参照用音声情報、予めテキストデータを類型化した参照用テキスト情報、予めスケジュールデータを類型化した参照用スケジュール情報、予め出演頻度データを類型化した参照用出演頻度情報と、これらに対して実際に判断がなされるうつ状態、そのうつ状態を改善するための改善施策とのデータセットが記憶されている。

つまり、データベース３には、このような参照用動画像情報に加え、参照用音声情報、参照用テキスト情報、参照用スケジュール情報、参照用出演頻度情報の何れか１以上と、うつ状態、又は改善施策が互いに紐づけられて記憶されている。またデータベース３には、参照用音声情報に加え、参照用テキスト情報、参照用スケジュール情報、参照用出演頻度情報の何れか１以上と、うつ状態、又は改善施策が互いに紐づけられて記憶されている。

判別装置２は、例えば、パーソナルコンピュータ（ＰＣ）等を始めとした電子機器で構成されているが、ＰＣ以外に、携帯電話、スマートフォン、タブレット型端末、ウェアラブル端末等、他のあらゆる電子機器で具現化されるものであってもよい。ユーザは、この判別装置２による探索解を得ることができる。

図２は、判別装置２の具体的な構成例を示している。この判別装置２は、判別装置２全体を制御するための制御部２４と、操作ボタンやキーボード等を介して各種制御用の指令を入力するための操作部２５と、有線通信又は無線通信を行うための通信部２６と、各種判断を行う推定部２７と、ハードディスク等に代表され、実行すべき検索を行うためのプログラムを格納するための記憶部２８とが内部バス２１にそれぞれ接続されている。さらに、この内部バス２１には、実際に情報を表示するモニタとしての表示部２３が接続されている。

制御部２４は、内部バス２１を介して制御信号を送信することにより、判別装置２内に実装された各構成要素を制御するためのいわゆる中央制御ユニットである。また、この制御部２４は、操作部２５を介した操作に応じて各種制御用の指令を内部バス２１を介して伝達する。

操作部２５は、キーボードやタッチパネルにより具現化され、プログラムを実行するための実行命令がユーザから入力される。この操作部２５は、上記実行命令がユーザから入力された場合には、これを制御部２４に通知する。この通知を受けた制御部２４は、推定部２７を始め、各構成要素と協調させて所望の処理動作を実行していくこととなる。この操作部２５は、前述した情報取得部９として具現化されるものであってもよい。

推定部２７は、探索解を推定する。この推定部２７は、推定動作を実行するに当たり、必要な情報として記憶部２８に記憶されている各種情報や、データベース３に記憶されている各種情報を読み出す。この推定部２７は、人工知能により制御されるものであってもよい。この人工知能はいかなる周知の人工知能技術に基づくものであってもよい。

表示部２３は、制御部２４による制御に基づいて表示画像を作り出すグラフィックコントローラにより構成されている。この表示部２３は、例えば、液晶ディスプレイ（ＬＣＤ）等によって実現される。

記憶部２８は、ハードディスクで構成される場合において、制御部２４による制御に基づき、各アドレスに対して所定の情報が書き込まれるとともに、必要に応じてこれが読み出される。また、この記憶部２８には、本発明を実行するためのプログラムが格納されている。このプログラムは制御部２４により読み出されて実行されることになる。

上述した構成からなるうつ状態判別システム１における動作について説明をする。

うつ状態判別システム１では、例えば図３に示すように、参照用動画像と、うつ状態との３段階以上の連関度が予め設定され、取得されていることが前提となる。参照用動画像は、人のあらゆる動作や表情を動画像として撮像した情報である。参照用動画像情報は、動画像を解析し、特徴量等をディープラーニング技術等により解析することにより、人の表情や動作等をパターン化するようにしてもよい。うつの兆候が表れる行動として、例えば、他者とうまく関われない、態度がおどおどしている、他人の顔色をうかがう、食事に異常な執着を示す、ひどく落ち着きがない等が考えられる場合、このような行動を類型化し予めパターン化しておく。

態度がおどおどしている兆候として、首が前後に揺れる、或いは手足を貧乏ゆすりする等がそのパターンであれば、そのパターンに当てはめるか否かを動画像の解析を通じて判別する。この判別の過程では、既存の画像解析技術やディープラーニング技術を利用してもよい。そして、このパターンに当てはめるアクションを検知した場合には、個々の行動パターンに応じて分類した参照用動画像情報に当てはめる。

このような参照用動画像情報と、うつ状態のレベルとの間で同様に連関度を形成することで学習済みモデルを作っておく。そして、実際に出演者のうつ状態の判別をする場合には、その出演者を撮像した動画像から同様に画像解析を行うことにより、予めパターン化した各種行動の類型に当てはめ、これを動画像情報とする。この動画像情報において当てはめるべき行動パターンの類型は、上述した参照用動画像情報に準じるようにしておく。

このようにして画像情報から抽出した行動パターン情報に基づいて、参照用行動パターン情報と虐待可能性との間で形成した連関度を参照し、実際の虐待可能性を判別することが可能となる。虐待可能性の判別プロセスは、上述した図３に示す画像情報に基づく虐待可能性の判別プロセスと同様である。

うつ状態のレベルとは、客観的に評価された個々のうつ状態である。このうつ状態の例としては、例えば専門的な知識を持った医師や専門家によりうつ状態を客観的に評価された評価データや診療データ、診察結果等に基づくものであってもよい。またこのうつ状態の評価者はメンタルに関する専門的知識を必ずしも有している場合に限定されるものではなく、その専門的知識を有さない者も含まれる。つまりうつ状態の評価者は本人以外の第三者による評価であればよい。

うつ状態の評価例としては、例えば強度のうつ状態、軽度のうつ状態、正常、やや落ち込み気味、注意力散漫状態等であるが、これらに限定されるものではなく、例えばうつ状態が０点、正常が１００点としたとき、その０～１００点の間で１００段階で数値で評価されるものであってもよい。

図３の例では、入力データとして例えば参照用動画像Ｐ０１～Ｐ０３であるものとする。このような入力データとしての参照用動画像Ｐ０１～Ｐ０３は、出力に連結している。この出力においては、出力解としての、うつ状態が表示されている。

参照用動画像は、この出力解としてのうつ状態のレベルに対して３段階以上の連関度を通じて互いに連関しあっている。参照用動画像がこの連関度を介して左側に配列し、各うつ状態が連関度を介して右側に配列している。連関度は、左側に配列された参照用動画像に対して、何れのうつ状態と関連性が高いかの度合いを示すものである。換言すれば、この連関度は、各参照用動画像が、いかなるうつ状態に紐付けられる可能性が高いかを示す指標であり、参照用動画像から最も確からしいうつ状態を選択する上での的確性を示すものである。図３の例では、連関度としてｗ１３～ｗ１９が示されている。このｗ１３～ｗ１９は以下の表１に示すように１０段階で示されており、１０点に近いほど、中間ノードとしての各組み合わせが出力としてのうつ状態と互いに関連度合いが高いことを示しており、逆に１点に近いほど中間ノードとしての各組み合わせが出力としての値段と互いに関連度合いが低いことを示している。

判別装置２は、このような図３に示す３段階以上の連関度ｗ１３～ｗ１９を予め取得しておく。つまり判別装置２は、実際の探索解の判別を行う上で、参照用動画像と、その場合のうつ状態の何れが採用、評価されたか、過去のデータセットを蓄積しておき、これらを分析、解析することで図３に示す連関度を作り上げておく。

例えば、参照用動画像が、４回連続でうつの兆候である怯える表情が検出されているものとする。このような参照用動画像に対するうつ状態のレベルとしては、強いうつ状態が多く評価されたものとする。このようなデータセットを集めて分析することにより、参照用動画像（４回連続で「怯える表情」）と、うつ状態（強いうつ状態）との連関度が強くなる。

この分析、解析は人工知能により行うようにしてもよい。かかる場合には、例えば参照用動画像Ｐ０１である場合に、過去のうつ状態の評価を行った結果の各種データから分析する。これは例えば、診断結果の電子データや職場での評価結果からテキストマイニング分析を行うことでデータセットを抽出するようにしてもよい。参照用動画像Ｐ０１である場合に、「強度のうつ状態」の事例が多い場合には、この「強度のうつ状態」の評価につながる連関度をより高く設定し、「やや落ち込み気味」の事例が多い場合には、このうつ状態の評価につながる連関度をより高く設定する。例えば参照用問題点情報Ｐ０１の例では、「強度のうつ状態」と、「やや落ち込み気味」にリンクしているが、以前の事例から「強度のうつ状態」につながるｗ１３の連関度を７点に、「やや落ち込み気味」につながるｗ１４の連関度を２点に設定している。

また、この図３に示す連関度は、人工知能におけるニューラルネットワークのノードで構成されるものであってもよい。即ち、このニューラルネットワークのノードが出力に対する重み付け係数が、上述した連関度に対応することとなる。またニューラルネットワークに限らず、人工知能を構成するあらゆる意思決定因子で構成されるものであってもよい。

このような連関度が、人工知能でいうところの学習済みデータとなる。このような学習済みデータを作った後に、実際にこれから新たに出演者に対してうつ状態の判別を行う上で、上述した学習済みデータを利用してうつ状態を探索することとなる。かかる場合には、実際に判別対象の出演者から動画像を主観的に評価してもらい、あるいはインタビューなどを通じて聞き出すことで、これを新たに取得する。

新たに取得する動画像は、上述した情報取得部９により入力される。情報取得部９は、出演者が実際にテレビ番組に出演している場合には、そのテレビ番組を録画することで得るようにしてもよいし、各種動画投稿サイトに投稿されている動画像がある場合には、そこから取得するようにしてもよい。

このようにして新たに取得した動画像に基づいて、その出演者のうつ状態を判別する。かかる場合には、予め取得した図３（表１）に示す連関度を参照する。例えば、新たに取得した動画像がＰ０２と同一かこれに類似するものである場合には、連関度を介して「正常」がｗ１５、「やや落ち込み気味」が連関度ｗ１６で関連付けられている。かかる場合には、連関度の最も高い「正常」を最適解として選択する。但し、最も連関度の高いものを最適解として選択することは必須ではなく、連関度は低いものの連関性そのものは認められる「やや落ち込み気味」を最適解として選択するようにしてもよい。また、これ以外に矢印が繋がっていない出力解を選択してもよいことは勿論であり、連関度に基づくものであれば、その他いかなる優先順位で選択されるものであってもよい。

このようにして、新たに取得する動画像から、最も好適なうつ状態を探索し、ユーザに表示することができる。この探索結果を見ることにより、ユーザは、探索されたうつ状態に基づいて出演者に対するケア、即ち、心の健康度を回復させるための様々な改善施策のアプローチ指針を得ることができる。ちなみにこのうつ状態は、単なる状態評価に終始する場合に限定されるものではなく、更にそのうつ状態に対してどのように出演者に対するケア、即ち働き方についての改善施策を提案するかまで言及されているものであってもよい。

なお、参照用動画像情報、動画像情報は、上述した実施の形態においては、複数枚の静止画像を時系列的に連続させた動画像の場合を例にとり説明をしたが、これに限定されるものでは無い。参照用動画像情報、動画像情報を構成する個々の静止画像から特徴や各種パターンを抽出し、これらとうつ状体のレベルとを紐付けて学習させるようにしてもよいことは勿論である。

図４の例では、参照用動画像情報と、参照用音声情報との組み合わせが形成されていることが前提となる。参照用音声情報とは、出演者が発した音声を録音したあらゆる音声データが含まれる。

この参照用音声情報は、うつ病の兆候を判別する被験者が話をした音声をテキストデータに変換したときのテキストデータで構成されていてもよいし、そのテキストデータを形態素解析や構文解析を行ったデータで構成されていてもよい。

例えば形態素解析を行った結果、当該テキストデータ内に代名詞がどの程度含まれているかを示す情報でこの参照用音声情報を構成してもよい。例えば、被検者が「私は、明日、藤本君と、新幹線で、１３時までに、大阪へ、行く」という話をするのと「私は、明日、あれと、あれで、大阪へ行く」というのでは、前者の方が意味が明確であるのに対して、後者は意味が不明確になってしまう。うつ病の患者は、自らが発する音声のテキストデータ中における代名詞の割合が高くなる場合には、これをテキストデータ単位で抽出することで、参照用音声情報とする。

また、参照用音声情報としては、他人から質問を受けた被験者が回答するまでのインターバル時間を測定したもので構成してもよい。

参照用音声情報としては、これ以外に、過去の被検者から抽出した音声のトーンに関する情報である。この音声のトーンは、例えば、音の高低（音波の１秒間あたりの振動回数、つまり周波数）や音そのもの、或いは音の強弱を指す。音声のトーンは、一般的な音声検出器を通じて、その高低や強弱を検出し、解析するようにしてもよい。

参照用音声情報は、抽出したテキストデータと連動させ、紐付けておくようにしてもよい。例えば、「私は、明日、藤本君と、新幹線で、１３時までに、大阪へ、行く」という文言において、「明日」、「藤本君と」等の各名詞句（格成分）に対して、それぞれ音声のトーンが紐付けられ、参照用音声情報とされていてもよい。

入力データとしては、このような参照用音声情報と、参照用動画像情報が並んでいる。図４の例では、入力データとして例えば参照用動画像Ｐ０１～Ｐ０３、参照用音声情報Ｐ１４～１７であるものとする。このような入力データとしての、参照用動画像に対して、参照用音声情報が組み合わさったものが、図４に示す中間ノードである。各中間ノードは、更に出力に連結している。この出力においては、出力解としての、うつ状態が表示されている。

参照用動画像と参照用音声情報との各組み合わせ（中間ノード）は、この出力解としての、うつ状態に対して３段階以上の連関度を通じて互いに連関しあっている。参照用動画像と参照用音声情報がこの連関度を介して左側に配列し、うつ状態が連関度を介して右側に配列している。連関度は、左側に配列された参照用動画像と参照用音声情報に対して、うつ状態と関連性が高いかの度合いを示すものである。換言すれば、この連関度は、各参照用動画像と参照用音声情報が、いかなるうつ状態に紐付けられる可能性が高いかを示す指標であり、参照用動画像と参照用音声情報から最も確からしいうつ状態を選択する上での的確性を示すものである。出演者が主観的に入力する心の健康度合いに加え、実際の出退勤の状況がいかなるものかに応じて、評価すべきうつ状態は異なるものとなる。このため、これらの参照用動画像と参照用音声情報の組み合わせで、最適なうつ状態を探索していくこととなる。

図４の例では、連関度としてｗ１３～ｗ２２が示されている。このｗ１３～ｗ２２は表１に示すように１０段階で示されており、１０点に近いほど、中間ノードとしての各組み合わせが出力と互いに関連度合いが高いことを示しており、逆に１点に近いほど中間ノードとしての各組み合わせが出力と互いに関連度合いが低いことを示している。

判別装置２は、このような図４に示す３段階以上の連関度ｗ１３～ｗ２２を予め取得しておく。つまり判別装置２は、実際の探索解の判別を行う上で、参照用動画像と、参照用音声情報、並びにその場合のうつ状態が何れが好適であったか、過去のデータを蓄積しておき、これらを分析、解析することで図４に示す連関度を作り上げておく。

例えば、過去にあった実際の事例における参照用動画像が、怯える兆候と正常な兆候が一日おきに５連続で連続するものであるとする。また参照用音声情報が３日連続でトーンダウンの兆候であるものとする。かかる場合に、「やや落ち込み気味」のうつ状態が多い場合には、これらをデータセットとして学習させ、上述した連関度という形で定義しておく。

この分析、解析は人工知能により行うようにしてもよい。かかる場合には、例えば参照用動画像Ｐ０１で、参照用音声情報Ｐ１６である場合に、そのうつ状態を過去のデータから分析する。うつ状態が「正常」の事例が多い場合には、この「正常」につながる連関度をより高く設定し、「注意力散漫状態」の事例が多く、「正常」の事例が少ない場合には、「注意力散漫状態」につながる連関度を高くし、「正常」につながる連関度を低く設定する。例えば中間ノード６１ａの例では、「うつ状態」と「正常」の出力にリンクしているが、以前の事例から「うつ状態」につながるｗ１３の連関度を７点に、「正常」につながるｗ１４の連関度を２点に設定している。

また、この図４に示す連関度は、人工知能におけるニューラルネットワークのノードで構成されるものであってもよい。即ち、このニューラルネットワークのノードが出力に対する重み付け係数が、上述した連関度に対応することとなる。またニューラルネットワークに限らず、人工知能を構成するあらゆる意思決定因子で構成されるものであってもよい。

図４に示す連関度の例で、ノード６１ｂは、参照用動画像Ｐ０１に対して、参照用音声情報Ｐ１４の組み合わせのノードであり、「やや落ち込み気味」の連関度がｗ１５、「即座に入院が必要なレベルの激しいうつ状態」の連関度がｗ１６となっている。ノード６１ｃは、参照用動画像Ｐ０２に対して、参照用音声情報Ｐ１５、Ｐ１７の組み合わせのノードであり、「正常」の連関度がｗ１７、「注意力散漫状態」の連関度がｗ１８となっている。

このような連関度が、人工知能でいうところの学習済みデータとなる。このような学習済みデータを作った後に、実際にこれから出演者のうつ状態を判別する際において、上述した学習済みデータを利用して行うこととなる。かかる場合には、実際に判別対象の出演者から動画像と、音声情報とを取得する。音声情報は、参照用音声情報に対応し、出演者がテレビ番組やラジオ番組、動画投稿サイトにアップされた動画像において発生した音声を録音する。

このようにして新たに取得した動画像、音声情報に基づいて、最適なうつ状態を探索する。かかる場合には、予め取得した図４（表１）に示す連関度を参照する。例えば、新たに取得した動画像がＰ０２と同一かこれに類似するものである場合であって、音声情報がＰ１７である場合には、連関度を介してノード６１ｄが関連付けられており、このノード６１ｄは、「やや落ち込み気味」がｗ１９、「注意力散漫状態」が連関度ｗ２０で関連付けられている。かかる場合には、連関度の最も高い「やや落ち込み気味」を最適解として選択する。但し、最も連関度の高いものを最適解として選択することは必須ではなく、連関度は低いものの連関性そのものは認められる「注意力散漫状態」を最適解として選択するようにしてもよい。また、これ以外に矢印が繋がっていない出力解を選択してもよいことは勿論であり、連関度に基づくものであれば、その他いかなる優先順位で選択されるものであってもよい。

また、入力から伸びている連関度ｗ１～ｗ１２の例を以下の表２に示す。

この入力から伸びている連関度ｗ１～ｗ１２に基づいて中間ノード６１が選択されていてもよい。つまり連関度ｗ１～ｗ１２が大きいほど、中間ノード６１の選択における重みづけを重くしてもよい。しかし、この連関度ｗ１～ｗ１２は何れも同じ値としてもよく、中間ノード６１の選択における重みづけは何れも全て同一とされていてもよい。

図５は、上述した参照用動画像と、参照用テキスト情報との組み合わせと、当該組み合わせに対するうつ状態との３段階以上の連関度が設定されている例を示している。

参照用テキスト情報とは、予めテキストデータを類型化したものであり、例えば、誹謗中傷や悪口に当たるような文言を予め類型化しておく。そしてその類型化した文言に当たるのか否かを示すようにしてもよい。また誹謗中傷の度合をレベル的に示すようにしてもよく、そのレベルに応じた文言を予め類型化しておくようにしてもよい。

図５の例では、入力データとして例えば参照用動画像Ｐ０１～Ｐ０３、参照用テキスト情報Ｐ１８～２１であるものとする。このような入力データとしての、参照用動画像に対して、参照用テキスト情報が組み合わさったものが、図５に示す中間ノードである。各中間ノードは、更に出力に連結している。この出力においては、出力解としての、うつ状態が表示されている。

参照用動画像と参照用テキスト情報との各組み合わせ（中間ノード）は、この出力解としての、うつ状態に対して３段階以上の連関度を通じて互いに連関しあっている。参照用動画像と参照用テキスト情報がこの連関度を介して左側に配列し、うつ状態が連関度を介して右側に配列している。連関度は、左側に配列された参照用動画像と参照用テキスト情報に対して、うつ状態と関連性が高いかの度合いを示すものである。換言すれば、この連関度は、各参照用動画像と参照用テキスト情報が、いかなるうつ状態に紐付けられる可能性が高いかを示す指標であり、参照用動画像と参照用テキスト情報から最も確からしいうつ状態を選択する上での的確性を示すものである。出演者が主観的に入力する心の健康度合いに加え、実際の所得の状況がいかなるものかに応じて、評価すべきうつ状態は異なるものとなる。このため、これらの参照用動画像と参照用テキスト情報の組み合わせで、最適なうつ状態を探索していくこととなる。

図５の例では、連関度としてｗ１３～ｗ２２が示されている。このｗ１３～ｗ２２は表１に示すように１０段階で示されており、１０点に近いほど、中間ノードとしての各組み合わせが出力としてのうつ状態と互いに関連度合いが高いことを示しており、逆に１点に近いほど中間ノードとしての各組み合わせが出力としてのうつ状態と互いに関連度合いが低いことを示している。

判別装置２は、このような図５に示す３段階以上の連関度ｗ１３～ｗ２２を予め取得しておく。つまり判別装置２は、実際の探索解の判別を行う上で、参照用動画像と、参照用テキスト情報、並びにその場合のうつ状態が何れが好適であったか、過去のデータを蓄積しておき、これらを分析、解析することで図５に示す連関度を作り上げておく。

この分析、解析は人工知能により行うようにしてもよい。かかる場合には、例えば参照用動画像Ｐ０１で、参照用テキスト情報Ｐ２０である場合に、そのうつ状態を過去のデータから分析する。うつ状態が「やや落ち込み気味」の事例が多い場合には、この「やや落ち込み気味」につながる連関度をより高く設定し、「注意力散漫状態」の事例が多く、「やや落ち込み気味」の事例が少ない場合には、「注意力散漫状態」につながる連関度を高くし、「やや落ち込み気味」につながる連関度を低く設定する。例えば中間ノード６１ａの例では、「軽度のうつ状態」と「正常」の出力にリンクしているが、以前の事例から「軽度のうつ状態」につながるｗ１３の連関度を７点に、「正常」につながるｗ１４の連関度を２点に設定している。

また、この図５に示す連関度は、人工知能におけるニューラルネットワークのノードで構成されるものであってもよい。即ち、このニューラルネットワークのノードが出力に対する重み付け係数が、上述した連関度に対応することとなる。またニューラルネットワークに限らず、人工知能を構成するあらゆる意思決定因子で構成されるものであってもよい。

図５に示す連関度の例で、ノード６１ｂは、参照用動画像Ｐ０１に対して、参照用テキスト情報Ｐ１８の組み合わせのノードであり、「やや落ち込み気味」の連関度がｗ１５、「即座に入院が必要なレベルの激しいうつ状態」の連関度がｗ１６となっている。ノード６１ｃは、参照用動画像Ｐ０２に対して、参照用テキスト情報Ｐ１９、Ｐ２１の組み合わせのノードであり、「正常」の連関度がｗ１７、「注意力散漫状態」の連関度がｗ１８となっている。

このような連関度が、人工知能でいうところの学習済みデータとなる。このような学習済みデータを作った後に、実際にこれからうつ状態の探索を行う際において、上述した学習済みデータを利用して行うこととなる。かかる場合には、実際にそのうつ状態の判別対象の出演者の動画像と、テキスト情報とを取得する。テキスト情報は、インターネット上の各種情報サイトやＳＮＳへの書き込みから取得したテキストデータで構成される。取得したテキストデータは、周知の形態素解析技術、構文解析技術に基づいて解析が行われ、これに含まれる単語や文言が、予め類型化された参照用テキスト情報の何れの分離に含まれるかを判別する。

このようにして新たに取得した動画像と、テキスト情報に基づいて、最適なうつ状態を探索する。かかる場合には、予め取得した図５（表１）に示す連関度を参照する。例えば、新たに取得した動画像がＰ０２と同一かこれに類似するものである場合であって、テキスト情報がＰ２１である場合には、連関度を介してノード６１ｄが関連付けられており、このノード６１ｄは、「やや落ち込み気味」がｗ１９、「注意力散漫状態」が連関度ｗ２０で関連付けられている。かかる場合には、連関度の最も高い「やや落ち込み気味」を最適解として選択する。但し、最も連関度の高いものを最適解として選択することは必須ではなく、連関度は低いものの連関性そのものは認められる「注意力散漫状態」を最適解として選択するようにしてもよい。また、これ以外に矢印が繋がっていない出力解を選択してもよいことは勿論であり、連関度に基づくものであれば、その他いかなる優先順位で選択されるものであってもよい。

図６は、上述した参照用動画像と、参照用スケジュール情報との組み合わせと、当該組み合わせに対するうつ状態との３段階以上の連関度が設定されている例を示している。

参照用スケジュール情報とは、出演者の番組出演予定のみならず、仕事の全てのスケジュールに関する情報を含む。つまり参照用スケジュール情報は、、サイン会や講演会、その他インタビューの時間や執務時間、移動時間、練習時間、稽古時間等が時系列的にどのように組まれているかを示すものである。この参照用スケジュール情報は、あくまで参照用の情報であることから、出演者のようなタレント活動を営んでいる人のみならず一般人のスケジュールに置き換えて類型化してもよい。かかる場合には、例えば１週間のスケジュールにおいて、労働時間、休憩時間、移動時間、会議時間、自由時間等、様々なスケジュールを学習データとして取得する。

図６の例では、入力データとして例えば参照用動画像Ｐ０１～Ｐ０３、参照用スケジュール情報Ｐ２２～２５であるものとする。このような入力データとしての、参照用動画像に対して、参照用スケジュール情報が組み合わさったものが、図６に示す中間ノードである。各中間ノードは、更に出力に連結している。この出力においては、出力解としての、うつ状態が表示されている。

参照用動画像と参照用スケジュール情報との各組み合わせ（中間ノード）は、この出力解としての、うつ状態に対して３段階以上の連関度を通じて互いに連関しあっている。参照用動画像と参照用スケジュール情報がこの連関度を介して左側に配列し、うつ状態が連関度を介して右側に配列している。連関度は、左側に配列された参照用動画像と参照用スケジュール情報に対して、うつ状態と関連性が高いかの度合いを示すものである。換言すれば、この連関度は、各参照用動画像と参照用スケジュール情報が、いかなるうつ状態に紐付けられる可能性が高いかを示す指標であり、参照用動画像と参照用スケジュール情報から最も確からしいうつ状態を選択する上での的確性を示すものである。

図６の例では、連関度としてｗ１３～ｗ２２が示されている。このｗ１３～ｗ２２は表１に示すように１０段階で示されており、１０点に近いほど、中間ノードとしての各組み合わせが出力としてのうつ状態と互いに関連度合いが高いことを示しており、逆に１点に近いほど中間ノードとしての各組み合わせが出力としてのうつ状態と互いに関連度合いが低いことを示している。

判別装置２は、このような図６に示す３段階以上の連関度ｗ１３～ｗ２２を予め取得しておく。つまり判別装置２は、実際の探索解の判別を行う上で、参照用動画像と、参照用スケジュール情報、並びにその場合のうつ状態が何れが好適であったか、過去のデータを蓄積しておき、これらを分析、解析することで図６に示す連関度を作り上げておく。

この分析、解析は人工知能により行うようにしてもよい。かかる場合には、例えば参照用動画像Ｐ０１で、参照用スケジュール情報Ｐ２４である場合に、そのうつ状態を過去のデータから分析する。うつ状態が「やや落ち込み気味」の事例が多い場合には、この「やや落ち込み気味」につながる連関度をより高く設定し、「注意力散漫状態」の事例が多く、「やや落ち込み気味」の事例が少ない場合には、「注意力散漫状態」につながる連関度を高くし、「やや落ち込み気味」につながる連関度を低く設定する。例えば中間ノード６１ａの例では、「軽度のうつ状態」と「正常」の出力にリンクしているが、以前の事例から「うつ状態」につながるｗ１３の連関度を７点に、「正常」につながるｗ１４の連関度を２点に設定している。

また、この図６示す連関度は、人工知能におけるニューラルネットワークのノードで構成されるものであってもよい。即ち、このニューラルネットワークのノードが出力に対する重み付け係数が、上述した連関度に対応することとなる。またニューラルネットワークに限らず、人工知能を構成するあらゆる意思決定因子で構成されるものであってもよい。

図６に示す連関度の例で、ノード６１ｂは、参照用動画像Ｐ０１に対して、参照用スケジュール情報Ｐ２２の組み合わせのノードであり、「やや落ち込み気味」の連関度がｗ１５、「即座に入院が必要なレベルの激しいうつ状態」の連関度がｗ１６となっている。ノード６１ｃは、参照用動画像Ｐ０２に対して、参照用スケジュール情報Ｐ２３、Ｐ２５の組み合わせのノードであり、「正常」の連関度がｗ１７、「注意力散漫状態」の連関度がｗ１８となっている。

このような連関度が、人工知能でいうところの学習済みデータとなる。このような学習済みデータを作った後に、実際にこれからうつ状態の探索を行う際において、上述した学習済みデータを利用して行うこととなる。かかる場合には、実際にそのうつ状態の判別対象の出演者の動画像と、スケジュール情報とを取得する。スケジュール情報は手入力又は会社が管理する出演者の属性データから直接取得するようにしてもよい。

このようにして新たに取得した動画像と、スケジュール情報に基づいて、最適なうつ状態を探索する。かかる場合には、予め取得した図６（表１）に示す連関度を参照する。例えば、新たに取得した動画像がＰ０２と同一かこれに類似するものである場合であって、スケジュール情報がＰ２５である場合には、連関度を介してノード６１ｄが関連付けられており、このノード６１ｄは、「やや落ち込み気味」がｗ１９、「注意力散漫状態」が連関度ｗ２０で関連付けられている。かかる場合には、連関度の最も高い「やや落ち込み気味」を最適解として選択する。但し、最も連関度の高いものを最適解として選択することは必須ではなく、連関度は低いものの連関性そのものは認められる「注意力散漫状態」を最適解として選択するようにしてもよい。また、これ以外に矢印が繋がっていない出力解を選択してもよいことは勿論であり、連関度に基づくものであれば、その他いかなる優先順位で選択されるものであってもよい。

なお、図６に示す参照用スケジュール情報は、参照用出演頻度情報に置き換えてもよい。ここでいう参照用出演頻度情報は、テレビ番組、ラジオ番組への出演頻度に関する情報であり、例えば、単位時間（例えば１週間、１ヵ月、１年等）あたりにおける出演時間、出演回数等の出演頻度データで示すことができる。この参照用出演頻度情報は、出演頻度データを類型化したもので構成してもよく、例えば、週１回未満、週１～２回未満、週２回から週３回未満等で類型化されていてもよい。特にタレントは、出演頻度によって仕事がたくさん来ているか否かが分かり、これに応じてうつ状態も支配される可能性がある。このため、この参照用出演頻度情報も説明変数に加えている。

かかる場合には、参照用動画像情報と、予め出演頻度データを類型化した参照用出演頻度情報を有する組み合わせと、うつ状態のレベルとの３段階以上の連関度を予め作っておく。そして、新たに出演者の各種メディアへの出演頻度に関する出演頻度情報する。この出演頻度情報のデータとしての種類は、上述した参照用出演頻度情報と同様である。そして、取得した動画像情報に応じた参照用動画像情報と出演頻度情報に応じた参照用出演頻度情報とを有する組み合わせと、うつ状態のレベルとの３段階以上の連関度に基づき、上記出演者のうつ状態を判別する。

なお、本発明は、上述した実施の形態に限定されるものでは無く、例えば図７に示すように、参照用動画像情報の代わりに、参照用音声情報とうつ状態のレベルとの３段階以上の連関度を利用するようにしてもよい。かかる場合には、新たに取得した音声情報に応じた参照用音声情報とうつ状態のレベルとの３段階以上の連関度に基づき、上記出演者のうつ状態を判別することになる。

図示していないが、参照用動画像情報に加え、参照用音声情報、参照用テキスト情報、参照用スケジュール情報、参照用出演頻度情報の何れか１つのみならず、何れか２以上と、うつ状態、又は改善施策が互いに紐づけられて記憶されていてもよい。また参照用音声情報に加え、参照用テキスト情報、参照用スケジュール情報、参照用出演頻度情報の何れか１つのみならず、何れか２以上と、うつ状態、又は改善施策が互いに紐づけられて記憶されていてもよい。また、参照用動画像情報に加え、参照用音声情報、参照用テキスト情報、参照用スケジュール情報、参照用出演頻度情報の何れか１以上に加え、他のデータと組み合わせて、うつ状態、又は改善施策が互いに紐づけられて記憶されていてもよい。また参照用音声情報に加え、参照用テキスト情報、参照用スケジュール情報、参照用出演頻度情報の何れか１以上に加え、他のデータと組み合わせて、うつ状態、又は改善施策が互いに紐づけられて記憶されていてもよい。

これらの場合も同様に、学習用データとして用いられた参照用情報に応じた情報が入力された場合に、上述した方法に基づいて解探索が行われることとなる。

上述した連関度においては、１０段階評価で連関度を表現しているが、これに限定されるものではなく、３段階以上の連関度で表現されていればよく、逆に３段階以上であれば１００段階でも１０００段階でも構わない。一方、この連関度は、２段階、つまり互いに連関しているか否か、１又は０の何れかで表現されるものは含まれない。

上述した構成からなる本発明によれば、特段のスキルや経験が無くても、誰でも手軽にうつ状態、改善施策の探索を行うことができる。また本発明によれば、この探索解の判断を、人間が行うよりも高精度に行うことが可能となる。更に、上述した連関度を人工知能（ニューラルネットワーク等）で構成することにより、これを学習させることでその判別精度を更に向上させることが可能となる。

なお、上述した入力データ、及び出力データは、学習させる過程で完全に同一のものが存在しない場合も多々あることから、これらの入力データと出力データを類型別に分類した情報であってもよい。つまり、入力データを構成する情報Ｐ０１、Ｐ０２、・・・・Ｐ１５、１６、・・・は、その情報の内容に応じて予めシステム側又はユーザ側において分類した基準で分類し、その分類した入力データと出力データとの間でデータセットを作り、学習させるようにしてもよい。

図８の例では、参照用動画像情報とうつ状態のレベルとの３段階以上の連関度を利用する例である。この連関度のみに着目した場合、図３と同様であるが、この例では更に、参照用動画像情報とは異なる他の参照用情報がこの探索解としてのうつ状態のレベルに紐付いている。

連関度を通じて求められるうつ状態のレベルは、更に、参照用情報に基づいて修正され、或いは重み付けを変化させるようにしてもよい。

ここでいう参照用情報とは、上述した参照用音声情報、参照用テキスト情報、参照用スケジュール情報、参照用出演頻度情報等が含まれる。

例えば、参照用情報の一つとして、参照用テキスト情報において、その出演者を誹謗中傷する書き込みが多かったものとする。このような場合であれば、うつ状態のレベルが高くなる場合が多い。このとき、物件情報から連関度を介して探索された「強度のうつ状態」に対して、重み付けを上げる処理を行い、換言すればうつ状態のレベルが高い探索解につながるようにする処理を行うように予め設定しておく。

例えば、参照用情報Ｇが、よりうつ状態が高いレベルを示唆するような分析結果であり、参照用情報Ｆが、よりうつ状態が低いレベルを示唆するような分析結果であるものとする。このように参照用情報との間での設定の後、実際に取得した情報が参照用情報Ｇと同一又は類似する場合には、うつ状態が高いレベルの重み付けを上げる処理を行う。これに対して、実際に取得した情報が参照用情報Ｆと同一又は類似する場合には、うつ状態が低いレベルの重み付けを上げる処理を行う。つまり、うつ状態のレベルにつながる連関度そのものを、この参照用情報Ｆ～Ｈに基づいてコントロールするようにしてもよい。或いは、うつ状態のレベルを上述した連関度のみで決定した後、この求めた探索解に対して参照用情報Ｆ～Ｈに基づいて修正を加えるようにしてもよい。後者の場合において、参照用情報Ｆ～Ｈに基づいてどのように探索解としてのうつ状態のレベルにいかなるウェートで修正を加えるかは、都度システム側において設計したものを反映させることとなる。

また参照用情報は、何れか１種で構成される場合に限定されるものではなく、２種以上の参照用情報に基づいて解探索するようにしてもよい。かかる場合も同様に、参照用情報の示唆するうつ状態のレベルがより高いものにつながるケースほど、連関度を介して求められた探索解としてのうつ状態のレベルをより高く修正し、参照用情報の示唆するうつ状態のレベルがより低いものにつながるケースほど、連関度を介して求められた探索解としてのうつ状態のレベルをより低く修正する。

また、本発明によれば、３段階以上に設定されている連関度を介して最適な解探索を行う点に特徴がある。連関度は、上述した１０段階以外に、例えば０～１００％までの数値で記述することができるが、これに限定されるものではなく３段階以上の数値で記述できるものであればいかなる段階で構成されていてもよい。

このような３段階以上の数値で表される連関度に基づいて最も確からしいうつ状態、改善施策を判別することで、探索解の可能性の候補として複数考えられる状況下において、当該連関度の高い順に探索して表示することも可能となる。このように連関度の高い順にユーザに表示できれば、より確からしい探索解を優先的に表示することも可能となる。

これに加えて、本発明によれば、連関度が１％のような極めて低い出力の判別結果も見逃すことなく判断することができる。連関度が極めて低い判別結果であっても僅かな兆候として繋がっているものであり、何十回、何百回に一度は、その判別結果として役に立つ場合もあることをユーザに対して注意喚起することができる。

更に本発明によれば、このような３段階以上の連関度に基づいて探索を行うことにより、閾値の設定の仕方で、探索方針を決めることができるメリットがある。閾値を低くすれば、上述した連関度が１％のものであっても漏れなく拾うことができる反面、より適切な判別結果を好適に検出できる可能性が低く、ノイズを沢山拾ってしまう場合もある。一方、閾値を高くすれば、最適な探索解を高確率で検出できる可能性が高い反面、通常は連関度は低くてスルーされるものの何十回、何百回に一度は出てくる好適な解を見落としてしまう場合もある。いずれに重きを置くかは、ユーザ側、システム側の考え方に基づいて決めることが可能となるが、このような重点を置くポイントを選ぶ自由度を高くすることが可能となる。

更に本発明では、上述した連関度を更新させるようにしてもよい。この更新は、例えばインターネットを始めとした公衆通信網を介して提供された情報を反映させるようにしてもよい。また参照用動画像、参照用音声情報、参照用テキスト情報、参照用スケジュール情報等を取得し、これらに対するうつ状態、改善施策に関する知見、情報、データを取得した場合、これらに応じて連関度を上昇させ、或いは下降させる。

つまり、この更新は、人工知能でいうところの学習に相当する。新たなデータを取得し、これを学習済みデータに反映させることを行っているため、学習行為といえるものである。

また、この連関度の更新は、公衆通信網から取得可能な情報に基づく場合以外に、専門家による研究データや論文、学会発表や、新聞記事、書籍等の内容に基づいてシステム側又はユーザ側が人為的に、又は自動的に更新するようにしてもよい。これらの更新処理においては人工知能を活用するようにしてもよい。

また学習済モデルを最初に作り上げる過程、及び上述した更新は、教師あり学習のみならず、教師なし学習、ディープラーニング、強化学習等を用いるようにしてもよい。教師なし学習の場合には、入力データと出力データのデータセットを読み込ませて学習させる代わりに、入力データに相当する情報を読み込ませて学習させ、そこから出力データに関連する連関度を自己形成させるようにしてもよい。

１ うつ状態判別システム
２ 判別装置
２１ 内部バス
２３ 表示部
２４ 制御部
２５ 操作部
２６ 通信部
２７ 推定部
２８ 記憶部
６１ ノード

Claims (7)

1. メディアに出演する出演者のうつ状態を判別するうつ状態判別プログラムにおいて、
   上記出演者の動画像からなる動画像情報を取得する情報取得ステップと、
   人の動作を動画像として予め撮像した参照用動画像情報と、うつ状態のレベルとの３段階以上の連関度を利用し、上記情報取得ステップにおいて取得した動画像情報に応じた参照用動画像情報とうつ状態のレベルとの３段階以上の連関度に基づき、上記出演者のうつ状態を判別するうつ状態判別ステップとをコンピュータに実行させること
   を特徴とするうつ状態判別プログラム。
2. 上記情報取得ステップでは、上記出演者の音声情報を取得し、
   上記うつ状態判別ステップでは、上記参照用動画像情報と、人の音声を録音した参照用音声情報とを有する組み合わせと、うつ状態のレベルとの３段階以上の連関度を利用し、上記情報取得ステップにおいて取得した動画像情報に応じた参照用動画像情報と音声情報に応じた参照用音声情報とを有する組み合わせと、うつ状態のレベルとの３段階以上の連関度に基づき、上記出演者のうつ状態を判別すること
   を特徴とする請求項１記載のうつ状態判別プログラム。
3. メディアに出演する出演者のうつ状態を判別するうつ状態判別プログラムにおいて、
   上記出演者の音声情報を取得する情報取得ステップと、
   人の音声を録音した参照用音声情報と、うつ状態のレベルとの３段階以上の連関度を利用し、上記情報取得ステップにおいて取得した音声情報に応じた参照用音声情報とうつ状態のレベルとの３段階以上の連関度に基づき、上記出演者のうつ状態を判別するうつ状態判別ステップとをコンピュータに実行させること
   を特徴とするうつ状態判別プログラム。
4. 上記情報取得ステップでは、各種情報サイトへ上記出演者に関して書き込まれたテキスト情報を取得し、
   上記うつ状態判別ステップでは、上記参照用動画像情報と、予めテキストデータを類型化した参照用テキスト情報を有する組み合わせと、うつ状態のレベルとの３段階以上の連関度を利用し、上記情報取得ステップにおいて取得した動画像情報に応じた参照用動画像情報とテキスト情報に応じた参照用テキスト情報とを有する組み合わせと、うつ状態のレベルとの３段階以上の連関度に基づき、上記出演者のうつ状態を判別すること
   を特徴とする請求項１記載のうつ状態判別プログラム。
5. 上記情報取得ステップでは、上記出演者のスケジュールに関するスケジュール情報を取得し、
   上記うつ状態判別ステップでは、上記参照用動画像情報と、予めスケジュールデータを類型化した参照用スケジュール情報を有する組み合わせと、うつ状態のレベルとの３段階以上の連関度を利用し、上記情報取得ステップにおいて取得した動画像情報に応じた参照用動画像情報とスケジュール情報に応じた参照用スケジュール情報とを有する組み合わせと、うつ状態のレベルとの３段階以上の連関度に基づき、上記出演者のうつ状態を判別すること
   を特徴とする請求項１記載のうつ状態判別プログラム。
6. 上記情報入力ステップでは、上記出演者の各種メディアへの出演頻度に関する出演頻度情報を取得し、
   上記うつ状態判別ステップでは、上記参照用動画像情報と、予め出演頻度データを類型化した参照用出演頻度情報を有する組み合わせと、うつ状態のレベルとの３段階以上の連関度を利用し、上記情報取得ステップにおいて取得した動画像情報に応じた参照用動画像情報と出演頻度情報に応じた参照用出演頻度情報とを有する組み合わせと、うつ状態のレベルとの３段階以上の連関度に基づき、上記出演者のうつ状態を判別すること
   を特徴とする請求項１記載のうつ状態判別プログラム。
7. 上記うつ状態判別ステップでは、人工知能におけるニューラルネットワークのノードの各出力の重み付け係数に対応する上記連関度を利用すること
   を特徴とする請求項１～６のうち何れか１項記載のうつ状態判別プログラム。

Images