JP2015197803A - 行動記録装置、行動記録方法及びプログラム - Google Patents

Abstract

【課題】生活行動の監視対象者が撮影された画像のみを選択的に記録することを目的とする。
【解決手段】装着型の行動記録装置であって、撮影手段と、行動記録装置の装着部位と頭部とが取り得る相対的な位置関係と、撮影手段による撮影画像と、に基づいて、撮影画像が装着者の頭部の画像であるか否かを判定する判定手段と、装着者の頭部であると判定された場合に、撮影画像を記憶手段に記録する記録手段とを有する。
【選択図】図１

Description

本発明は、行動記録装置、行動記録方法及びプログラムに関する。

従来、健康を維持する方法として、体調不良が深刻化する前にその兆候を発見して、早期にケアを始める方法が知られている。健康不良の兆候は、体調変化だけでなく、生活行動の変化にも表れる。例えば、「食事の量が急激に増える」という生活行動の変化は、メタボリックシンドロームに至る兆候であったり、ストレスによるメンタル疾患の兆候であったりする。食生活の変化以外にも、睡眠状況の変化や、表情の変化、姿勢の変化などが、体調不良の兆候となり得る生活行動の変化として挙げられる。
体調不良が深刻化する前は、体調良好時に対する体調や生活行動の変化の度合いは小さいため、健康診断等一時的な観察では、このような変化は見逃され易い。体調不良の兆候の早期発見のためには、できるだけ高頻度に、理想的には四六時中、体調や生活行動を記録し続け、体調や生活行動の変化の傾向を把握するのが望ましい。また、現象としては同じ兆候でも、その意味するところは個人によって差があるので、通常時（健康時）の変化の度合いや傾向を知っておくことも重要である。
特許文献１には、手首装着型のカメラデバイスによって、装着者の手を使った行動を推定する機器が開示されている。この機器は、手先方向の撮影映像を用いて、「薬を飲む（薬を手に持つ）」、「お茶を飲む」といった日常の服薬行動や食事行動を記録する。これにより、飲むべき薬を飲み忘れている、普段に比べて水分摂取量が少ない、といった生活行動の変化を知ることができ、それに基づいて脱水症状や認知症（モノ忘れ）を疑うことができる。

特開２０１０−２７１９７８号公報

ところで、上記の装着型機器が検出した情報は、すべて装着者の生活行動として記録されるが、実際には、第三者の生活行動が記録される可能性もある。手首装着型のカメラデバイスにおいて薬が撮影された場合、装着者が薬を服用したという行動生活が記録されるが、実際には必ずしも装着者が薬を飲んだとは限らない。手にした薬を周囲の人に渡している可能性もある。
これに対し、何らかの行動を行う度に、装着者が機器のボタンを押すことにより、行動記録に「今の行動の主体は装着者である」というタグをつけることも考えられるが、これでは装着者にとって面倒である。
また、予めカメラデバイスで装着者の画像を撮影し、これを登録画像として記録しておき、登録画像との比較により、撮影により得られた生活行動の主体が装着者であるか否かを判定する方法も考えられる。しかしながら、例えば手首装着型の機器では、機器と装着者の位置関係は一定ではないため、登録画像との比較では装着者か否かを正確に判定するのは難しい。

本発明はこのような問題点に鑑みなされたもので、生活行動の監視対象者が撮影された画像のみを選択的に記録することを目的とする。

そこで、本発明は、装着型の行動記録装置であって、撮影手段と、行動記録装置の装着部位と頭部とが取り得る相対的な位置関係と、撮影手段による撮影画像と、に基づいて、撮影画像が装着者の頭部の画像であるか否かを判定する判定手段と、装着者の頭部であると判定された場合に、撮影画像を記憶手段に記録する記録手段とを有する。

本発明によれば、生活行動の監視対象者が撮影された画像のみを選択的に記録することができる。

行動記録システムを示す図である。 行動記録装置のハードウェア構成を示す図である。 行動記録装置のソフトウェア構成を示す図である。 行動記録処理を示すフローチャートである。 第２の実施形態にかかる行動記録装置のソフトウェア構成を示す図である。 第２の実施形態にかかる行動記録処理を示すフローチャートである。 第３の実施形態にかかる行動記録装置のハードウェア構成を示す図である。 第３の実施形態にかかる行動記録装置のソフトウェア構成を示す図である。 第３の実施形態にかかる行動記録処理を示すフローチャートである。

以下、本発明の実施形態について図面に基づいて説明する。
（第１の実施形態）
図１は、行動記録システムを示す図である。行動記録システムは、行動記録装置１０１と、サーバ装置１１０とを有している。行動記録装置１０１は、図１に示すように、人体の手首を装着部位とする、装着型の装置である。行動記録装置１０１は、生活行動の監視対象者の手首に装着された状態で、内蔵カメラにより周囲を撮影する。そして、行動記録装置１０１は、装着者の顔や頭に関連した行動情報として、装着者が撮影された装着者画像のみを選択的にサーバ装置１１０に送信する。
サーバ装置１１０は、行動記録装置１０１から受信した撮影画像から、顔や頭に関連した行動情報を認識し記録する。ここで、顔や頭に関連した行動情報は、口に食べ物や飲み物を運ぶ飲食行動、髪の毛を梳かす身繕い行動、表情変化等の情報である。なお、本実施形態にかかる行動記録装置１０１は、人体の手首を装着部位として想定するものであるが、装着部位はこれに限定されるものではない。

図２は、行動記録装置１０１のハードウェア構成を示す図である。行動記録装置１０１は、ＣＰＵ２０１と、ＲＯＭ２０２と、ＲＡＭ２０３と、ＨＤＤ２０４と、表示部２０５と、入力部２０６と、ネットワークＩ／Ｆ部２０７と、撮影部２０８とを有している。ＣＰＵ２０１は、ＲＯＭ２０２に記憶された制御プログラムを読み出して各種処理を実行する。ＲＡＭ２０３は、ＣＰＵ２０１の主メモリ、ワークエリア等の一時記憶領域として用いられる。ＨＤＤ２０４は、画像データや各種プログラム等各種情報を記憶する。表示部２０５は、各種情報を表示する。入力部２０６は、ユーザによる各種操作を受け付ける。ネットワークＩ／Ｆ部２０７は、ネットワークを介してサーバ装置１１０等の外部装置との通信処理を行う。

撮影部２０８は、行動記録装置１０１の起動中に動画の撮影を行うカメラである。なお、行動記録装置１０１は、２以上のカメラを備えてもよい。撮影部２０８は、後述する行動記録処理の実行中、撮影を継続する。
なお、後述する行動記録装置１０１の機能や処理は、ＣＰＵ２０１がＲＯＭ２０２又はＨＤＤ２０４に格納されているプログラムを読み出し、このプログラムを実行することにより実現されるものである。

図３は、行動記録装置１０１のソフトウェア構成を示す図である。行動記録装置１０１は、撮影画像受付部３０１と、パターン画像記憶部３０２と、装着者判定部３０３と、撮影画像記憶部３０４と、画像処理部３０５と、通信部３０６とを有している。また、サーバ装置１１０は、通信部３１１と、行動認識部３１２とを有している。
行動記録装置１０１は、動画として得られた画像をフレーム単位で撮影画像として受け付ける。撮影画像受付部３０１は、撮影部２０８により得られた撮影画像を受け付ける。パターン画像記憶部３０２は、行動記録装置１０１が装着部位（手首）に装着された状態において、撮影部２０８が撮影し得る装着者の頭部の画像パターンを網羅的に記憶する。具体的には、同一人物の頭部と手首とが取り得る相対的な位置関係がある範囲に制限されることに対応し、パターン画像記憶部３０２は、この頭部と手首の相対的な位置関係から想定される、装着者の頭部の複数の画像パターンを記憶する。なお、頭部とは、頭の他顔を含む部位である。

パターン画像記憶部３０２に記憶されている画像パターンは、ＣＰＵ２０１により、コンピュータグラフィックス等を用いて、以下の手順で作成される。まず、ＣＰＵ２０１は、仮想空間内に、撮影部２０８に対応する仮想カメラを設置する。そして、ＣＰＵ２０１は仮想カメラの位置及び向きに対して、一般的な人体の手首から肘までの距離だけ左右方向に離れた２点それぞれの位置を、仮想カメラに対してとり得る肘の位置として算出する。ここで言う「左右方向」は、行動記録装置１０１が手首に巻きつく部分で作られる円面の法線方向である。
次に、ＣＰＵ２０１は、上記のように算出した位置から、一般的な人体の肘から肩までの距離だけ離れた位置を、仮想カメラに対して取り得る肩の位置として算出する。肘関節は、ある面上において０度（肘が伸びた状態）からおよそ１２０度（肘を曲げた状態：個人差がある）まで曲がる。したがって、取り得る肩の位置はその屈曲角をパラメータとして表現することができる。屈曲角パラメータの範囲には、一般的な最大屈曲角度である１２０度を利用するものとする。すなわち、肘の位置を中心に、一般的な人体の肘から肩までの距離を半径とした内角１２０度の円弧上が、仮想カメラに対して取り得る肩の位置範囲となる。

また、手首に対する行動記録装置１０１の位置が未定なので、手首周りの円弧を肘と手首を結ぶベクトルを中心として３６０度回転させた範囲を仮想カメラに対して取り得る肩の位置範囲とする。
ＣＰＵ２０１は、上記と同様にして、一般的な人体の肩から首までの距離及び一般的な肩関節の可動可能角度を考慮して、仮想カメラに対して取り得る頭の位置範囲を算出する。肩関節は、前額面上ではおよそ３６０度の回転が可能、水平面上・矢状面上では１８０度強の回転が可能である。

ＣＰＵ２０１は、最後に、上記の通り算出された仮想カメラに対する頭部の位置範囲内に、一定密度／間隔で頭部を表現するコンピュータグラフィックスモデルを配置する。そして、ＣＰＵ２０１は、仮想カメラで、この頭部モデルを撮影して得られる画像を生成する。すなわち、ＣＰＵ２０１は、装着部位の位置を撮影位置として、仮想カメラが撮影可能な頭部のパターン画像をコンピュータグラフィックス画像として得ることができる。なお、頭部モデルを配置する密度／間隔を大きくすれば、パターン画像の数は少なくなり、密度／間隔を小さくすれば、パターン画像の数は多くなる。ＣＰＵ２０１は、後述する行動記録処理の前に、パターン画像を生成し、パターン画像記憶部３０２に格納しておくこととする。
このように、撮影部２０８が撮影し得る装着者の頭部のパターン画像を用意することができるのは、人の身体構造的に、身体部位の可動範囲が限定的だからである。例えば人の腕の長さは急に伸びたりすることはできないので、手首に装着された行動撮影装置１００において、装着者の頭部を、腕の長さよりも遠く離れた所から小さく撮影することはできない。また、肘や肩の屈曲範囲の制約から、右手首に装着されたカメラで、頭部の右側面をさかさまに撮影することもできない。

なお、他の例としては、ＣＰＵ２０１は、一般的な人体サイズに替えて、装着者の性別や年齢／年代に応じた人体サイズ、または実際の装着者のサイズを利用してもよい。この場合には、ＣＰＵ２０１は、例えば、入力部２０６を介して、装着者から、装着者の性別等や実際の手首から肘までの距離の入力を受け付けるものとする。
また、他の例としては、パターン画像記憶部３０２に記憶されているパターン画像は、行動記録装置１０１以外の装置において予め作成されたものであってもよい。この場合、ＣＰＵ２０１は、外部装置からパターン画像を受け付け、これをパターン画像記憶部３０２に格納する。

装着者判定部３０３は、撮影画像受付部３０１が受け付けた撮影画像と、パターン画像記憶部３０２に記憶されているパターン画像とを比較し、比較結果に基づいて、撮影画像中の頭部が装着者の頭部か否かを判定する。具体的には、装着者判定部３０３は、パターン画像記憶部３０２に記憶されているパターン画像と、撮影画像とを比較し、同一性があるか否かを判断する。
そして、装着者判定部３０３は、同一性があると判断した場合に、撮影画像は、同一性があると判定されたパターン画像に対応する相対的な位置関係において撮影された、装着者の頭部の画像であると判定する。すなわち、装着者判定部３０３は、撮影画像と同一性のあるパターン画像が存在する場合に、撮影画像が装着者の頭部の画像、すなわち装着者画像であると判定する。ここで、頭部とは、頭及び顔を含む部位である。

装着者判定部３０３は、画像同士の同一性判定には、一般的に知られた方法を利用する。装着者判定部３０３は、例えば、双方の画像に何らかの画像処理を施して特徴量を算出し、双方の値や分布を比べることで、同一性を判定する。具体的には、装着者判定部３０３は、双方の画像にガウシアンフィルターを施した後に、画素毎に両画像の差分を取り、平均二乗誤差を算出し、その誤差が閾値以下となる場合に、同一性を有すると判断する。
装着者判定部３０３は、装着者の頭部が写っていると判定された撮影画像を、撮影画像中の装着者が写る装着者領域を示す領域情報と共に、撮影画像記憶部３０４に記録する。
撮影画像記憶部３０４は、撮影画像と領域情報とを対応付けて記憶する。撮影画像記憶部３０４は、ＲＡＭ２０３等により一時的に撮影画像等を記憶するものとする。画像処理部３０５は、撮影画像記憶部３０４から撮影画像と領域情報とを読み出す。また、画像処理部３０５は、読み出した撮影画像等を撮影画像記憶部３０４から削除する。

画像処理部３０５は、撮影画像記憶部３０４より撮影画像を受け取ると、その撮影画像に対して、画像処理を施す。画像処理としては、例えば画像サイズを小さくするための圧縮処理、撮影画像中に映る装着者の表情を認識する処理、撮影画像中の装着者の顔の近くに映る物体を認識する処理等が挙げられる。
画像処理部３０５は、上記処理の他、領域情報に示される装着者領域以外の領域に対し、モザイク処理や、単色で塗り潰すといった、装着者領域以外の領域を、閲覧者にとって視認不可能な状態にするような画像処理を施す。これにより、装着者以外の人物が撮影画像中に写りこんでいた場合には、装着者以外の人物にはモザイク処理が施されることとなる。したがって、行動記録装置１０１が、サーバ装置１１０に、装着者以外の人物の画像を送信することがなくなるため、装着者以外の人物のプライバシーを保護することができる。通信部３０６は、ネットワークを介して画像処理後の撮影画像をサーバ装置１１０に送信する。

サーバ装置１１０の通信部３１１は、ネットワークを介して、行動記録装置１０１から撮影画像を受信する。行動認識部３１２は、撮影画像から、装着者の顔や頭に関連した行動を認識し、これを記録する。顔や頭に関連した行動としては、例えば、表情表出、口に食べ物や飲み物を運ぶ飲食行動、髪の毛を梳かす身繕い行動等が挙げられる。
例えば、行動認識部３１２は、一般的に知られている表情認識技術により、撮影画像から装着者の表情を認識し、これを記録する。すなわち、行動認識部３１２は、行動記録装置１０１から順次送られてくる撮影画像に対して表情認識を行い、結果を記録し続ける。
これにより、刻々と変わる装着者の表情変化を記録し続けるサービスが実現される。すなわち、サーバ装置１１０は、装着者が一日のうちにどの程度笑顔でいたか、いつ悲しい顔をしたか、一日何回不機嫌になったか等を記録することができる。この記録に表れる表情変化の傾向から、メンタルヘルス失調の兆候を読み取ることができる。例えば普段は笑顔の回数が多い装着者が、急に笑顔の回数が減り、不機嫌な表情の割合が増えたとすれば、その変化をメンタルヘルス失調の兆候として読み取ることができる。

行動認識部３１２は、また撮影画像と共に装着者の顔の近くに映る物体の認識結果を受け取った場合には、その認識結果が食べ物や飲み物の容器や薬のようなタブレットといった飲食物である場合に、認識結果を記録する。装着者の顔の近くに映る物体の認識結果の例としては、箸先の食べ物、パン、フォークに刺さった食べ物、錠剤、透明容器又は不透明な容器に入った液体（水やお酒）、ひげそり、化粧用のブラシ、口紅、リップクリーム、櫛等が挙げられる。
このように、行動記録システムは、認識結果に対し、飲食物判定を行って記録し続けることにより、装着者が生活する中で口にする飲食物を記録し続けるサービスを実現することができる。上記に例示した認識結果の中では、箸先の食べ物、パン、フォークに刺さった食べ物、錠剤、透明容器又は不透明な容器に入った液体（水やお酒）が飲食物である。したがって、行動認識部３１２は、これらを記録すればよい。行動認識部３１２は、さらに飲食物の量も併せて記録してもよい。
行動記録システムは、同様に、認識結果に対し、身繕いに関係した物体を記録すれば、身繕い行動を記録し続けるサービスを実現することができる。上記に例示した認識結果の中では、ひげそり、化粧用のブラシ、口紅、リップクリーム、櫛が身繕いに関連した物体である。したがって、行動認識部３１２は、これらを記録すればよい。身繕い行動からは、認知症の発症の兆候を読み取ることができる。

図４は、行動記録装置１０１による行動記録処理を示すフローチャートである。行動記録装置１０１は、装着者の手首に装着された状態にあるとする。そして、ＣＰＵ２０１は、入力部２０６を介して装着者から行動記録処理の開始指示を受け付けた場合に、行動記録処理を開始する。行動記録処理が開始すると、ＣＰＵ２０１は、撮影部２０８に対し、撮影開始を指示する。撮影部２０８は、撮影開始の指示に従い、撮影を開始し、その後ＣＰＵ２０１から撮影終了の指示を受け付けるまで、撮影を継続する。
Ｓ４０１において、撮影画像受付部３０１は、撮影部２０８により得られた撮影画像を受け付ける。次に、Ｓ４０２において、装着者判定部３０３は、撮影画像と、パターン画像記憶部３０２に記憶されているパターン画像とを比較し、比較結果から、撮影画像が装着者画像か否かを判定する。ここで、Ｓ４０２の処理は、比較処理及び判定処理の一例である。

装着者判定部３０３は、撮影画像とパターン画像との比較の結果、撮影画像が装着者の頭部の画像、すなわち装着者画像であると判定した場合には（Ｓ４０３でＹｅｓ）、処理をＳ４０４へ進める。装着者判定部３０３は、撮影画像が装着者画像でないと判定した場合には（Ｓ４０３でＮｏ）、処理をＳ４０１へ進める。すなわち、行動記録装置１０１は、撮影画像が装着者画像でないと判定した場合には（Ｓ４０３でＮｏ）、撮影画像を撮影画像記憶部３０４に記録することなく、Ｓ４０１において、次に撮影された撮影画像を受け付ける。
Ｓ４０４において、装着者判定部３０３は、装着者画像であると判定した撮影画像を、装着者の領域情報に対応付けて撮影画像記憶部３０４に記録する。ここで、Ｓ４０４の処理は、記録処理の一例である。次に、Ｓ４０５において、画像処理部３０５は、撮影画像記憶部３０４に記憶された撮影画像に対し、圧縮処理等の画像処理の他、装着者領域以外の領域を、閲覧者にとって視認不可能な状態にするような画像処理を行う。ここで、Ｓ４０５の処理は、画像処理の一例である。

次に、Ｓ４０６において、通信部３０６は、画像処理後の撮影画像をサーバ装置１１０に送信する。ここで、Ｓ４０６の処理は、送信処理の一例である。次に、Ｓ４０７において、画像処理部３０５は、サーバ装置１１０に送信された撮影画像を撮影画像記憶部３０４から削除し、処理をＳ４０１へ進める。
なお、Ｓ４０７の処理は、画像処理部３０５が撮影画像記憶部３０４から撮影画像を読み出した後に実行されればよく、その実行順番は実施形態に限定されるものではない。ＣＰＵ２０１は、入力部２０６を介して、装着者から行動記録処理の終了指示を受け付けた場合に、行動記録処理を終了する。このとき、ＣＰＵ２０１は、撮影部２０８に対し、撮影終了を指示し、撮影部２０８は、撮影を終了する。

以上のように、本実施形態にかかる行動記録装置１０１は、装着部位から周囲の撮影を行い、装着者の頭部が写る撮影画像のみを行動記録として記録する。すなわち、行動記録装置１０１は、生活行動の監視対象者の画像のみを選択的に記録することができる。

なお、第１の実施形態の第１の変更例としては、サーバ装置１１０の行動認識部３１２は、行動記録装置１０１が有してもよい。この場合、行動記録装置１０１は、装着者の行動認識と記録を行うことができる（行動認識処理）。

また、第２の変更例としては、撮影画像記憶部３０４は、不揮発性メモリやＨＤＤ２０４等により長期的に撮影画像等を記憶するものでもよい。この場合、画像処理部３０５は、撮影画像等を読み出した場合に、撮影画像記憶部３０４から読み出した情報を削除する処理を行わないこととする。さらに、本変更例において、撮影画像記憶部３０４は、画像処理部３０５による画像処理後の撮影画像を記憶してもよい。

第３の変更例としては、行動記録装置１０１は、ＣＰＵ２０１の他に、ハードウェア構成として画像処理部を備えてもよい。この場合、画像処理部３０５の処理は、ＣＰＵ２０１に替えて、ハードウェアとしての画像処理部が実行する。

第４の変更例としては、画像処理部３０５は、閲覧者にとって視認不可能な状態にするような画像処理を行うことなく、圧縮処理等のみ施された撮影画像をサーバ装置１１０に送信してもよい。この場合には、装着者判定部３０３は、領域情報を記録することなく、撮影画像のみを撮影画像記憶部３０４に記録すればよい。

第５の変更例としては、行動記録装置１０１は、画像処理部３０５を有さず、装着者判定部３０３により装着者の画像を含むと判定された撮影画像を、通信部３０６を介してサーバ装置１１０に送信してもよい。

第６の変更例としては、撮影部２０８は、動画に替えて静止画を定期的に撮影してもよい。この場合、行動記録装置１０１は、静止画を撮影画像として選択的に記録する。

（第２の実施形態）
次に、第２の実施形態にかかる行動記録装置について説明する。なお、ここでは、第２の実施形態にかかる行動記録装置について、第１の実施形態にかかる行動記録装置１０１と異なる点について説明する。図５は、第２の実施形態にかかる行動記録装置１０２のソフトウェア構成を示す図である。行動記録装置１０１は、撮影画像受付部３０１と、頭部検出部５０１と、頭部推定部５０２と、装着部位推定部５０３と、人体モデル記憶部５０４と、装着者判定部５０５と、撮影画像記憶部３０４と、画像処理部３０５と、通信部３０６とを有している。なお、図５において、第１の実施形態にかかる行動記録装置１０１の各部と同一の部には、同一番号を付している。
頭部検出部５０１は、撮影画像受付部３０１が受け付けた撮影画像の中から人の頭部が写っている領域を検出する。頭部検出部５０１は、具体的には、撮影画像において、人の頭部に関する画像特徴を検索し、画像特徴量が検出された場合に、頭部を検出したと判定する。頭部検出部５０１は、頭部を検出すると、頭部領域を示す領域情報を生成し、撮影画像と領域情報を頭部推定部５０２へ送る。なお、１つの撮影画像中に複数の頭部が含まれる場合、頭部検出部５０１は、すべての頭部を検出し、すべての頭部に対応する領域情報を撮影画像と共に、頭部推定部５０２へ送る。
画像特徴としては、局所領域における勾配方向をヒストグラム化した特徴量であるＨｉｓｔｏｇｒａｍｓ ｏｆ Ｏｒｉｅｎｔｅｄ Ｇｒａｄｉｅｎｔｓ（ＨＯＧ）特徴量等が挙げられる。なお、頭部の画像特徴は、頭部の映る画像を多量に集め、それらに含まれる特徴量に共通するものを、例えばＢｏｏｓｔｉｎｇと呼ばれるアルゴリズムを用いて、統計的に学習することによって決定される。

頭部推定部５０２は、頭部検出部５０１から受け取った撮影画像と領域情報とに基づいて、撮影部２０８に対する、検出された頭部の三次元的な位置及び向きを推定する。ここで、向きとは、例えば、頭頂部、鼻等頭部の基準位置の法線方向とする。頭部推定部５０２の具体的な処理については、例えば、Ｐｈｉｌｉｐ ＤｅＣａｍｐ．（２００７） ＨｅａｄＬｏｃｋ： Ｗｉｄｅ−Ｒａｎｇｅ Ｈｅａｄ Ｐｏｓｅ Ｅｓｔｉｍａｔｉｏｎ ｆｏｒ Ｌｏｗ Ｒｅｓｏｌｕｔｉｏｎ Ｖｉｄｅｏ．Ｍ．Ｓｃ．ｉｎ Ｍｅｄｉａ Ａｒｔｓ ａｎｄ Ｓｃｉｅｎｃｅｓ Ｔｈｅｓｉｓ．を参照することができる。
具体的には、頭部推定部５０２は、一般的な三次元仮想頭部モデルの仮想カメラに対する位置と向きを変化させながら、仮想カメラにおいて撮影される仮想画像を生成する。続いて、頭部推定部５０２は、生成した仮想画像中の仮想頭部モデルの領域と、頭部検出部５０１から受け取る画像中の頭部検出領域を前述した特徴量に基づき比較する。そして頭部推定部５０２は、仮想頭部モデルの領域と撮影画像中の頭部領域が同等の画像である場合に、この仮想頭部モデルの仮想カメラに対する位置及び向きを、撮影画像中の人物の頭部の位置及び向きと推定する。
ここで、頭部推定部５０２は、両画像の差異が予め設定された基準値以下となった場合に、同等の画像と判断することとする。さらに、頭部推定部５０２は、両画像の差異が基準値以下となるような仮想画像が複数存在する場合には、差異が最小となる仮想画像の仮想頭部モデルの領域と、撮影画像中の頭部領域が同等の画像であると判断する。
なお、頭部推定部５０２は、撮影画像と共に複数の領域情報を受け取った場合には、各領域情報に対応する人物の頭部の位置及び向きを推定する。

装着部位推定部５０３は、頭部推定部５０２により推定された頭部の位置及び向きから定まる仮想カメラの位置及び向きを、装着部位の位置及び向きとして推定する。人体モデル記憶部５０４は、一般的な仮想人体モデルを記録する。ここで、仮想人体モデルは、同一人物の人体において、頭部と装着部位が取り得る相対的な位置関係を示す情報である。
以下、頭部推定部５０２により得られた頭部の位置及び向きを頭部推定値、装着部位推定部５０３により得られた装着部位の位置及び向きを装着部位推定値と称することとする。

装着者判定部５０５は、頭部推定と、装着部位推定値と、仮想人体モデルに基づいて、検出された頭部が装着者の頭部であるか否かを判定する。そして、装着者判定部５０５は、装着者の頭部であると判定した場合に、撮影画像は装着者画像であると判定する。具体的には、装着者判定部５０５は、頭部推定値と装着部位推定値とが、仮想人体モデルにおける頭部と装着部位である手首が実現可能な相対的な位置関係を満たす場合に、検出された頭部が装着者の頭部であると判定する。
頭部推定値と装着部位推定値とが、仮想人体モデルにおける相対的な位置関係を満たすか否かは、仮想人体モデルにおいて、頭部推定値から装着部位推定値を再現できるかどうかにより判定される。この再現性の可否は、ロボットハンド制御等で用いられるインバースキネマティクス問題を解くことができるかどうかの可否と、問題の性質として類似点がある。インバースキネマティクス問題とは、腕のような多関節物体の両端の位置及び姿勢を指定した時に、それを実現する関節角度を、関節の可動範囲や物体の長さの制約の中で解くことである。インバースキネマティクスの解き方は一般に知られている。
装着者判定部５０５は、インバースキネマティクスを用いて、仮想人体モデルにおいて、頭部推定値に対する装着部位推定値を再現できるか否かを判定することができる。すなわち、装着者判定部５０５は、撮影画像が人体の関節としての制約を満たす条件下で、装着者が撮影可能な画像であるか否かに基づいて、撮影画像が装着者画像であるか否かを判定する。

装着者判定部５０５は、連続する撮影画像のうち一の撮影画像に対し、装着者画像であると判定した場合には、続く撮影画像に対しては、頭部領域の位置及び向きに基づいて、装着者か否かを判定する。
ここで、装着者判定部５０５が装着者画像と判定した撮影画像を第１の撮影画像、第１の撮影画像に続いて、撮影画像受付部３０１が受け付けた撮影画像を第２の撮影画像とし、装着者判定部５０５が第２の撮影画像が装着者画像か否かを判定するとする。
この場合、装着者判定部５０５は、第１の撮影画像中の装着者の頭部の位置及び向きと、第２の撮影画像中の人物の頭部の位置及び向きの変化量と閾値とを比較する。そして、装着者判定部５０５は、変化量が閾値未満である場合に、第２の撮影画像は、装着者画像であると判定する。そして、装着者判定部５０５は、装着者画像であると判定した第２の撮影画像を頭部領域の領域情報に対応付けて撮影画像記憶部３０４に記録する。なお、領域情報は、装着者の頭部だけでなく、装着者の領域であってもよい。

図６は、第２の実施形態にかかる行動記録装置１０２による、行動記録処理を示すフローチャートである。図６において、第１の実施形態にかかる行動記録処理の各処理と同一の処理には、同一番号を付している。ここでは、第１の実施形態にかかる行動記録処理と異なる処理について説明する。
Ｓ４０１において、撮影画像受付部３０１が撮影画像を受け付けると、次に、Ｓ６０１において、頭部検出部５０１は、撮影画像から人物の頭部を検出する。頭部検出部５０１は、人物の頭部を検出すると（Ｓ６０２でＹｅｓ）、処理をＳ６０３へ進める。頭部検出部５０１は、人物の頭部を検出しない場合には（Ｓ６０２でＮｏ）、処理をＳ４０１へ進める。すなわち、この場合、行動記録装置１０２は、撮影画像を記録することなく、Ｓ４０１において、新たな撮影画像を受け付ける。

Ｓ６０３において、頭部推定部５０２は、画像特徴に基づいて、検出された頭部の位置及び向きを推定する。次に、Ｓ６０４において、装着部位推定部５０３は、頭部推定値から定まる仮想カメラの位置及び向きを、装着部位の位置及び向きとして推定する。ここで、Ｓ６０３及びＳ６０４の処理は、それぞれ頭部推定処理及び装着部位推定処理の一例である。
次に、Ｓ６０５において、装着者判定部５０５は、直前画像が装着者画像であるか否かを確認する。ここで、直前画像とは、撮影画像受付部３０１が、Ｓ６０５における処理対象の撮影画像の直前に受け付けた撮影画像である。装着者判定部５０５は、直前画像が装着者画像である場合には（Ｓ６０５でＹｅｓ）、処理をＳ６０７へ進める。装着者判定部５０５は、直前画像が装着者画像でない場合には（Ｓ６０５でＮｏ）、処理をＳ６０６へ進める。なお、装着者判定部５０５は、処理対象の撮影画像が先頭の画像である場合、すなわち直前画像が存在しない場合には、処理をＳ６０６へ進める。

Ｓ６０６において、装着者判定部５０５は、頭部推定部５０２及び装着部位推定部５０３による推定結果と人体モデルにおける相対的な位置関係とに基づいて、撮影画像が装着者画像であるか否かを判定する。すなわち、装着者判定部５０５は、頭部推定値及び装着部位推定値が、仮想人体モデルにおける相対的な位置関係を満たす場合に、撮影画像が装着者画像であると判定する。そして、装着者判定部５０５は、処理をＳ６０８へ進める。
一方、Ｓ６０７においては、装着者判定部５０５は、処理対象の撮影画像中の頭部の位置及び向きの、装着者画像としての直前画像中の装着者の頭部の位置及び向きに対する変化量が基準値とを比較する。そして、装着者判定部５０５は、変化量が基準値未満である場合に、処理対象の撮影画像が装着者画像であると判定する。そして、装着者判定部５０５は、処理をＳ６０８へ進める。
装着者判定部５０５は、撮影画像が装着者画像であると判定した場合には（Ｓ６０８でＹｅｓ）、処理をＳ４０４へ進める。装着者判定部５０５は、撮影画像が装着者画像でないと判定した場合には（Ｓ６０８でＮｏ）、処理をＳ４０１へ進める。すなわち、行動記録装置１０１は、撮影画像を撮影画像記憶部３０４に記録することなく、Ｓ４０１において、次に撮影された撮影画像を受け付ける。なお、第２の実施形態にかかる行動記録装置１０２のこれ以外の構成及び処理は、第１の実施形態にかかる行動記録装置１０１の構成及び処理と同様である。

以上のように、第２の実施形態にかかる行動記録装置１０２は、第１の実施形態にかかる行動記録装置１０１と同様に、生活行動の監視対象者の画像のみを選択的に記録することができる。

なお、第２の実施形態の変更例としては、装着者の腕や頭のサイズが既知である場合には、人体モデル記憶部５０４は、装着者に対応する人体モデルを記憶してもよい。
また、第１の実施形態に係る行動記録装置１０１も、第２の実施形態にかかる行動記録装置１０２と同様に、直前の撮影画像が装着者画像と判定された場合には、頭部の位置及び向きの変化量に基づいて、装着者画像か否かを判定してもよい。

（第３の実施形態）
次に、第３の実施形態にかかる行動記録装置について説明する。なお、ここでは、第３の実施形態にかかる行動記録装置について、他の実施形態にかかる行動記録装置１０１,１０２と異なる点について説明する。図７は、第３の実施形態にかかる行動記録装置１０３のハードウェア構成を示す図である。行動記録装置１０３は、他の実施形態にかかる行動記録装置のハードウェア構成に加えて、生体情報計測部７０１をさらに有している。生体情報計測部７０１は、装着者に装着する位置に設けられ、装着部位に接触し、直接的に装着部位の生体情報を計測する。ここで、生体情報は、心拍数とする。
図８は、第３の実施形態にかかる行動記録装置１０３のソフトウェア構成を示す図である。行動記録装置１０３は、撮影画像受付部３０１と、頭部検出部５０１と、生体情報推定部８０１と、生体情報受付部８０２と、装着者判定部８０３と、撮影画像記憶部３０４と、画像処理部３０５と、通信部３０６とを有している。なお、図８において、他の実施形態にかかる行動記録装置の各部と同一の部には、同一番号を付している。

生体情報推定部８０１は、撮影画像及び頭部領域の領域情報に基づいて、頭部に対応する人物の生体情報を推定する。なお、生体情報推定部８０１は、生体情報計測部７０１が計測する生体情報と同じ種類の生体情報を推定することとする。すなわち、本実施形態にかかる生体情報推定部８０１は、頭部の心拍数を推定する。生体情報推定部８０１は、例えば、撮影画像中の顔領域のＲＧＢ画素値の揺らぎを解析することにより、その顔の表出する心拍数を推定する。生体情報推定部８０１の処理の詳細については、Ｐｏｈ，Ｍ．Ｚ．，ＭｃＤｕｆｆ，Ｄ．Ｊ．，Ｐｉｃａｒｄ，Ｒ．Ｗ．，"Ａ Ｍｅｄｉｃａｌ Ｍｉｒｒｏｒ ｆｏｒ Ｎｏｎ−Ｃｏｎｔａｃｔ Ｈｅａｌｔｈ Ｍｏｎｉｔｏｒｉｎｇ，" ＡＣＭ ＳＩＧＧＲＡＰＨ Ｅｍｅｒｇｉｎｇ Ｔｅｃｈｎｏｌｏｇｉｅｓ，Ａｕｇ ２０１１．を参照することができる。
生体情報受付部８０２は、生体情報計測部７０１が計測した生体情報（心拍数）を受け付ける。装着者判定部８０３は、生体情報推定部８０１により推定された生体情報と、生体情報受付部８０２が受け付けた生体情報とに基づいて、撮影画像が装着者画像であるか否かを判定する。具体的には、装着者判定部８０３は、推定された生体情報と、計測された生体情報の差が差分閾値未満である場合に、これらは同一人物により得られた生体情報である、すなわち、撮影画像は装着者の頭部の画像であると判定する。また、他の例としては、装着者判定部８０３は、推定された生体情報と、計測された生体情報の変化のリズム（振動周波数）の差が一定範囲内である場合に、これらは同一人物により得られた生体情報であると判定してもよい。

図９は、第３の実施形態にかかる行動記録装置１０３による、行動記録処理を示すフローチャートである。Ｓ４０１において撮影画像を受け付け、Ｓ６０１において頭部が検出された場合に、Ｓ９０１において、生体情報推定部８０１は、撮影画像と、頭部領域の領域情報とに基づいて、生体情報としての心拍数を推定する。ここで、Ｓ９０１の処理は、推定処理の一例である。
次に、Ｓ９０２において、生体情報受付部８０２は、生体情報計測部７０１から計測結果としての生体情報を受け付ける。ここで、Ｓ９０２の処理は、受付処理の一例である。次に、Ｓ９０３において、装着者判定部８０３は、推定された生体情報と、計測された生体情報と、に基づいて、撮影画像が装着者画像か否かを判定する。ここで、Ｓ９０３の処理は、判定処理の一例である。
装着者判定部８０３は、撮影画像が装着者画像であると判定した場合には（Ｓ９０３でＹｅｓ）、処理をＳ４０４へ進める。装着者判定部８０３は、撮影画像が装着者画像でないと判定した場合には（Ｓ９０３でＮｏ）、処理をＳ４０１へ進める。
なお、第３の実施形態にかかる行動記録装置１０３のこれ以外の構成及び処理は、他の実施形態に係る行動記録装置の構成及び処理と同様である。

以上のように、第３の実施形態にかかる行動記録装置１０３は、撮影画像から推定される生体情報と、装着部位において計測された生体情報とに基づいて、撮影画像が装着者の頭部の画像であるか否かを判定する。そして、行動記録装置１０３は、この判定結果に基づいて、装着者画像のみを選択的に記録することができる。

第３の実施形態の変更例としては、生体情報計測部７０１が計測する生体情報の種類は実施形態に限定されるものではない。他の例としては、生体情報計測部７０１は、手首の皮膚温度を計測してもよい。さらに、この場合、撮影部２０８は、赤外領域の光を撮影するものとし、生体情報推定部８０１は、撮影画像の赤外光量に基づいて、頭部の皮膚温度を推定する。
また、他の例としては、生体情報計測部７０１の計測部位は、装着部位に限定されるものではなく、非接触の部位の生体情報を計測してもよい。

＜その他の実施形態＞
また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給する。そして、そのシステム或いは装置のコンピュータ（又はＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。

以上、上述した各実施形態によれば生活行動の監視対象者が撮影された画像のみを選択的に記録することができる。

以上、本発明の好ましい実施形態について詳述したが、本発明は係る特定の実施形態に限定されるものではなく、特許請求の範囲に記載された本発明の要旨の範囲内において、種々の変形・変更が可能である。

１０１ 行動記録装置、１１０ サーバ装置、２０１ ＣＰＵ、２０２ ＲＯＭ、２０３ ＲＡＭ、２０４ ＨＤＤ、２０８ 撮影部、３０１ 撮影画像受付部、３０２ パターン画像記憶部、３０３ 装着者判定部、３０４ 撮影画像記憶部、３０５ 画像処理部、３０６ 通信部、３１１ 通信部、３１２ 行動認識部

Claims (12)

1. 装着型の行動記録装置であって、
   撮影手段と、
   前記行動記録装置の装着部位と頭部とが取り得る相対的な位置関係と、前記撮影手段による撮影画像と、に基づいて、前記撮影画像が装着者の頭部の画像であるか否かを判定する判定手段と、
   前記装着者の頭部であると判定された場合に、前記撮影画像を記憶手段に記録する記録手段と
   を有する行動記録装置。
2. 前記装着部位と頭部が取り得る相対的な位置関係から特定される、前記装着部位の位置を撮影位置とした頭部の複数のパターン画像と、前記撮影画像とを比較する比較手段をさらに有し、
   前記判定手段は、比較結果に基づいて、前記撮影画像が前記装着者の頭部の画像であるか否かを判定する請求項１に記載の行動記録装置。
3. 前記撮影画像から、人物の頭部の位置及び向きを推定する頭部推定手段と、
   前記装着と頭部がとり得る相対的な位置関係と、前記頭部の位置及び傾きと、に基づいて、前記装着部位の位置及び向きを推定する装着部位推定手段と、
   をさらに有し、
   前記判定手段は、前記頭部推定手段及び前記装着部位推定手段による推定結果と、前記相対的な位置関係とに基づいて、前記撮影画像が前記装着者の頭部の画像であるか否かを判定する請求項１に記載の行動記録装置。
4. 前記判定手段は、撮影手段により撮影された第１の撮影画像が前記装着者の頭部の画像であると判定した場合に、前記第１の撮影画像に続いて撮影された第２の撮影画像の前記頭部の位置及び向きの、前記第１の撮影画像の前記頭部の位置及び向きに対する変化量に基づいて、前記第２の撮影画像が前記装着者の頭部の画像であるか否かを判定する請求項２又は３に記載の行動記録装置。
5. 装着型の行動記録装置であって、
   撮影手段と、
   前記撮影手段により撮影された、人物の頭部を含む撮影画像に基づいて、前記撮影画像の人物の第１の生体情報を推定する推定手段と、
   前記行動記録装置の装着者の装着部位における第２の生体情報を受け付ける受付手段と、
   前記第１の生体情報と前記第２の生体情報とに基づいて、前記撮影画像が前記装着者の頭部の画像であるか否かを判定する判定手段と、
   前記装着者の頭部であると判定された場合に、前記撮影画像を記憶手段に記録する記録手段と
   を有する行動記録装置。
6. 前記記憶手段に記録された前記撮影画像のうち、装着者が写る装着者領域以外の領域に対し、閲覧者にとって視認不可能な状態にするような画像処理を施す画像処理手段をさらに有する請求項１乃至５何れか１項に記載の行動記録装置。
7. 前記画像処理後の前記撮影画像を外部装置に送信する送信手段をさらに有する請求項６に記載の行動記録装置。
8. 前記記憶手段に記録された前記撮影画像に基づいて、前記装着者の行動を認識する行動認識手段をさらに有する請求項１乃至７何れか１項に記載の行動記録装置。
9. 装着型の行動記録装置が実行する行動記録方法であって、
   前記行動記録装置の装着部位と頭部とが取り得る相対的な位置関係と、撮影手段により撮影された撮影画像と、に基づいて、前記撮影画像が装着者の頭部の画像であるか否かを判定する判定ステップと、
   前記装着者の頭部であると判定された場合に、前記撮影画像を記憶手段に記録する記録ステップと
   を含む行動記録方法。
10. 装着型の行動記録装置が実行する行動記録方法であって、
    撮影手段により撮影された、人物の頭部を含む撮影画像に基づいて、前記撮影画像の人物の第１の生体情報を推定する推定ステップと、
    前記行動記録装置の装着者の装着部位における第２の生体情報を受け付ける受付ステップと、
    前記第１の生体情報と前記第２の生体情報とに基づいて、前記撮影画像が前記装着者の頭部の画像であるか否かを判定する判定ステップと、
    前記装着者の頭部であると判定された場合に、前記撮影画像を記憶手段に記録する記録ステップと
    を含む行動記録方法。
11. 装着型のコンピュータを、
    前記コンピュータの装着部位と頭部とが取り得る相対的な位置関係と、撮影手段により撮影された撮影画像と、に基づいて、前記撮影画像が装着者の頭部の画像であるか否かを判定する判定手段と、
    前記装着者の頭部であると判定された場合に、前記撮影画像を記憶手段に記録する記録手段と
    して機能させるためのプログラム。
12. 装着型のコンピュータを、
    撮影手段により撮影された、人物の頭部を含む撮影画像に基づいて、前記撮影画像の人物の第１の生体情報を推定する推定手段と、
    前記コンピュータの装着者の装着部位における第２の生体情報を受け付ける受付手段と、
    前記第１の生体情報と前記第２の生体情報とに基づいて、前記撮影画像が前記装着者の頭部の画像であるか否かを判定する判定手段と、
    前記装着者の頭部であると判定された場合に、前記撮影画像を記憶手段に記録する記録手段と
    して機能させるためのプログラム。

Images