JP2016158683A - 画像データ整理システム、画像データ整理装置、画像データ整理サーバー装置プログラム、画像データ整理端末装置プログラムおよび画像データ整理装置プログラム - Google Patents

Abstract

【課題】画像を自動的に整理する技術を提供する。
【解決手段】画像データ整理端末装置は、画像を撮像して画像データを取得する撮像部と、画像データの取得に際して心拍に応じた時系列心拍データを取得する時系列心拍データ取得部と、時系列心拍データを画像データ整理サーバー装置に対して出力する時系列心拍データ出力処理部と、画像データ整理サーバー装置から出力される、癒され度の高い順に並べられた撮像された画像を表示する画像表示部と、を具備し、画像データ整理サーバー装置は、時系列心拍データから癒し度を求める癒し度検出部と、癒され度の高い順に撮像された画像を並べるソーテイング処理部と、を具備する画像データ整理システムとした。
【選択図】図１

Description

本発明は、画像データ整理システム、画像データ整理装置、画像データ整理サーバー装置プログラム、画像データ整理端末装置プログラムおよび画像データ整理装置プログラムに関する。

現在、スマートフォンが広く普及している。スマートフォンは、電話機能とともに種々の機能を有している。スマートフォンの多機能性は、マイクロプロセッサ（ＭＰＵ：microprocessor）で実行されるオペレーティングンシステム、アプリケーションソフトおよびスマートフォンに内蔵されるカメラ機能、ＧＰＳ（Global Positioning System）機能等の種々の機能によって保障される。現在普及している主なるオペレーティングシステムは、アンドロイド（Android：登録商標）、アイオーエス(iOS：登録商標)である。

インターネットの発達に伴い、ネットワーク上に存在するサーバーが提供するサービスを、それらのサーバーを意識することなしに利用できるクラウド・コンピューティング技術が提供されている。

特許文献１には、血流に応じて変化する皮膚の輝度を撮像して輝度データを得るカメラと、画像表示をするディスプレイと、輝度データからＲＲ間隔時系列データを検出するＲＲ間隔時系列データの検出処理部と、ＲＲ間隔時系列データをフーリエ変換するフーリエ変換処理部と、フーリエ変換処理された信号の高周波成分と低周波成分とを分離する高周波成分・低周波成分の検出処理部と、高周波成分に対応する副交感神経の活動と低周波成分に対応する交感神経の活動とをディスプレイに表示するための解析結果データを出力する解析結果データ出力処理部と、を備える、自律神経機能評価装置等が記載されている。

視覚刺激を定量化した指標として、フラクタル次元が提唱されている。また、画像のフラクタル次数を算出する手法も研究されている。例えば、非特許文献１には、フラクタル次元は，視覚刺激をその形状から定量化するものであり，その値によって表象される特徴は刺激の「複雑さ」と呼ばれることが記載されている。非特許文献２には、画像濃度空間の濃度面の起伏の複雑さを示すフラクタル次元を推測する方法が記載されている。また、フラクタル理論を用いる画像解析と人の心理との関係が研究されている。例えば、非特許文献３には、男女3名を対象に、6つの絵画でアイカメラを使用して視点の集中位置とフラクタル次元との関係を調べ、フラクタル次数が高い箇所に視点が集中する傾向がみられることが記載されている。非特許文献４には、男女23名を対象に、笑顔と真顔の写真のフラクタル次数とアンケートでの好感度の相関分析をした。その結果、顔全体のフラクタル次元と好感度に相関がみられ、笑顔のほうが、フラクタル次数が高い傾向にあることが記載されている。非特許文献５には、男女23名を対象に、知名度が低い45種類の缶ビールのパッケージ・デザインについて、フラクタル次元及び主観のアンケートを実施し、フラクタル次元の高いパッケージ・デザインを持った缶ビールに、高い購買効果がみられることが記載されている。

特許公開２０１４−１４０５８７号公報

Cutting J., & Garvin, J. J., Fractal curves and complexity, Perception & Psychophysics, 42, 365-370, 1987 Pentland A. P., Fractal-based description of sciences, IEEE Trans. Pattern Analysis and Machine Intelligence, PAMI-6, pp.661-674, 1984 Nagai M., Oyama-Higa M., & Miao T., Relationship between image gaze location and fractal dimension, IEEE International Conference on Systems, Man and Cybernetics, Oct. 7-10, 2007, Montreal, pp. 4014-4018, 2007 Oyama-Higa M., Miao T., & Itoh T, Relationship between fractal dimension and agreeability of facial imagery, Computational Models for Life Sciences-CMLS '07: 2007 International Symposium on Computational Models of Life Sciences, AIP Conference Proceedings 952, pp. 104-113, 2007 Oyama-Higa Mayumi, The Relation of the Purchase Effect by the Fractal Dimension and the SD Method of Product Packaging, Journal of Business Studies 59 (2), 近畿大学商経学会 商経学叢 pp.77-93, December, 2012

近年は画像撮像において、ディジタル技術が普及して、化学変化を利用したフィルムを用いる技術を置き換えている。ディジタル技術を用いる静止画または動画を撮像する画像記録装置においては、撮像した画像データを記憶装置に記憶することが安価にかつ容易にできるところから、まずは、撮像をして事後的に撮像した画像データを整理することが広く行われている。このために、不要な画像データも多量に撮像しがちである。その結果、多量の画像データから、必要な画像データを整理する処理が必要となる。

この場合に、人が、撮像された画像を目視により確認して、１枚毎に判断しながら整理することは手間がかかる。よって、予め定める整理基準に基づいて自動的に整理することができれば手間が省けて好都合である。さらに、人が撮像するのにふさわしい対象物であるか否かを、予め定める整理基準に基づいて自動的に判断して、自動撮像することができれば、画像データを事後的に整理する手間が省けるとともに、撮像チャンスを逃してしまうことも回避でき、撮りこぼしを恐れるあまり必要以上に撮像してしまい無駄に記憶容量を消費することが防止できるので画像を記憶する記憶装置の記憶容量を削減することもできる。

本発明は、係る問題点に鑑みなされたものであり、撮像する画像が、予め定める整理基準を満たしているか否かを装置の操作者に知らせる技術、予め定める整理基準を満たしている場合には自動撮像する技術、撮像した複数の画像を事後的に自動整理する技術を提供するものである。

本発明の画像データ整理システムは、画像データ整理端末装置と画像データ整理サーバー装置とを備える画像データ整理システムであって、前記画像データ整理端末装置は、画像を撮像して画像データを取得する撮像部と、前記画像データの取得に際して心拍に応じた時系列心拍データを取得する時系列心拍データ取得部と、前記時系列心拍データを前記画像データ整理サーバー装置に対して出力する時系列心拍データ出力処理部と、前記画像データ整理サーバー装置から出力される、癒され度の高い順に並べられた前記撮像された画像を表示する画像表示部と、を具備し、前記画像データ整理サーバー装置は、前記時系列心拍データから癒し度を求める癒し度検出部と、前記癒され度の高い順に前記撮像された画像を並べるソーテイング処理部と、を具備する。

本発明の画像データ整理装置は、撮像して画像データを取得する撮像部と、前記画像データの取得に際して心拍に応じた時系列心拍データを取得する時系列心拍データ取得部と、前記時系列心拍データをフーリエ変換するフーリエ変換処理部と、前記フーリエ変換処理された信号の高周波成分と低周波成分とを分離する高周波成分・低周波成分検出処理部と、少なくとも、前記高周波成分を予め測定した基準高周波成分で除して、癒され度を求める自律神経解析エンジン処理部と、前記癒され度の高い順に前記画像データを並べるソーテイング処理部と、前記癒され度の高い順に並べられた画像データを表示する画像表示部と、を備える。

本発明の別の画像データ整理装置は、撮像して画像データを取得する撮像部と、前記画像データの取得に際して心拍に応じた時系列心拍データを取得する時系列心拍データ取得部と、前記時系列心拍データから心拍数を求める心拍数検出部と、前記心拍数から予め求めた平常時における心拍数を減じた負値の大きさに応じて、癒され度を求める、癒され度演算部と、前記癒され度の高い順に前記画像データを並べるソーテイング処理部と、前記癒され度の高い順に並べられた画像データを表示する画像表示部と、を備える。

本発明の画像データ整理サーバー装置プログラムは、画像データ整理システムにおいて画像データ整理端末装置と協調して動作する画像データ整理サーバー装置のコンピュータに実行させる画像データ整理サーバー装置プログラムであって、前記画像データ整理端末装置が取得した時系列心拍データをフーリエ変換するフーリエ変換処理部と、前記フーリエ変換処理された信号の高周波成分と低周波成分とを分離する高周波成分・低周波成分検出処理部と、少なくとも、前記高周波成分を予め測定した基準高周波成分で除して、癒され度を求める自律神経解析エンジン処理部と、前記癒され度の高い順に前記撮像された画像を並べるソーテイング処理部と、を備えるように前記コンピュータを機能させる。

本発明の別の画像データ整理サーバー装置プログラムは、画像データ整理システムにおいて画像データ整理端末装置と協調して動作する画像データ整理サーバー装置のコンピュータに実行させる画像データ整理サーバー装置プログラムであって、前記画像データ整理端末装置が取得した時系列心拍データから心拍数を求める心拍数検出部と、前記心拍数から予め求めた平常時における心拍数を減じた負値の大きさに応じて、癒され度を求める、癒され度演算部と、前記癒され度の高い順に前記撮像された画像を並べるソーテイング処理部と、を備えるように前記コンピュータを機能させる。

本発明の画像データ整理端末装置プログラムは、画像データ整理システムにおいて画像データ整理サーバー装置と協調して動作する画像データ整理端末装置のコンピュータに実行させる画像データ整理端末装置プログラムであって、画像データの取得に際して心拍に応じた時系列心拍データを取得する時系列心拍データ取得部と、前記時系列心拍データを前記画像データ整理サーバー装置に対して出力する時系列心拍データ出力処理部と、前記画像データ整理サーバー装置から出力される、癒され度の高い順に並べられた前記撮像された画像を表示する画像表示部と、を備えるように前記コンピュータを機能させる。

本発明の画像データ整理装置プログラムは、画像データ整理装置のコンピュータに実行させる画像データ整理装置プログラムであって、撮像して画像データを取得する撮像部と、前記画像データの取得に際して心拍に応じた時系列心拍データを取得する時系列心拍データ取得部と、前記時系列心拍データをフーリエ変換するフーリエ変換処理部と、前記フーリエ変換処理された信号の高周波成分と低周波成分とを分離する高周波成分・低周波成分検出処理部と、少なくとも、前記高周波成分を予め測定した基準高周波成分で除して、癒され度を求める自律神経解析エンジン処理部と、前記癒され度の高い順に前記画像データを並べるソーテイング処理部と、前記癒され度の高い順に並べられた画像データを表示する画像表示部と、を備えるように前記コンピュータを機能させる。

本発明の別の画像データ整理装置プログラムは、画像データ整理装置のコンピュータに実行させる画像データ整理装置プログラムであって、撮像して画像データを取得する撮像部と、前記画像データの取得に際して心拍に応じた時系列心拍データを取得する時系列心拍データ取得部と、前記時系列心拍データをフーリエ変換するフーリエ変換処理部と、前記フーリエ変換処理された信号の高周波成分と低周波成分とを分離する高周波成分・低周波成分検出処理部と、少なくとも、前記高周波成分を予め測定した基準高周波成分で除して、癒され度を求める自律神経解析エンジン処理部と、前記癒され度の高い順に前記画像データを並べるソーテイング処理部と、前記癒され度の高い順に並べられた画像データを表示する画像表示部と、を備えるように前記コンピュータを機能させる。

本発明の技術によれば、予め定める整理基準に基づいて、撮像した複数の画像を事後的に自動的に整理することができる。また、予め定める整理基準を満たしている画像か否かを客観的に、装置の操作者が撮像する前に知ることができるので撮像すべきか否かの主観的判断に迷うことがない。さらに、予め定める整理基準を満たしている場合には自動撮像することができる。これらの効果によってビッグデータである多数の画像の有効活用が可能となる。

第１実施形態の画像データ整理システムを示す図である。 第１実施形態の画像データ整理端末装置に表示される画面１ないし画面４を示す図である。 第１実施形態の画像データ整理端末装置に表示される画面５ないし画面８を示す図である。 第１実施形態の画像データ整理端末装置に表示される画面９、画面１０を示す図である。 第１実施形態の画像データ整理端末装置および画像データ整理サーバー装置における処理を示す図である。 第１実施形態の画像データ整理端末装置および画像データ整理サーバー装置における図５に続く処理を示す図である。 第１実施形態の前倒しロジック処理を模式的に示す図である。 第１実施形態の画像データ整理サーバー装置における自律神経解析エンジン処理の各ステップの処理終了後の時系列輝度データを示す図である。 第１実施形態のローパスフィルタの定数をどのように定めるかについての説明図である。 第１実施形態のローパスフィルタの定数をどのように定めるかについての別の説明図である。 第４実施形態の画像データ整理システムを示す図である。 第４実施形態の画像データ整理端末装置に表示される画面２１ないし画面２４を示す図である。 第４実施形態の画像データ整理端末装置に表示される画面２５ないし画面２８を示す図である。 第４実施形態の画像データ整理端末装置に表示される画面２９を示す図である。 第４実施形態の画像データ整理端末装置および画像データ整理サーバー装置における処理を示す図である。 第４実施形態の画像データ整理端末装置および画像データ整理サーバー装置における図１５に続く処理を示す図である。

発明を実施するための形態（実施形態）の画像データ整理システム、画像データ整理装置、画像データ整理サーバー装置プログラム、画像データ整理端末装置プログラム、画像データ整理装置プログラムは、以下に説明する第１実施形態ないし第３実施形態が、予め定める整理基準に基づいて、撮像した画像データを事後的に自動的に整理し、撮像する画像が、予め定める整理基準を満たしているか否かを装置の操作者に知らせる技術に関するものであり、以下に説明する第４実施形態ないし第６実施形態が、さらに、これらの技術に加え、撮像する画像が予め定める整理基準を満たしている場合には自動的に撮像する技術に関するものである。第７実施形態、第８実施形態は第１実施形態ないし第６実施形態の一部を組み合わせる技術の一例に関するものである。

実施形態においては、心拍センサを用いて心臓の動きを検出して、さらに心臓の動きから人の心の動きを検出して、人の心の動きに基づき画像データ（視覚的には画像）を自動整理をする。また、別の手段による画像データ（視覚的には画像）の自動整理に際しては、画像データ（視覚的には画像）そのものの性質を解析して自動整理をする。

人の心の動きは心臓の律動に反映される。心臓の動きを検出する心拍センサは、心臓の律動により変化する血管を流れる血液の流れに応じた反射光の変化を捉える光電脈波法、心臓の律動に応じて脈動する血管の圧力を圧力センサで捉える血圧計法、電極を心臓に近い皮膚に貼り付けて心臓の律動を引き起こす筋肉に流れる電流を捉える心電計法等の諸原理を用いて構成される。実施形態では、心拍センサからの時系列心拍データを解析して得られる交感神経の活動または／および副交感神経の活動を画像の整理基準のための指標とする。

実施形態のコンピュータ処理観点からの画像データ整理の技術（視覚的観点からの画像整理の技術）は、撮像して画像データを取得する撮像部と、画像データの取得に際して心拍に応じた時系列心拍データを取得する時系列心拍データ取得部と、時系列心拍データから癒し度を求める癒し度検出部と、癒し度検出部で検出される癒し度が高い順に前記撮像された画像を並べるソーテイング処理部と、を具備する。

癒し度検出部は、時系列心拍データをフーリエ変換するフーリエ変換処理部と、フーリエ変換処理された信号の高周波成分と低周波成分とを分離する高周波成分・低周波成分検出処理部と、整理基準となる心の動きを検出する自律神経解析エンジン処理部と、を有するようにしてもよい。また、癒し度検出部は、時系列心拍データから心拍数を求める心拍数検出部と、心拍数から予め求めた平常時における心拍数を減じた負値の大きさに応じて、癒され度を求める、癒され度演算部と、を有するようにしてもよい。このような技術的特徴を有する各構成部を、クライアント・サーバーとして構成してもよく、単独の装置（スタンドアロン）として構成してもよい。さらに、各構成部はハードウエアとして構成してもよく、コンピュータとコンピュータプログラムとして構成してもよい。

また、実施形態では、人が視認する風景等の画像そのものを、フラクタル理論を用いて解析して（解析に際してはディジタル信号処理技術を用いるのでコンピュータの処理対象は画像データ）、その解析結果と人の心の動きを統計的に関連づけて、人の心の動きを推測するようにしてもよい。すなわち、画像のフラクタル解析の結果を画像の整理基準としてもよい。フラクタル解析をおこなう場合には、撮像された画像のフラクタル次元を演算するフラクタル解析処理部と、画像が与える、癒されたという印象の高い順に前記撮像した画像を並べるソーテイング処理部と、を備えるようにしてもよい。ここで、癒されたという印象と、その画像に対応するフラクタル次元との関係は、統計解析に基づき、予め特定しておく。

さらに、実施形態では、画像データの取得に際して心拍に応じた時系列心拍データを取得するものである。ここで、画像データの取得の時刻と時系列心拍データの取得の時刻とは略同時であってもよく、画像データを取得しているときに得られる印象が維持されている時間内に時系列心拍データを取得するようにしてもよい。また、時系列心拍データを取得して癒され度を検出するタイミングは、装置操作者の意思によって癒され度を検出するタイミングを決めてもよく、リアルタイムで自動的に癒され度を検出するようにしてもよい。実施形態では、コンピュータが所定時間毎の割り込み処理をおこなうことによって所定時間毎に略リアルタイムで癒され度を検出するようにしている。

また、さらに、実施形態では、画像の整理基準として、癒され度に替えて興奮度を用いるようにしてもよい。

「第１実施形態」
第１実施形態の画像データ整理システムは、画像データ整理端末装置と画像データ整理サーバー装置とを備える。画像データ整理システムは、撮像した画像データを事後的に自動的に整理し、または、撮像する画像が、予め定める整理基準を満たしているか否かを装置の操作者に知らせる。ここで、整理するための予め定める整理基準として、癒され度（いやされ度）を用いている。癒やされるとは、気持ちが、のんびり、ゆったりしており、苦痛から解放されているような心理状態をいい、癒され度とは、癒されている度合がどの程度であるかをいう。

画像データ整理端末装置は、静止画または動画の画像を撮像する撮像部と、心拍に応じた信号である血流に応じて変化する皮膚の輝度を撮像して時系列輝度データを取得する時系列輝度データ取得部と、皮膚の輝度に応じた時系列輝度データを画像データ整理サーバー装置に対して出力する時系列心拍データ出力処理部と、画像データ整理サーバー装置から出力される、癒され度の高い順に並べられた撮像された画像を表示する画像表示部と、を具備する。ここで、時系列輝度データは時系列心拍データの一態様であり、時系列輝度データ取得部は時系列心拍データ取得部の一態様である。

画像データ整理サーバー装置は、時系列輝度データからＲＲ間隔時系列データを検出するＲＲ間隔時系列データ検出処理部と、ＲＲ間隔時系列データをフーリエ変換するフーリエ変換処理部と、フーリエ変換処理された信号の高周波成分と低周波成分とを分離する高周波成分・低周波成分検出処理部と、少なくとも高周波成分の大きさに基づいて癒され度を求める、癒され度検出部と、癒され度の高い順に撮像された画像を並べるソーテイング処理部と、を具備する。

ここで、低周波成分（ＲＲ間隔時系列データをフーリエ変換した信号の低周波成分）と高周波成分（ＲＲ間隔時系列データをフーリエ変換した信号の低周波成分）とを分離するフィルタの特性は、規格化した所定の特性である。例えば、高周波成分は、フーリエ変換した後、第１所定周波数の帯域（例えば、0.15〜0.4Hz）のフィルタを通過させることによって得られる。すなわち、高周波成分は、第１所定周波数の帯域のパワースペクトルの積分値である。低周波成分は、第１所定周波数よりも周波数が低い第２所定周波数の帯域（例えば、0.04〜0.15Hz）のフィルタを通過させることによって得られる。すなわち、低周波成分は、第２所定周波数の帯域のパワースペクトルの積分値である。

高周波成分は副交感神経の活動に関係し、低周波成分は交感神経の活動に関係することが知られている。よって、高周波成分の値、または、高周波成分を低周波成分で除した値が大きい程、副交感神経の活動が活発であることを表す。さらに、高周波成分の対数の値、または、高周波成分の対数を低周波成分の対数でした値が大きい程、副交感神経の活動が活発であることを表す。

癒されると、副交感神経の活動が活発となることが知られているので、副交感神経の活動を調べれば、どの程度、癒されているかの度合（いやされ度）を知ることができる。すなわち、少なくとも高周波成分の値（高周波成分の値、高周波成分の対数の値、高周波成分を低周波成分で除した値、または、高周波成分の対数を低周波成分の対数で除した値）が大きい程、癒やされている。

具体的には、癒され度は以下の様にして求める。

癒され度＝（高周波成分）・・・・・・・・・・・・・・・・・・・（１）

癒され度＝（高周波成分の対数）・・・・・・・・・・・・・・・・（２）

癒され度＝（高周波成分／低周波成分）・・・・・・・・・・・・・（３）

癒され度＝｛（高周波成分の対数／低周波成分の対数）｝・・・・・・（４）

しかしながら、上述した、高周波成分、高周波成分を低周波成分で除するもの、高周波成分の対数、高周波成分の対数を低周波成分の対数で除するものは、それらの値が大きい場合でも、ある人は癒されていない場合がある。反面、それらの値が小さい場合でも、別の人は癒されている場合がある。すなわち高周波成分の値、高周波成分を低周波成分で除した値、高周波成分の対数の値、高周波成分の対数を低周波成分の対数で除した値と、どの程度癒されているかの関係には個人差がある。

そこで、測定時点の高周波成分と、基準高周波成分との大きさの違い、または、測定時点の（高周波成分／低周波成分）と、（基準高周波成分／基準低周波成分）との大きさの違いに基づいて癒され度（いやされ度）を求めるようにした。ここで、基準高周波成分とは、同一人について、予め測定した基準となる癒しの状態の高周波成分の値である。また、基準低周波成分とは、同一人について、予め測定した基準となる癒しの状態の低周波成分の値である。このようにすれば、癒されている度合である癒され度が個人差なく規格化できる。ここで、基準の癒され度とは、通常の日常生活を行っている場合における癒され度であり、過度に癒された状態でもなく、過度に興奮した状態でもなく、日常生活において平常心を保っている状態における癒され度である。

具体的には、基準の癒され度は以下の様にして求める。

癒され度＝（高周波成分）／（基準高周波成分）・・・・・・・・・・・・・（５）

癒され度＝（高周波成分の対数）／（基準高周波成分の対数）・・・・・・・（６）

癒され度＝（高周波成分／低周波成分）／（基準高周波成分／基準低周波成分）
＝（高周波成分／基準高周波成分）／（低周波成分／基準低周波成分）・・（７）

癒され度＝｛（高周波成分の対数／低周波成分の対数）／（基準高周波成分の対数／基準低周波成分の対数）｝
＝｛（高周波成分の対数／基準高周波成分の対数）／（低周波成分の対数／基準低周波成分の対数）｝・・・・・・・・・・・・・・・・・・・・・・・・・・・・（８）

以上の、（５）式、（６）式、（７）式、（８）式のいずれの式も、少なくとも、測定時の高周波成分と予め測定した基準高周波成分との大きさの違いに基づいて癒され度を求めている。（５）式では、測定時の高周波成分と予め測定した基準高周波成分のみの大きさの違いに基づいて癒され度を求めている。（６）式では、測定時の高周波成分の対数と予め測定した基準高周波成分の対数との大きさの違いにのみ基づいて癒され度を求めている。（７）式では、測定時の高周波成分と予め測定した基準高周波成分の大きさの違いに基づいて癒され度を求めているが、測定時の低周波成分と予め測定した基準低周波成分との大きさの違いも用いて癒され度を求めている。（８）式では、測定時の高周波成分の対数と予め測定した基準高周波成分の対数との大きさの違いに基づいて癒され度を求めているが、測定時の低周波成分の対数と予め測定した基準低周波成分の対数との大きさの違いも用いて癒され度を求めている。以上の、（５）式、（６）式、（７）式、（８）式のいずれの式に基づき、癒され度を求めるかは、任意に選択できる。

実施形態の画像データ整理システムは、ＲＲ間隔時系列データ（アール・アール間隔時系列データ）に含まれるノイズを除去するためのローパスフィルタリング処理部を備えてもよい。

実施形態の画像データ整理システムは、時系列輝度データに含まれるノイズを除去しピーク検出をするためのSavitzky-Golayフィルタ（サビツキ・ゴレイフィルタ）を備えてもよい。

実施形態の画像データ整理システムは、時系列輝度データの連続補間をするための関数化処理部を備えてもよい。

実施形態の画像データ整理システムは、時系列輝度データの値が連続して同値である場合には、予め定める所定複数回数以上の時系列輝度データを処理の対象から除く前倒しロジック処理部を備えてもよい。

実施形態の画像データ整理システムは、時系列輝度データの検出をおこなうに際してディスプレイに時系列輝度データの波形を表示してもよい。

実施形態の画像データ整理システムは、時系列輝度データの検出をおこなう前にディスプレイに、血流に応じて変化する皮膚の輝度を撮像する指の画像を表示するとともに時系列輝度データの波形を表示してもよい。

実施形態の画像データ整理システムは、ＲＲ間隔時系列データ（アール・アール間隔時系列データ）の値に逆比例する瞬時心拍数を得て、現在の瞬時心拍数と直前の瞬時心拍数との差分が第１所定値よりも大きい場合には、現在のＲＲ間隔時系列データを処理の対象から除去するＲＲ間隔時系列データの異常値除去処理部を備えてもよい。

以下、図を参照して第１実施形態について説明をする。

図１は、実施形態の画像データ整理システム１０を示す。

画像データ整理システム１０は、画像データ整理端末装置として機能するスマートフォン１１と、画像データ整理サーバー装置として機能するサーバー１２と、スマートフォン１１とサーバー１２とを接続する端末装置・サーバー装置間接続手段として機能するインターネット１３とを備える。

スマートフォン１１は、脈波検出部の一部として機能するカメラ機能と各種外部データ検出部とを有する。スマートフォン１１は、「（１）測定データ（輝度データ）、撮像した写真（画像データ）をサーバー１２にアップロード」し、「（２）各種外部データ（例えば、天気、気温、気圧、位置データ、加速度データ）をサーバー１２にアップロード」する。
ここで、脈波検出部は、撮像部の一実施形態であり、時系列心拍データ取得部の一実施形態でもある。スマートフォン１１は、撮像部の一実施形態のカメラ機能とカメラで撮像した血管上の皮膚から時系列心拍データを取得する。
ここで、各種外部データをサーバー１２にアップロードするに際しては、測定データ及び画像データと各種外部データとを紐付けてアップロードする。これらの処理の内容については後述する。

サーバー１２は、サーバーのＣＰＵとプログラムによって、「（３Ａ）（自律神経解析エンジン）を構成し、生体の解析処理をおこなう」、また、「（３Ｂ）（画像解析エンジン）を構成し、フラクタル解析処理をおこなう。そして、「（４）解析結果を返却する」。
サーバー１２は、（３Ａ）の生体解析処理によって画像撮像者であるスマートフォン操作者（以下、操作者と省略する）の、心の、癒され度を解析する。サーバー１２は、（３Ｂ）のフラクタル解析によって撮像された画像自体の客観的な解析処理をする。（３Ａ）と（３Ｂ）は異なる観点からの解析処理であるので、その両方、または、いずれかの一方を採用することができる。サーバー１２は、（３Ａ）、または／および、（３Ｂ）の処理の解析結果をスマートフォン１１に返却する。（３Ａ）の処理の解析結果の内容は、サーバー１２のデータベースに蓄積された、癒し度と画像データの組をソーテイングして、癒され度に基づく画像のランキング化であり、（３Ｂ）の処理の解析結果の内容は、サーバー１２のデータベースに蓄積された、フラクタル解析結果（フラクタル次元）と画像データの組をソーテイングして、フラクタル次元に基づく画像のランキング化である。

スマートフォン１１は、携帯電話として機能するのみならず、インターネットに接続し、種々のアプリケーションソフトの動作を可能とするオペレーティングシステム（OS）、液晶画面（LCD）とタッチパネルとを主たるユーザインターフェイスデバイスとする多機能携帯電話である。スマートフォン１１は、画像データ整理端末装置の一実施形態として機能する。スマートフォン１１の多機能性は、オペレーティングシステムによって保障される。

スマートフォン１１は、電話機能以外に、液晶画面を含む画像表示部が発揮する画像表示機能、液晶表示画面とタッチパネルを組み合わせることによって発揮されるタッチパネル機能、音声送出機能、音声入力機能、カメラ機能、インターネット接続機能、位置データを検出するＧＰＳ(Global Positioning System)機能を備えるのが一般的である。実施形態のスマートフォン１１は、さらに、加速度データを検出する加速度検出機能、操作者の行動を記録する行動記録機能（操作者が自己の行動を入力して記録するメモ機能）、気圧データを検出する気圧検出機能、天気を含む気象データを検出する気象データ検出機能を有している。

そして、一般的なパーソナルコンピュータと同様に、オペレーティングシステムが動作するハードウエアであるマイクロプロセッサ（ＭＰＵ）を中心としてラム、ロム、上記の各種機能を発揮させるための周辺機器がバスラインによって接続されている。オペレーティングシステムはＭＰＵにおいて実行され、ＭＰＵは周辺機器を制御して所望の上述した機能を発揮させる。スマートフォン１１以外の画像データ整理端末装置の他の実施形態として、上述した各種機能を有するタブレット（多機能携帯端末）、本実施形態の使用に特化した専用の画像データ整理端末装置であってもよい。

図１に示すようにスマートフォン１１は、インターネット接続機能によって無線でインターネット１３と接続される。本実施形態の使用に特化した画像データ整理端末装置を用いる場合には、端末装置・サーバー装置間接続手段は専用線としてもよく、有線でインターネット１３を介して接続するものとしてもよい。

サーバー１２は、高速で大容量のデータを処理することが可能なコンピュータであり、高速、高機能なＣＰＵ（セントラルプロセッシングユニット：中央演算装置）、大容量ラム、大容量ロム、大容量書換可能不揮発メモリ、等を備え、複雑な処理を高速でおこなうことができる。よって、多数のクライアント（スマートフォン１１等）がインターネット１３を介してサーバー（サーバー１２）にアクセスした場合であっても、高速にクライアントからの要求を受けとり、瞬時に情報の処理をおこない、その処理結果を、高速なインターネット１３を介してクライアントに返送する。

スマートフォン１１からサーバー１２に対して後述する、時系列心拍データの一実施形態である時系列輝度データを送信し、サーバー１２における演算処理の後、サーバー１２からスマートフォン１１に対して解析結果データを送信する。このように、実施形態においては、スマートフォン１１とサーバー１２とで処理の分担をおこなっている。その理由は、スマートフォン１１にインストールできるアプリケーションの許容サイズ、処理速度に限界があるので全ての処理をスマートフォン１１の内部で処理する場合には、解析結果データを得るために要する時間が長くなるという課題を有するからである。クライアント・サーバー・システムを採用することによってこのような課題は解決する。また、サーバーにおいてクライアントから得られる多量のデータを集積し、これを当該クライアントの資産またはサーバー１２を利用する多数のクライアントの共通の資産として利用できる。

このようにスマートフォン１１とサーバー１２とは、インターネット１３を介して接続され、協調して動作する。すなわち、スマートフォン１１を操作する者から見ると、インターネット１３を介して接続されるサーバー１２はクラウド・コンピュータとして機能してサーバー１２は「雲」のようにその存在が明確には認識されず、あたかも、サーバー１２における処理はスマートフォン１１がおこなう処理であるかのように認識される。

（画像データ整理端末装置に表示される画面）
図２ないし図４は、画像データ整理端末装置として機能するスマートフォン１１の液晶画面に表示される画像を示す。

図２は、画像データ整理端末装置に表示される画面１ないし画面４を示す。図３は、画像データ整理端末装置に表示される画面５ないし画面８を示す。図４は、画像データ整理端末装置に表示される画面９、画面１０を示す。

図２に示す画面１は、スマートフォンのOS上で動作するアプリケーションの一つである操作者が「画像データ整理端末装置プログラム」を起動させた後、ＭＰＵが最初にスマートフォン１１の液晶画面に表示させる画面である。ＭＰＵは画面に、例えば、「旅先での画像をランキング化するアプリ」と表示させる。

図２に示す画面２は、ＭＰＵがスマートフォン１１の液晶画面に表示させる「画像データ整理端末装置プログラム」の利用規約表示の画面である。
画面２の下部の「同意する」を操作者がタッチすると、ＭＰＵはタッチパネル機能によって、操作者が「画像データ整理端末装置プログラム」を利用することを同意したことを認識し、図３に示す画面３をスマートフォン１１の液晶画面に表示させる。

図３に示す画面３は、属性情報の入力のためにＭＰＵがスマートフォン１１の液晶画面に表示させる画面である。
画面３は、「画像データ整理端末装置プログラム」を利用する者、すなわち、操作者の情報をユーザ情報として登録するための画面であり、登録に際しては、液晶画面の適当な場所に図示しないキーボードとして機能するタッチキーを表示してタッチキーによってＭＰＵに登録情報を認識させる。
属性情報としては、「ニックネーム」（例えば、タロウ）、「性別」（例えば、男性）、「生年月日」（例えば、1980年10月19日）及び、「おすまい」（例えば、東京都）であり、ＭＰＵはこれらの情報を取得する。

図３に示す画面４は、操作者がスマートフォン１１のカメラ機能を動作させる場合に、ＭＰＵが表示させる画面である。
一度、画面２、画面３を用いた属性情報の入力を行った後には、画面４は、画面１の表示の直後に表示するようにしてもよい。
画面４に示すようにＭＰＵはスマートフォン１１の液晶画面に「癒し風景の画像を取ってみましょう！」と表示させ、操作者が見ている被写体をスマートフォン１１の液晶画面に表示させる。
「測定する」を指でタッチすると、ＭＰＵは図４に示す画面５をスマートフォン１１の液晶画面に表示させる。操作者が「測定する」を指でタッチしないと、ＭＰＵは画面５を表示しないようにしてもよく、操作者が「測定する」を一定時間、指でタッチしないと、ＭＰＵは癒され度を測定しない通常の撮像モードに移行させるようにしてもよい。

また、操作者が「測定する」をタッチした時点で、ＭＰＵはカメラ機能を動作させて撮像した画像データを画像記憶装置に記憶させる。このようにして、画像データとその時点における癒され度とを紐付することができる。
ここで、操作者が「測定する」をタッチした時点（図４を参照）で、風景等の撮像をし、その後、癒され度の検出のために指先をカメラのレンズに接近させる（図５、図６を参照）ので、撮像時刻と癒し度の測定時刻とには、ずれが生じる。そこで、癒し度の測定中においても、撮像した風景等を見続けるか、撮像した瞬間（図４を参照）の印象を脳裏に刻み、癒し度の測定が終了するまで（図７を参照）忘れないようにして、撮影した画像と癒し度の関係が崩れないようにすることが望ましい。

図４に示す画面５は、癒され度の測定を開始することを操作者に知らせる表示画面である。
ＭＰＵは、画面５の画面上段に「癒され度の測定」と表示させる。ＭＰＵは、画面５の画面中段に測定の注意事項として「現在のリラックス度を測定します。人差し指の先をカメラに当てて、測定開始測定開始ボタンをおしてください」と表示させる。
ＭＰＵは、画面５の画面下段に人差し指の先をカメラで撮像した時系列輝度データをアナログ値に変換して縦軸に表示させ、横軸に時間を表示する脈波を表示させる。
ＭＰＵは、画面５の画面下段の波形図の中に、「スタンバイ中」と表示させる。「スタンバイ中」とは、未だ、癒され度の測定をおこなっておらず、測定の準備段階であることを意味する。
操作者は、画面５が表示されている間に、脈波が安定して撮像されるように人差し指とカメラのレンズとの位置を合わせる。
操作者は、人差し指とカメラのレンズとの位置を合わせるに際して、画面５の画面中段の右側に表示される画像に、人差し指が撮像されるようにして合わせることができる。
そして、操作者は、人差し指のカメラのレンズに対する位置を決めたら、その位置関係を固定したままで、画面５の画面最下段の「測定開始」をタッチする。または、「測定開始」にタッチすることに替えて、スマートフォン１１が自動的に測定開始をする様にしてもよい。

ＭＰＵは、指先が撮像されていることを確認、または／および、輝度信号波形が特徴ある脈波であることを認識すると、自動的に、血流に応じて変化する皮膚の輝度を撮像して時系列輝度データを取得する時系列輝度データ取得の処理を開始するようにしてもよい。
より具体的には、ＭＰＵは、撮像された画像のＲ（赤色）、Ｇ（緑色）、Ｂ（青色）に分離される各成分の割合から肌色を含むことを判断するとともに肌色の部分の画像に占める割合を検出して予め定める所定割合以上であることを検出した後、または／および、時系列輝度データが略一定の周期を有する繰り返し波形であるとともにエンベロープが略一定であることを検出した後に、時系列輝度データの取得を開始する。

図４に示す画面６は、癒され度を測定中に表示される画面である。
ＭＰＵは、画面６の画面上段に「測定中」と表示させる。
ＭＰＵは、画面６の画面中段に測定中の時系列輝度データをアナログ値に変換して縦軸に表示させ、横軸に時間を表示させる。
ＭＰＵは、画面６の画面下段に、「キャンセル」と表示させる。「キャンセル」とは、操作者が、測定中の測定中の時系列輝度データが正しくないと判断する場合に、「キャンセル」にタッチするためのものである。
ＭＰＵは、「キャンセル」がタッチされたことを検出すると処理を移し、画面５を再度、表示させて処理を前に戻す。画面６の画面下段の「キャンセル」を長押しすると癒され度測定モードから抜け出すようにしてもよい。
ＭＰＵが「ただいま測定中」の表示をさせている間に画面６の画面下段の「キャンセル」にタッチしないと、ＭＰＵは、測定の終了後に画面７を表示させる。

図４に示す画面７は、測定結果を見るための画面である。
ＭＰＵは、画面７の画面上段に「結果を見てみましょう！」と表示させ、画面７の画面下段に「次へ」と表示させる。操作者が「次へ」にタッチすると、ＭＰＵは画面８を表示させる。
操作者が「次へ」にタッチしないと画面７を維持するか、または、操作者が「次へ」に一定時間以上タッチしないとＭＰＵは癒され度測定モードから通常モードに処理を移すようにしてもよい。

図４に示す画面８は、癒され度を表示する画面である。
ＭＰＵは、画面８の画面中段に撮像した画像を表示し、画面８の画面上段に当該画像を撮像したときの、癒され度を表示させ、画面８の画面下段に当該画像を撮像したときの、癒され度をグラフ表示させる。

操作者が「共有する」ボタンを押すと、ＭＰＵは、FaceBook（フェイスブック：登録商標）、Twitter（ツイータ：登録商標）、LINE（ライン：登録商標）等にインターネット１３を介して測定結果（撮像された画像と紐付された癒され度）を投稿する。

操作者が「外部データと紐付ける」ボタンをクリックすると、ＭＰＵは、測定結果（撮像された画像と紐付された癒され度）と天気、気温、気圧、GPSからの位置データ、加速度データ等のデータと紐付（リンク）させてインターネット１３を介してサーバー１２に格納させる。天気は、操作者が入力するようにしてもよく、ＭＰＵがＧＰＳを介して検出した位置データに基づきインターネット１３を介して自動取得するようにしてもよい。気温は、ＭＰＵがスマートフォンに備えられた温度検出機能を制御して検出するか、ＭＰＵがＧＰＳを介して検出した位置データに基づきインターネット１３を介して気象情報提供サイトから自動取得するようにしてもよい。気圧は、ＭＰＵがスマートフォンに備えられた気圧検出機能を制御して検出するか、ＭＰＵがＧＰＳを介して検出した位置データに基づきインターネット１３を介して気象情報提供サイトから自動取得するようにしてもよい。位置データは、ＭＰＵがスマートフォンに備えられた気圧検出機能を制御して検出する。加速度データは、ＭＰＵがスマートフォンに備えられた加速度センサ機能を制御して検出する。

天気、気温、気圧、GPSからの位置データ、加速度データ等の情報は、いわゆる、ビッグデータの一種類である。これらの情報は、現在は、癒され度との関係が明確ではない。これらの一見、癒され度と関係がないように思われる情報、または、関係があるとの予想はあるものの、どのような関係があるのか現在は明確でない情報は、サーバーが収集して、将来、これらの間の複雑な関係を解明するのに益する。例えば、癒され度と気圧度との関連性、癒され度と身体の活発な運動（加速度センサで検出できる）との関連性、癒され度と高度との関連性、癒され度と、いわゆる、パワースポットとの関連性を、解明するのに益する。

操作者が、「共有する」ボタンと「外部データと紐付ける」ボタンとをクリックすると、ＭＰＵは、図５の画面９を表示させる。
操作者が、「共有する」ボタン、または、「外部データと紐付ける」ボタンの一方のみを所定時間内にクリックする場合には、ＭＰＵは、所定時間後に図５の画面９を表示させる。
操作者が、「共有する」ボタンと「外部データと紐付ける」ボタンのいずれかを所定時間内にクリックしない場合には、ＭＰＵは、所定時間後に図５の画面９を表示させる。

図６に示す画面９は、測定結果を表示する画面である。
画面９は、「癒し画像ランキング」として、同一旅行中において癒され度が高い順に表示される順位づけられた画像である。
順位付けする集合は、同一旅行の画像のみならず、過去に撮像した画像、同一の日に撮像した画像等、適宜に集合を選択できる。

図４に示す画面１０は、測定結果を表示する別の画面である。
画面１０は、「癒し画像ランキング」として、癒され度に基づいて順位を付けたのが左側画面であり、フラクタル解析に基づいて順位を付けたのが右側画面である。
順位づけに用いる集合の範囲は、同一旅行中の画像、過去に撮像した画像、同一の日に撮像した画像等、適宜に選択できる。フラクタル解析については後述する。

（画像データ整理端末装置と画像データ整理サーバー装置とにおける処理の概要）
図７、図８を参照して、画像データ整理システムの、癒され度検出端末装置における処理と画像データ整理サーバー装置における処理との概要を説明する。

図７、図８は連続した一連の処理を示す図である。図７、図８の各図の上段は、画像データ整理端末装置（スマートフォン１１）における処理を示し、図７、図８の各図の下段は、画像データ整理サーバー装置（サーバー１２）における処理を示す。図７、図８の各図の上段の処理について図２ないし図１０の対応する画面がある場合には対応する画面番号を付す。スマートフォンにおける処理は、ステップＳＴ１１ないしステップＳＴ１８の処理およびステップＳＴ２７、ステップＳＴ２８、ステップＳＴ３２の処理である。サーバーにおける処理は、ステップＳＴ１９ないしステップＳＴ２６の処理およびステップＳＴ２９ないしステップＳＴ３１の処理である。

図７、図８に示す一連の処理における各処理の処理順序は一つの実施形態であり、この順序を修正して用いることもできる。以下においては、図７、図８に矢印で示す順序に沿って以下に説明をする。

（画像データ整理端末装置における処理）
画像データ整理端末装置（スマートフォン１１）のＭＰＵはステップＳＴ１１（開始）において、操作者が「画像データ整理端末装置プログラム」のアプリを選択すると画面１を表示させ、ステップＳＴ１１の処理開始の所定時間後にステップＳＴ１２に処理を移して画面２を表示させる。
ＭＰＵは、ステップＳＴ１２（利用規約の表示）において、操作者が画面２の「同意する」にタッチするとＳＴ１３に処理を移して画面３を表示させる。

ＭＰＵはステップＳＴ１３（画像撮像モード）において、操作者が画面３の「ニックネーム」、「性別」、「生年月日」、「お住まい」の情報を入力し、「登録」にタッチするとステップＳＴ１４（画像撮像モード）に処理を移して画面４を表示させる。
ＭＰＵはステップＳＴ１４（画像撮像モード）において、操作者が画面４の「測定する」にタッチすると、カメラ機能を制御して、現在、液晶画面に表示されている画像を撮像して、記憶装置を制御して画像データを記憶装置に格納させる。そして、ＭＰＵはステップＳＴ１５に処理を移して画面５を表示させる。

ＭＰＵはステップＳＴ１５（脈波測定モードの開始処理）において、操作者が画面５の「測定開始」にタッチするとステップＳＴ１６に処理を移す。
ＭＰＵはステップＳＴ１６（測定の開始通知処理）において、測定の開始をして画面６を表示させる。
ＭＰＵはステップＳＴ１７（カメラに近接した手の指の画像の撮像処理）において、操作者が画面６の「キャンセル」に短時間タッチするとステップＳＴ１５に処理を移して画面５を表示させ、操作者が画面６の「キャンセル」に長時間タッチすると「画像データ整理端末装置プログラム」を終了させる。
ＭＰＵはステップＳＴ１６（測定の開始通知処理）において、操作者が画面６の「キャンセル」に所定時間タッチしないとステップＳＴ１７に処理を移して画面５を表示させ、操作者が画面６の「キャンセル」に長時間タッチすると「画像データ整理端末装置プログラム」を終了させる。

ＭＰＵはステップＳＴ１８（測定の終了通知処理・演算中の表示処理・サーバーへのデータアップロード処理）において、画面７を表示させるとともに、測定の終了通知処理・演算中の表示処理をする。さらに、サーバーへのデータのアップロード処理をする。
スマートフォン１１からサーバー１２へアップロードするデータは、画像データ（静止画にあっては１画面を構成する１群のデータ、動画にあっては動画を構成する１群のデータ）と、この画像を撮像直後の人差し指の先をカメラで所定時間、撮像したデータ（一群の時系列輝度データ）である。

（画像データ整理サーバー装置における処理）
画像データ整理サーバー装置（サーバー１２）のＣＰＵは、ステップＳＴ１９（前倒しロジック）において、前倒しロジック処理をおこなう。
前倒しロジック処理とは、時系列輝度データ信号のピークをより検出しやすいようにする処理であり、時系列輝度データの値が連続して同値である場合には、予め定める所定複数回数以上の同値の連続する時系列輝度データを処理の対象から除く処理である。

ＣＰＵは、ステップＳＴ２０（輝度データの関数化処理）において時系列輝度データの関数化処理をおこなう。
時系列輝度データは、離散時間サンプリングデータであり、そのサンプリング時刻はスマートフォン１１内の時刻に同期している。関数化処理は、サーバー１２内の時刻に同期するために、スマートフォン１１で検出する時系列輝度データが存在しない時間における時系列輝度データを関数化して連続的に補間し、リサンプリングを可能とする。リサンプリング可能とすることによってステップＳＴ２５におけるフーリエ変換処理を精度よく実行できる。

ＣＰＵは、ステップＳＴ２１（Savitzky-Golayフィルタによるノイズ除去及びピーク検出処理）において、Savitzky-Golay（サビツキ・ゴレイ）フィルタによるノイズ除去およびピーク検出処理をおこなう。
Savitzky-Golayフィルタ自体は公知のフィルタリング技術である。スマートフォン１１のカメラで検出する時系列輝度データ信号の波形は専用の心拍センサで検出する脈波波形に比べて精度が悪く、簡単なフィルタリングでは専用の心拍センサで検出するような脈波のピークを再生することは困難である。ここで、脈波のピークを再生する際に、単純な微分を用いる場合には、高域のノイズが増加してしまいその目的を達することができない。よって、ノイズを増加させることなくピークが明確に表れるようなフィルタとしてSavitzky-Golayフィルタを用いている。

ＣＰＵは、ステップＳＴ２２（RR間隔時系列データの検出処理）において、ＲＲ間隔時系列データの検出処理をおこなう。
ＲＲ間隔時系列データ（アールアール間隔時系列データ）の検出処理は、時系列輝度データ信号をＲＲ間隔時系列データに変換する処理である。ＲＲ間隔時系列データの検出処理は、ステップＳＴ２１のSavitzky-Golayフィルタによって明瞭に再生された時系列輝度データ信号に含まれる脈波のピークを微分演算により検出する処理と、この微分演算により検出された隣接する２つのピーク間の時間を検出する処理とを含んでいる。

ＣＰＵは、ステップＳＴ２３（ローパスフィルタリング処理）において、ローパスフィルタリング処理をおこなう。
ローパスフィルタリング処理は、時系列輝度データからＲＲ間隔時系列データを検出した後において、時系列輝度データが正確に脈波を検出したならば本来得られるであろうＲＲ間隔時系列データに変換する処理である。

ＣＰＵは、ステップＳＴ２４（RR間隔時系列データの異常値除去処理）において、ＲＲ間隔時系列データの異常値除去処理をおこなう。
ＲＲ間隔時系列データの異常値除去処理は、ＲＲ間隔時系列データに含まれる異常値を除去する処理である。ここで異常値とは通常は検出されないであろうＲＲ間隔時系列データの値である。異常値の検出には、６０をＲＲ間隔時系列データの値で除して得る、ＲＲ間隔時系列データの値に逆比例する瞬時心拍数（Ｈ．Ｒ）を用いる。異常値が検出された場合には、ＲＲ間隔時系列データに混入したノイズ（すなわち、時系列輝度データ信号に混入したノイズ）がなせるものとして、ステップＳＴ２５のフーリエ変換以降の処理において、異常値を示したＲＲ間隔時系列データを用いない。異常値除去処理における異常値をどのようなものであるとみなすかについては、以下の第１のルールないし第３のルールいずれか１つが成立する場合に異常値であるとしてもよく、第１のルールないし第３のルールの任意の２つ以上の組み合わせが成立する場合に異常値であるとしてもよい。以下に第１のルールないし第３のルールについては、より詳しく後述する。

＜第１のルール＞
ｎを正整数、t（n）はｎ回目に検出するＲＲ間隔時系列データとして、｜60/t（n）-60／t（n-1）｜≦第１所定値ではないときは、異常値であるする。すなわち、現在の瞬時心拍数と直前の瞬時心拍数との差分が第１所定値よりも大きい場合には、そのときのＲＲ間隔時系列データを除去する。

＜第２のルール＞
（meanH.R（N））は移動平均値であり、Nは正整数（例えば、５、８）として、｜60/t-meanH.R（N）｜≧第２所定値の範囲であるときは、異常値であるとする。すなわち、現在の瞬時心拍数と直前までの瞬時心拍数の移動平均値との差分が第２所定値よりも大きい場合には、そのときのＲＲ間隔時系列データを除去する。

＜第３のルール＞
第２のルールを適用した結果、所定回数（例えば、８回）連続して異常値である場合に、meanH.R（8）をリセットして、再び、meanH.R（8）を算出し直す。すなわち、第３のルールは、第２のルールを適用するに際して、現在の瞬時心拍数と移動平均値との差分が第２所定値よりも大きい場合が所定回数連続したときには、その移動平均値をリセットして、新たに、移動平均値を求めるものである。

ＣＰＵは、ステップＳＴ２５（フーリエ変換処理）において、フーリエ変換処理をおこなう。
周知のハミング窓を用い、周知のＦＦＴ（高速フーリエ変換）によって、ステップＳＴ２４で得られた異常値除去処理後のＲＲ間隔時系列データをフーリエ変換処理する。ステップＳＴ２０において時系列輝度データの関数化処理がなされているので、高速フーリエ変換に際しては、スマートフォン１１におけるデータサンプリングタイミングとは異なるタイミングにおいてリサンプリングすることができる。また、異常値除去処理後のＲＲ間隔時系列データをフーリエ変換するので、時系列輝度データ信号にノイズが混入しない場合に本来得られるであろうフーリエ変換後のパワースペクトルを得ることができる。

ＣＰＵは、ステップＳＴ２６（高周波成分（HF）、低周波成分（LF）の検出処理
）において、高周波成分ＨＦ・低周波成分ＬＦの検出処理をおこなう。
フーリエ変換した後、高周波成分ＨＦ、低周波成分ＬＦを検出する。高周波成分ＨＦは、フーリエ変換され得られた所定周波数範囲の高域のパワースペクトルの積分値である。低周波成分ＬＦは、フーリエ変換され得られた所定周波数範囲の低域のパワースペクトルの積分値である。

ステップＳＴ２６で得られた高周波成分ＨＦ、低周波成分ＬＦ値は、測定時点における「画像データ整理端末装置プログラム」を利用する者の、癒され度に関係するものである。
ステップＳＴ２６においては、操作者の生体情報である高周波成分ＨＦ値、低周波成分ＬＦ値に基づいて、操作者の、癒され度を表示するための解析結果データを生成する。
解析結果データの作成に際しては、スペクトルを正規分布に近づけ、基準高周波成分から、高周波成分が極端に大きく、または、極端に小さくなる場合には、個人間のばらつきを圧縮するために、高周波成分ＨＦを対数表示するＬｎＨＦ、低周波成分ＬＦを対数表示するＬｎＬＦを用いる。以下、ＬｎＨＦを高周波成分ＬｎＨＦと称し、ＬｎＬＦを低周波成分ＬｎＬＦと称する。なお、基準となる平常心における測定の結果得られる基準高周波成分ＨＦを対数表示するのが基準高周波成分ＬｎＨＦであり、基準となる平常心における測定の結果得られる基準低周波成分ＬＦを対数表示するのが基準低周波成分ＬｎＬＦである。

基準となる平常心における測定の結果得られる基準高周波成分ＨＦ、基準となる平常心における測定の結果得られる基準低周波成分ＬＦは、予めスマートフォン１１で測定されており、スマートフォン１１の記憶装置（例えば、不揮発メモリ）に格納されている。同様に、基準高周波成分ＬｎＨＦ、基準低周波成分ＬｎＬＦもスマートフォン１１の記憶装置（例えば、不揮発メモリ）に格納されている。

表示は、図３の画面８の中段において半ドーナツ部で示すような極座標を用いる。半ドーナツ部の中心点（外側の円弧および内側の円弧の中心点）から放射状に伸びる「矢印」の直線（中心点から放射状に伸びる直線）と半ドーナツ部左端と半ドーナツ部左端とを結ぶ直線（中心点を通過する直線）とのなす角度によって癒され度を表す。

ＣＰＵが（５）式を用いて癒され度を算出する場合には、癒され度＝（高周波成分ＨＦ）／（基準高周波成分ＨＦ）は、理論上は、０（零）から∞（無限大）までの範囲があり得る。（高周波成分ＨＦ）／（基準高周波成分ＨＦ）＝０のときに、中心点から放射状に伸びる中心点を通過する直線（画面８の「矢印」の直線）と、中心点と半ドーナツ部左端とを結ぶ直線とのなす角度は０°となり、癒され度は０である。一方、（高周波成分ＨＦ）／（基準高周波成分ＨＦ）＝∞のときに、中心点から放射状に伸びる直線と、中心点を通過する直線と半ドーナツ部左端とのなす角度は１８０°となり、癒され度は１００である。また、（高周波成分ＨＦ）／（基準高周波成分ＨＦ）＝１のときに、中心点から放射状に伸びる直線と、中心点を通過する直線と半ドーナツ部左端とのなす角度は９０°となり、癒され度は５０である。ここで、癒され度の数値は、上述したものに限らず、（高周波成分ＨＦ）／（基準高周波成分ＨＦ）＝０のときの、癒され度を−１００として、（高周波成分ＨＦ）／（基準高周波成分ＨＦ）＝１のときの、癒され度を０として、（高周波成分ＨＦ）／（基準高周波成分ＨＦ）＝∞のときの、癒され度を１００としてもよい。

ＣＰＵが（６）式を用いて癒され度を算出する場合には、癒され度＝（高周波成分ＬｎＨＦ）／（基準高周波成分ＬｎＨＦ）は、理論上は、−∞から∞までの範囲があり得る。（高周波成分ＬｎＨＦ）／（基準高周波成分ＬｎＨＦ）＝−∞のときに、中心点から放射状に伸びる中心点を通過する直線（画面１６の「矢印」の直線）と、中心点と半ドーナツ部左端とを結ぶ直線とのなす角度は０°となり、癒され度は０である。一方、（高周波成分ＬｎＨＦ）／（基準高周波成分ＬｎＨＦ）＝∞のときに、中心点から放射状に伸びる直線と、中心点を通過する直線と半ドーナツ部左端とのなす角度は１８０°となり、癒され度は１００である。また、（高周波成分ＬｎＨＦ）／（基準高周波成分ＬｎＨＦ）＝０のときに、中心点から放射状に伸びる直線と、中心点を通過する直線と半ドーナツ部左端とのなす角度は９０°となり、癒され度は５０である。ここで、癒され度の数値は、上述したものに限らず、（高周波成分ＬｎＨＦ）／（基準高周波成分ＬｎＨＦ）＝−∞のときの、癒され度を−１００として、（高周波成分ＬｎＨＦ）／（基準高周波成分ＬｎＨＦ）＝０のときの、癒され度を０として、（高周波成分ＬｎＨＦ）／（基準高周波成分ＬｎＨＦ）＝∞のときの、癒され度を１００としてもよい。

ＣＰＵが（７）式を用いて癒され度を算出する場合には、癒され度＝（高周波成分ＨＦ／低周波成分ＬＦ）／（基準高周波成分ＨＦ／基準低周波成分ＬＦ）は、理論上は、０から∞までの範囲があり得る。（高周波成分ＨＦ／低周波成分ＬＦ）／（基準高周波成分ＨＦ／基準低周波成分ＬＦ）＝０のときに、中心点から放射状に伸びる中心点を通過する直線（画面１６の「矢印」の直線）と、中心点と半ドーナツ部左端とを結ぶ直線とのなす角度は０°となり、癒され度は０である。一方、（高周波成分ＨＦ／低周波成分ＬＦ）／（基準高周波成分ＨＦ／基準低周波成分ＬＦ）＝∞のときに、中心点から放射状に伸びる中心点を通過する直線（画面１６の「矢印」の直線）と、中心点と半ドーナツ部左端とを結ぶ直線とのなす角度は１８０°となり、癒され度は１００である。また、（高周波成分ＨＦ／低周波成分ＬＦ）／（基準高周波成分ＨＦ／基準低周波成分ＬＦ）＝１のときに、中心点から放射状に伸びる直線と、中心点を通過する直線と半ドーナツ部左端とのなす角度は９０°となり、癒され度は５０である。ここで、癒され度の数値は、上述したものに限らず、（高周波成分ＨＦ／低周波成分ＬＦ）／（基準高周波成分ＨＦ／基準低周波成分ＬＦ）＝０のときの、癒され度を−１００として、（高周波成分ＨＦ／低周波成分ＬＦ）／（基準高周波成分ＨＦ／基準低周波成分ＬＦ）＝１のときの、癒され度を０として、（高周波成分ＨＦ／低周波成分ＬＦ）／（基準高周波成分ＨＦ／基準低周波成分ＬＦ）＝∞のときの、癒され度を１００としてもよい。

ＣＰＵが（８）式を用いて癒され度を算出する場合には、癒され度＝（高周波成分ＬｎＨＦ／低周波成分ＬｎＬＦ）／（基準高周波成分ＬｎＨＦ／基準低周波成分ＬｎＬＦ）は、理論上は、−∞から∞までの範囲があり得る。（高周波成分ＬｎＨＦ／低周波成分ＬｎＬＦ）／（基準高周波成分ＬｎＨＦ／基準低周波成分ＬｎＬＦ）＝−∞のときに、中心点から放射状に伸びる中心点を通過する直線（画面１６の「矢印」の直線）と、中心点と半ドーナツ部左端とを結ぶ直線とのなす角度は０°となり、癒され度は０である。一方、（高周波成分ＬｎＨＦ／低周波成分ＬｎＬＦ）／（基準高周波成分ＬｎＨＦ／基準低周波成分ＬｎＬＦ）＝∞のときに、中心点から放射状に伸びる直線と、中心点を通過する直線と半ドーナツ部左端とのなす角度は１８０°となり、癒され度は１００である。また、（高周波成分ＬｎＨＦ／低周波成分ＬｎＬＦ）／（基準高周波成分ＬｎＨＦ／基準低周波成分ＬｎＬＦ）＝０のときに、中心点から放射状に伸びる直線と、中心点を通過する直線と半ドーナツ部左端とのなす角度は９０°となり、癒され度は５０である。ここで、癒され度の数値は、上述したものに限らず、（高周波成分ＬｎＨＦ／低周波成分ＬｎＬＦ）／（基準高周波成分ＬｎＨＦ／基準低周波成分ＬｎＬＦ）＝−∞のときの、癒され度を−１００として、（高周波成分ＬｎＨＦ／低周波成分ＬｎＬＦ）／（基準高周波成分ＬｎＨＦ／基準低周波成分ＬｎＬＦ）＝０のときの、癒され度を０として、（高周波成分ＬｎＨＦ／低周波成分ＬｎＬＦ）／（基準高周波成分ＬｎＨＦ／基準低周波成分ＬｎＬＦ）＝∞のときの、癒され度を１００としてもよい。

半ドーナツ部の円弧の中心点から放射状に伸びる中心点を通過する直線（画面１６の「矢印」の直線）と、中心点と半ドーナツ部左端とを結ぶ直線とのなす角度θは、（５）式を用いる場合には、ＣＰＵが以下の（９）式で求め、（７）式を用いる場合には以下の（１０）式で求める。ここで、K4，K5は係数であり、K4，K5の値を大きくすると検出値である癒され度が強調される。

θ（°）= 2×tan^-1{K4×（高周波成分ＨＦ）/（基準高周波成分ＨＦ）}・・（９）

θ（°）= 2×tan^-1{K5×（高周波成分ＨＦ／低周波成分ＬＦ）/（基準高周波成分ＨＦ／基準低周波成分ＬＦ）}・・・・（１０）

また、半ドーナツ部の円弧の中心点から放射状に伸びる中心点を通過する直線（画面１６の「矢印」の直線）と、中心点と半ドーナツ部左端とを結ぶ直線とのなす角度θは、（６）式を用いる場合には、ＣＰＵが以下の（１１）式で求め、（８）式を用いる場合には以下の（１２）式で求める。ここで、K6，K7は係数であり、K6，K7の値を大きくすると検出値である癒され度が強調される。

θ（°）= [90 + tan^-1{K6×（高周波成分ＬｎＨＦ）/（基準高周波成分ＬｎＨＦ）}]・・・・・・・・・・・・・・・・・（１１）

θ（°）= [90 + tan^-1{K7×（高周波成分ＬｎＨＦ／低周波成分ＬｎＬＦ）/（基準高周波成分ＬｎＨＦ／基準低周波成分ＬｎＬＦ）}]・・・（１２）

癒され度を０から１００の範囲に変換する場合には、（５）式を用いる場合には、ＣＰＵが以下の（１３）式で求め、（７）式を用いる場合には以下の（１４）式で求める。ここで、K8，K9は係数であり、K8，K9の値を大きくすると検出値である癒され度が強調される。

癒され度= (100/90) × tan^-1{K8×（高周波成分ＨＦ）/（基準高周波成分ＨＦ）}・・・・・・・・・・・・・・・（１３）

癒され度= (100/90) × tan^-1{K9×（高周波成分ＨＦ／低周波成分ＬＦ）/（基準高周波成分ＨＦ／基準低周波成分ＬＦ）}・・・・（１４）

癒され度を−１００から１００の範囲に変換する場合には、（５）式を用いる場合には、ＣＰＵが以下の（１５）式で求め、（７）式を用いる場合には以下の（１６）式で求める。ここで、K10，K11は係数であり、K10，K11の値を大きくすると検出値である癒され度が強調される。

癒され度= − 100 + (200/90) × tan^-1{K10×（高周波成分ＨＦ）/（基準高周波成分ＨＦ）}・・・・・・・・・・・・・・・（１５）

癒され度= - 100 + (200/90) × tan^-1{K11×（高周波成分ＨＦ／低周波成分ＬＦ）/（基準高周波成分ＨＦ／基準低周波成分ＬＦ）}・・・・（１６）

癒され度を０から１００の範囲に変換する場合には、（６）式を用いる場合には、ＣＰＵが以下の（１７）式で求め、（８）式を用いる場合には以下の（１８）式で求める。ここで、K12，K13は係数であり、K12，K13の値を大きくすると検出値である癒され度が強調される。

癒され度= (100/180) ×[90 + tan^-1{K12×（高周波成分ＬｎＨＦ）/（基準高周波成分ＬｎＨＦ）}]・・・・・・・・・・・・・・・（１７）

癒され度= (100/180) ×[90 + tan^-1{K13×（高周波成分ＬｎＨＦ／低周波成分ＬｎＬＦ）/（基準高周波成分ＬｎＨＦ／基準低周波成分ＬｎＬＦ）}・・・・（１４）

癒され度を−１００から１００の範囲に変換する場合には、（６）式を用いる場合には、ＣＰＵが以下の（１９）式で求め、（８）式を用いる場合には以下の（２０）式で求める。ここで、K14，K15は係数であり、K14，K15の値を大きくすると検出値である癒され度が強調される。

癒され度= (100/90) × tan^-1{K14×（高周波成分ＬｎＨＦ）/（基準高周波成分ＬｎＨＦ）}・・・・・・・・・・・・・・・（１９）

癒され度= (100/90) × tan^-1{K15×（高周波成分ＬｎＨＦ／低周波成分ＬｎＬＦ）/（基準高周波成分ＬｎＨＦ／基準低周波成分ＬｎＬＦ）}・・・・（２０）

（画像データ整理端末装置における処理）
ＭＰＵはステップＳＴ２７（癒され度の解析結果表示処理）において、癒され度に関しては図３に示すように、画面８の上段に「癒され度 87/100」と表示させ、画面８の下段にグラフで表示させる。画面８の下段のグラフは、癒され度の大きさを３段階（高、中、低）に分類して、画面８の中段の画像を撮像した時点に近い時点（例えば、画面８の中段の画像を撮像した直後）の、癒され度が３段階のどこに位置するかを表示する。図面８に示す例では、癒され度は87/100であるので高に分類される。「かなりリラックスできたようですね。」と表示してもよい。

ＭＰＵはステップＳＴ２８（外部データとの紐付け機能）において、操作者が画面８の「外部データとの紐付ける」をタッチした場合には、画面８に表示している画面と種々の外部データとを紐づける。
具体的には、画像データが記憶されている記憶装置（メモリ）における画面８に表示されている画面に対応する画像データの先頭番地（１群のアドレスで指定される画像データの格納されている先頭のアドレス）と、「外部データとの紐付ける」をタッチした時点において取得する外部データ（天気、気温、気圧、GPSからの位置データ、加速度データ等のデータ）を記憶する記憶装置（メモリ）のアドレスとを関係をづける。
そして、ＭＰＵはステップＳＴ２８において、「当該画像の、癒され度の解析結果」と「外部データ」と、「当該画像の記憶されるアドレスと外部データの記憶されるアドレスとの紐付け情報」とを画像データ整理サーバー装置にアップロードする。

なお、ＭＰＵはステップＳＴ２８において、操作者の撮像時における自己の行動記録（例えば、歩行、乗り物で移動、休息等の自己の行動の記録、さらには、自己判断する主観的な癒され度の数値の記録）を紐づけることもできる。この場合には、サーバー１２のＣＰＵは、（１）式ないし（８）式に基づき検出する、癒され度に加えて、操作者の撮影時の行動、撮影時の主観面も画像データ整理をおこなうに際しての判断基準とすることができるので、画像データ整理の精度をより向上させることができる。例えば、（１）式ないし（８）式に基づき検出する、指標には、「癒され度」以外に「感動」が混入することがあり、この場合には、自己判断する主観的な癒され度の記録を参照し、自己判断による癒され度が高い場合には、サーバー１２のＣＰＵは、間違いなく癒され度を検出していると判断し、「癒され度」と「感動」とを分離することができる。

（画像データ整理サーバー装置における処理）
ＣＰＵはステップＳＴ２９（各種データ（天気、気圧、気温、位置、GPS）と測定データ、画像データを紐付けてDBに格納）において、画像データ整理端末装置のフォーマットにしたがって画像データ整理端末装置のDB（データベース）に格納する。
ＣＰＵはステップＳＴ３０（フラクタル解析）において、撮像した画像のフラクタル解析をおこなう。ステップＳＴ３０のフラクタル解析は、上述した、癒され度を画像に紐づける処理とは全く独立した処理である。癒され度を測定して画像に紐づける処理は、人の主観的な感性を客観的に検出して画像データを整理するものであるが、フラクタル解析は画像自体の構成に基づく基づき画像データを整理するものである。
ステップＳＴ３０の処理を、癒され度を画像に紐づける処理とともに用いて画像データを整理するようにしてもよい。また、ステップＳＴ３０の処理か癒され度を画像に紐づける処理かのいずれかの一方だけを用いて画像データを整理するようにしてもよい。

ＣＰＵはステップＳＴ３１（データベースの集計）において、データベースに記憶されている情報と所定の整理基準に基づいて画像データの整理をする。
ＣＰＵがおこなう画像データの整理は、例えば、操作者が指定する整理すべき画像データの範囲において、操作者が指定する整理基準（第１実施形態では癒され度）に基づきソーテイングをおこなう。
ＣＰＵはステップＳＴ３１において、画像データを整理した結果を画像データ整理端末装置にダウンロードする。
画像データを整理した結果は、静止画にあっては１画面の画像データに対して、または、動画にあっては１タイトルの動画に対して癒され度が高い順番を付与したものである。

（画像データ整理端末装置における処理）
ＭＰＵはステップＳＴ３２（ランキングの表示）において、ステップＳＴ３１において得られた画像データを整理した結果を表示する。
ＭＰＵは図４の画面９に表示するように癒され度の高い順位とサムネイルとを表示する。サムネイルとは、静止画や動画を縮小表示したものであり、多数の画像を一覧表示する際に使われる。動画においては、通常、動画のタイトル部の画像がサムネイルとして使用される。画面９をスクロールすることによって３位以降の順位に対応する画像を見ることができる。
このようにサムネイルによって、操作者は、一目で、癒され度が高い画像を素早く見つけることができる。
画像データ整理サーバー装置のＣＰＵが、ステップＳＴ３０（フラクタル解析）を採用する場合においては、ＭＰＵは図４の画面１０に表示するように癒され度の高い順位およびサムネイルと、フラクタル解析に基づく順位およびサムネイルとを表示することができる。これによって、人間の心理状態に依存する心拍情報から検出する、癒され度と、画像自体から検出する、癒され度とを対比することができる。
なお、図示しないが、画面９、画面１０に替えて、フラクタル解析に基づく順位およびサムネイルのみを表す画面を表示することもできる。

（画像データ整理サーバー装置各処理の詳細について）
上述したステップＳＴ１９ないしステップＳＴ２６を有する自律神経解析エンジンの処理の詳細について順に説明をする。

（ステップＳＴ１９の前倒しロジック処理）
図６は、前倒しロジック処理を模式的に示す図である。

前倒しロジック処理は、時系列輝度データの数値が３回以上同じ場合に、２回連続に縮めるロジックである。すなわち、予め定める所定複数回数（例えば３回）以上の同値の連続する時系列輝度データを処理の対象から除く。ここで、同値には幅を持たせて、微小な所定範囲内の値のばらつきは、同値であるとして前倒しロジック処理の対象に含めるようにしてもよい。この処理によって、ステップＳＴ２２のＲＲ間隔時系列データの検出処理において、ピークがより検出しやすいようにできる。図６（ａ）は、前倒しロジック処理前の時系列輝度データである。図６（ａ）では、同じデータが４回連続している。図６（ｂ）は、前倒しロジック処理後の時系列輝度データである。図６（ｂ）では、同じデータの４回連続は２回連続となるように処理されている。

（ステップＳＴ２０の時系列輝度データの関数化処理）
時系列輝度データの関数化は、全ての時系列輝度データのサンプル点を通過するＢ-スプライン関数によっておこなう。Ｂ-スプライン関数を用いることによってスマートフォン１１で検出する時系列輝度データが存在しない時間における時系列輝度データも滑らかに連続関数として補間できるので、サーバー１２のＣＰＵのクロック信号を基準としてステップＳＴ２１以降の処理をおこなうことができる。また、ＦＦＴ（高速フーリエ変換）をおこなうための一定サンプル周期（例えば、10msec（ミリ秒））毎の時系列輝度データを新たな時系列データとして得ることができる。Ｂ-スプライン関数自体は公知の関数である。なお、データ補間の手法としては、直線補間も知られているが、Ｂ-スプライン関数を用いることによってデータの補間精度は直線補間に比べてより向上する。

（ステップＳＴ２１のSavitzky-Golayフィルタによるノイズ除去処理およびピーク検出処理）
Savitzky-Golayフィルタは、ディジタル平滑化多項式フィルタ、または、最小二乗平滑化フィルタとも称されている。時間領域で設計される平滑フィルタであり、かつ微分フィルタである。実施形態のSavitzky-Golayフィルタは、例えば、窓は0.9（秒）、３次多項式で近似して２階微分を実行する。

（ステップＳＴ２２のＲＲ間隔時系列データの検出処理）
時系列輝度データ信号のピーク検出をおこなった後、隣接するピーク間の時間であるＲＲ間隔時系列データの検出をおこなう。ピーク検出のロジックは、公知技術である単純な符号逆転としている。隣接するピーク間の時間の検出は、クロック信号に同期して動作するカウンタによっておこなう。ここで、単純な符合逆転ロジックでピーク検出が可能となり、ＲＲ間隔時系列データの検出が可能となったのは、ステップＳＴ２１におけるSavitzky-Golayフィルタの効果が寄与している。

（ステップＳＴ１９からステップＳＴ２２までの処理をおこなった時系列データの一例）
図７は、サーバー１２における各ステップの処理終了後の時系列輝度データを示す図である。

図７（ａ）は、ステップＳＴ１８においてアップロードされた時系列輝度データを示す図である。図７（ｂ）は、ステップＳＴ２０の時系列輝度データの関数化処理終了後の時系列輝度データを示す図である。図７（ｃ）は、ステップＳＴ２１のSavitzky-Golayフィルタによるノイズ除去処理後の時系列輝度データを示す図である。

（ステップＳＴ２３のローパスフィルタリング処理）
カメラに入射する周囲の光は迷光としてノイズ発生原となる。スマートフォン１１のカメラは、通常の風景、人物を写すカメラの機能を発揮するように設計されている。よって、カメラがとらえるごくわずかな皮膚の輝度の変化に対してノイズとなる迷光のレベルは相対的に大きく、ステップＳＴ２２において時系列輝度データから検出したＲＲ間隔時系列データ（ＲＲＩ）にはノイズが含まれるので、ステップＳＴ２２において得られるＲＲ間隔時系列データの中から適切にノイズを除かないとＲＲ間隔時系列データを精度よく分離することができない。

そこで、ノイズを除去するのに最適なフィルタ特性を予め実験によって求め、このような特性を有するローパスフィルタをステップＳＴ２３の処理において用いた。以下、どのようにして、最適なフィルタ特性を求めたかについて説明をする。

市販の専用の心拍センサから得られるＲＲ間隔（ＲＲＩ）時系列データの波形を基準波形として、この基準波形にステップＳＴ２０の処理後に得られるＲＲ間隔時系列データの波形を近づけるローパスフィルタの特性を求めた。ステップＳＴ２３のローパスフィルタリング処理によってスマートフォン１１のカメラから得られた輝度信号から検出されるＲＲ間隔時系列データからノイズが除去されて、本来検出されるべきであろうＲＲ間隔時系列データにより近いＲＲ間隔時系列データが得られた。

図８、図９は、ローパスフィルタの定数をどのように定めるかについての説明図である。

図８は、市販の専用の心拍センサ（MyBeat：登録商標）から得られるＲＲ間隔時系列データとステップＳＴ２３のローパスフィルタリング処理をしないＲＲ間隔時系列データとを対比する図である。

図８（ａ）は、市販の心拍センサから得られるＲＲ間隔時系列データである。図８（ｂ）は、ステップＳＴ２３のローパスフィルタリング処理をしない前のスマートフォン１１から得られるＲＲ間隔時系列データである。図８（ａ）と図８（ｂ）とは、同一人から同時に得られたデータである。

図８（ａ）の市販の心拍センサのデータと図８（ｂ）のスマートフォン１１からのステップＳＴ２２のローパスフィルタリング処理前のＲＲ間隔時系列データとはかなり異なっている。そこで、平滑化スプラインを用いたローパスフィルタによってスマートフォン１１からのＲＲ間隔時系列データをフィルタリングすることを試みた。

図９は、平滑化パラメータ（spar）を変化させたときに、ローパスフィルタリング処理後のＲＲ間隔時系列データがどのように変化するかを示す図である。

図９（ａ）の平滑化パラメータ（spar）は、0.7である。図９（ｂ）の平滑化パラメータ（spar）は、0.6である。図９（ｃ）の平滑化パラメータ（spar）は、0.5である。図９（ｄ）の平滑化パラメータ（spar）は、0.4である。図９（ｅ）の平滑化パラメータ（spar）は、0.3である。図９（ｆ）の平滑化パラメータ（spar）は、0.2である。

図８（ａ）に示す市販の心拍センサから得られるＲＲ間隔時系列データと、図９（ａ）ないし図９（ｆ）に示すローパスフィルタリング処理後のＲＲ間隔時系列データを対比する。平滑化パラメータ（spar）が0.2〜0.4の範囲で両者が近似する好適な結果が得られる。平滑化パラメータ（spar）が0.3の〜0.4の範囲で両者がより近似するより好適な結果が得られる。よって、本実施形態においては、市販の心拍センサから得られるＲＲ間隔時系列データとスマートフォン１１から得られるＲＲ間隔時系列データを最も近くする平滑化パラメータ（spar）の値として0.3の〜0.4の範囲を用いている。

（ステップＳＴ２４のＲＲ間隔時系列データの異常値除去処理）
表１は、ＲＲ間隔時系列データの異常値除去処理を説明するための表である。表１を参照して以下に説明をする。

表１の第１列目は、ＲＲ間隔時系列データが検出された順番に対応する数字である。ＲＲ間隔時系列データが最初に検出された１回目から１４回目までが表１には記載されている。

表１の第２列目は、ＲＲ間隔時系列データの値であり、１回目に検出されたＲＲ間隔時系列データの値は時間ｔ１、２回目に検出されたＲＲ間隔時系列データの値は時間ｔ２、・・・１３回目に検出されたＲＲ間隔時系列データの値は時間ｔ１３、１４回目に検出されたＲＲ間隔時系列データの値は時間ｔ１４である。

表１の第３列目は、６０をＲＲ間隔時系列データの値で除して、ＲＲ間隔時系列データの値に逆比例する瞬時心拍数（Ｈ．Ｒ）を得た値である。

表１の第４列目は、瞬時心拍数（Ｈ．Ｒ）の１回毎の増減量の絶対値｜60/tn -60/tn-1｜を演算した結果である。ルール１に対応する演算である。

表１の第５列目は、当該瞬時心拍数（Ｈ．Ｒ）と、当該瞬時心拍数（Ｈ．Ｒ）の前の所定拍数（表１の例では８拍）の瞬時心拍数を移動平均によって平均化した値との差分の絶対値である。ルール２に対応する演算である。すなわち、９回目の瞬時心拍数（Ｈ．Ｒ）である60/t9と、９回目に対応する移動平均であるmeanH.R（8（t１,t2,t3,t4,t5,t6,t7,t8））（１回目から８回目までの移動平均）との差分の絶対値が９回目のＨＲ差分である。同様に、１０回目の瞬時心拍数（Ｈ．Ｒ）である60/ｔ10と、１０回目の測定に対応する移動平均であるmeanH.R（8（t2,t3,t4,t5,t6,t7,t8,t9））（２回目から９回目までの移動平均）との差分の絶対値が１０回目のＨＲ差分である。以下同様にして、１１回目以降についても演算をする。

表１の１２回目の第４列目が「error」と記載されているのは、１２回目の瞬時心拍数（Ｈ．Ｒ）である60/t12 をエラー値であるとして、ＨＲ差分の演算に用いず、当該ＲＲ間隔時系列データであるt12を除去してデータ処理の対象としないことを意味している。

ＲＲ間隔時系列データの除去に際しては 、上述した第１のルール、第２のルール、第３のルールの３つのルールが適用される。第１のルールないし第３のルールのいずれか１つでもクリアしない場合には、当該ＲＲ間隔時系列データは除去されデータ処理の対象とはしないとしてもよく、第１のルールないし第３のルールの任意の２つ以上の組み合わせ（第１のルールないし第３のルールの全ての組み合わせも当然に含む）をクリアしない場合には、当該ＲＲ間隔時系列データは除去されデータ処理の対象とはしないとしてもよい。

本実施形態においては、第１のルール（ルール１）、第２のルール（ルール２）、第３のルール（ルール３）を以下のように組み合わせて用いている。

第１のルールは、以下のように用いている。１回目にはＲＲ間隔時系列データの前のデータがないので第１のルールは適用しない。２回目以降は、当該瞬時心拍数と１回前の瞬時心拍数との差分である｜60/t（n）-60／t（n-1）｜の演算結果が第１所定値以下のときにのみ、ＲＲ間隔時系列データを採用する、それとともに、８拍の瞬時心拍数（Ｈ．Ｒ）であるmeanH.R（8）の算出に際して、｜60/t（n）-60／t（n-1）｜の演算結果が第１所定値以下のときにのみ当該瞬時心拍数（60/t（n））を用いる。

表１の１回目〜１１回目はこのルール１に則り、｜60/t（n）-60／t（n-1）｜の演算結果が第１所定値以下のときの処理をおこなう。

｜60/t（n）-60／t（n-1）｜の演算結果が第１所定値よりも大きい場合には、突然に前と異なる瞬時心拍数（Ｈ．Ｒ）がノイズ等により発生したと判断して（すなわち、突然に前と異なるＲＲ間隔時系列データがノイズ等により発生したと判断して）、当該ＲＲ間隔時系列データは除去されデータ処理の対象とはしない。それとともに、本実施形態においては８拍の瞬時心拍数（Ｈ．Ｒ）であるmeanH.R（8）の算出に際しても、第１のルールを適用してerror（エラー）となった瞬時心拍数（Ｈ．Ｒ）を移動平均の演算に用いない。ここで、meanH.R（8）の表記は８拍の瞬時心拍数（Ｈ．Ｒ）についての移動平均値を意味し、Ｎ拍の移動平均値であれば、meanH.R（N）と記載する。Nの値は適宜に決め得るものである。

表１の１３回目のmeanH.R（8）の算出はこのルールに則っており、meanH.R（8）として｜60/t13-meanH.R（8(t4,t5,t6,t7,t8,t9,t10,t11))｜（４回目から１１回目の移動平均）を用いている。本来あるべき１３回目のmeanH.R（8）である｜60/t13-meanH.R（8(t5,t6,t7,t8,t9,t10,t11,t12))｜は、用いていない。また、１４回目のmeanH.R（8）の算出もこのルールに則っており、meanH.R（8）として｜60/t14-meanH.R（8 (t5,t6,t7,t8,t9,t10,t11,t13)）｜（５回目から１３回目まで１２回目を除く移動平均）を用いている。

また、表１には表れていないが、本実施形態では第２のルールも用いている。第２のルールは、｜60/t-meanH.R（8）｜の演算結果が第２所定値以上のときは、前の８拍の平均値と異なる異常な瞬時心拍数（Ｈ．Ｒ）が発生したと判断して、当該ＲＲ間隔時系列データは除去されデータ処理の対象とはしない。なお、第１所定値と第２所定値の大小関係によって、｜60/t（n）-60／t（n-1）｜≦第１所定値ではない（第１のルール）、または、｜60/t-meanH.R（N）｜≧第２所定値である（第２のルール）のいずれか一方に該当し、または、その双方に該当して、異常値であると判断される。

また、表１には表れていないが、本実施形態では第３のルールも用いている。第３のルールは、所定拍数（例えば、８拍）についての移動平均値（meanH.R（8））の演算結果が、所定回数（例えば、８回）連続して第２所定値の範囲にない場合は、meanH.R（8）をリセットして、再び、meanH.R（8）を算出し直す。この演算は、表１の１回目から８回目の処理に対応するが、表１とは異なり、この場合には１回目の値が検出されるので１回目についても第１のルールが適用され、１回早く表１の８回目において移動平均値が得られる。

（ステップＳＴ２５のフーリエ変換処理）
フーリエ変換処理は、窓として、周知技術の方形窓（窓なし）、ハニング窓、ハミング窓の３種類の窓を試みた。その結果、ハミング窓が後述する高周波成分ＨＦと低周波成分ＬＦとの分離において最も良好な結果が得られので、ハミング窓を用いる。ＲＲ間隔時系列データは、関数化処理がなされているので、一定の周期でリサンプリングをおこなう高速フーリエ変換が可能となる。

（ステップＳＴ２６の高周波成分ＨＦ・低周波成分ＬＦの検出処理）
高周波成分ＨＦは副交感神経の活動を表し、低周波成分ＬＦは交感神経の活動を表す指標として定義されて既住の論文、文献において用いられている。高周波成分ＨＦは、フーリエ変換した後、0.15〜0.4Hzの帯域を通過させるフィルタによって得られる0.15〜0.4Hzのパワースペクトルの積分値である。低周波成分ＬＦは、0.04〜0.15Hzの帯域を通過させるフィルタによって得られるパワースペクトルの積分値である。

低周波成分ＬｎＬＦは、低周波成分ＬＦの対数表示である。対数表示によって低周波成分ＬｎＬＦは、複数回測定すると正規分布に近づく。高周波成分ＬｎＨＦは、高周波成分ＨＦの対数表示である。対数表示によって高周波成分ＬｎＨＦは、複数回測定すると正規分布に近づく。

低周波成分ＬｎＬＦの値が大きいほど、交感神経の活動は高く、低周波成分ＬｎＬＦの値が小さいほど、交感神経の活動は低い。また、高周波成分ＬｎＨＦの値が大きいほど、副交感神経の活動は高く、高周波成分ＬｎＨＦの値が小さいほど、副交感神経の活動は低い。

（ステップＳＴ３０のフラクタル解析）
サーバー１２のＣＰＵがおこなうステップＳＴ３０におけるフラクタル解析について説明をする。
フラクタルとは.1975年にマンデルブロ(Mandelbrot)が「砕けた石」という意味のラテン語から命名した用語であり、非整数次元を持った図形、構造を指す。特徴としては微小な部分をとっても全体に相似している自己相似性が挙げられる。図形等の複雑さの程度を表す共通の尺度として、フラクタル次元があり、図形などが複雑であればあるほどフラクタル次元の値も大きい。

非特許文献４に記載されるようにフラクタル次元に関して、絵画や風景などの視覚情報のフラクタル次元がその好感度と関連があることが主張されている。しかしながら、心拍のゆらぎから算出される癒され度とフラクタル次元との関係についての研究はほとんどされていない。そこで、本特許出願の願書に記載の発明者ら（以下、単に発明者らと省略する）は、上述したように、画像を視認したときの人間の心理状態に依存する心拍情報から検出する癒され度と、同様な指標を画像自体から検出する方法がないかを探索し、画像自体から癒され度と同様な指標を抽出することができた。画像自体から抽出されるこの指標を、画像自体から得られる癒され度、あるいは単に癒され度と以下では称する。

すなわち、発明者らは画像のフラクタル次元が低いと、画像自体から得られる、癒され度が高いという傾向があるとの結論に至った。簡単に説明するとフラクタル次元が高い画像は一般的に入り組んだごちゃごちゃした感じを与えるとともに強い印象を与える傾向が高いのに対して、フラクタル次元が低い画像は雄大な感じを与える傾向が高い。そして、フラクタル次元の値が近似していれば，刺激は類似しており、フラクタル次元が離れた値である場合の刺激は類似していないのではないかという仮説に基づけば、フラクタル次元により視覚的注意への影響が一定の確定性を有することとなる。このような理屈から、同様なフラクタル次元を有する画像から得られる人間の心理は同様なものとなり、この心理が心拍（脈波）に影響を与え、フラクタル次元が低い画像は癒され度が高いものとして検出されるのではないかと発明者らは推測している。

実施形態では、フラクタル次元を計算するために、元の画像をグレースケールに変換し、濃淡によってpixel値を表した3次元の画像に置き換えた（立方体法）。このようにして3次元に置き換えた空間を画像濃度空間と呼ぶ。画像濃度空間の濃度面の起伏の複雑さを示すフラクタル次元を推測する方法として，フラクタルブラウン関数に従ってpixel（x）の濃度値を推量する方法を用いた（非特許文献２を参照）。自己相似性によって特徴づけられる統計的フラクタルの代表的な記述モデルであるフラクタルブラウン関数を画像の濃度値で定義すると，任意の変位（x）について以下の（２１）式が得られる。ここで、E[]はΔxを固定した場合の期待値を，l(x)はxにおける濃度値、H，Cは定数である。

E[|(l(x + Δx)-l(x)|]×|Δｘ｜^-H =C・・・・（２１）

（２１）式におけるH，Cは定数であるため（２１）式を対数変換すると、（２２）式となり、Ｃとｘが対数プロットされたグラフの直線部分の傾きはHで表わされる。

log C= log E[|(l(x + Δx)-l(x)|]-H log|Δｘ｜・・・・（２２）式

Hによって画像の濃度空間の3次元曲面のフラクタル次元Dは次の（２３）式
で与えられる。

D=3-H・・・・・（２３）

フラクタル次元Dを求める別の方法としては、より計算を単純化した平面法と呼ばれるものがある。この方法は、パラメータrによりサイズが決定される任意のボックスサイズを設定し、その面を覆う小さなエリア単位の個数を数える方法である。この方法では、Hについての式は、log N(r)= -H log r +log N(1)となり、最終的には（２３）式に対応する式は、D=2-Hとなる。

このようにしてステップＳＴ３０（フラクタル解析）の処理をおこない、画像自体の癒され度が高い順に撮像した画像を並べることができる。なお、図４の画面１０に示すような対比処理を多量のデータについて統計的におこなえば、フラクタル次元と癒され度との関係についての知見の精度がより高まると発明者らは考えている。さらに、このような統計処理の積み重ねの結果、操作者の心の動きを測定することなく画像そのものの性質を解析することによって画像データの自動整理も可能とできると発明者らは考えている。

フラクタル解析の処理を用いる画像データの自動整理の方法には、操作者の心の動きを測定することなく画像データの自動整理をする段階から、操作者の心の動きを測定に加えてフラクタル解析の結果を用いる段階までいくつかの段階がある。操作者の心の動きを測定に加えてフラクタル解析の結果を用いる場合には、上述した「癒され度」と「感動」とを分離するに際して、上述したように操作者の癒されているという主観を入力することなく、自動分離をすることができる。すなわち、（１）式ないし（８）式によって自律神経指標により検出する、癒され度が高い画像を検出した後、さらに、フラクタル解析の結果「癒され度」が高いと判断される画像のみを自動検出して、「感動」する画像を排除して「癒され度」が高い画像のみを検出できる。「興奮度」と「ストレス」とを分離するに際しても同様の手法を用いることができる。

「第１実施形態の変形例」
（第１変形例）
上述した実施形態においては、画像データ整理システムにおけるクライアントとサーバーとの接続は、インターネット回線を用いるものとして説明をしたが、両者の接続はこれに限るものではなく、専用回線、公衆回線を問わず、有線通信回線、無線回線を問わず、あらゆる回線を用いることができる。例えば、ＬＡＮ、専用の微弱電波を用いた専用回線、高速汎用回線等を用いることができる。

（第２変形例）
クライアントとしての画像データ整理端末装置は、スマートフォン、タブレット、専用端末を始めとして、種々のものを使用できる。また、画像データ整理端末装置はコンピュータ（ＭＰＵ）とＭＰＵにおいて実行されるプログラムを中心にして構成するのみならず、処理の一部、または、全部をランダムロジック回路でおこなうようにしてもよい。この場合においては、各処理部は、コンピュータにプログラムを実行させて実現するのでなく、ハードウエアで構成して実現される。

サーバーとしての画像データ整理サーバー装置は、コンピュータ（ＣＰＵ）とソフトウエアとの組み合わせによって実現するのみならず、各処理の一部、または、全部を集積回路、ランダムロジック回路等のハードウエアで構成しておこなってもよい。この場合においては、ランダムロジック回路等のハードウエアでおこなう各処理は、コンピュータとプログラムとで実行するのでなく、ハードウエアで構成する各処理部で実行する。

ハードウエア構成においては、前倒しロジック処理部で前倒しロジック処理を実行し、時系列輝度データの関数化処理部で時系列輝度データの関数化処理を実行し、Savitzky-Golayフィルタ部でノイズ除去およびピーク検出処理を実行し、ＲＲ間隔時系列データ検出処理部でＲＲ間隔時系列データの検出処理を実行し、ローパスフィルタリング処理部でローパスフィルタリング処理を実行し、ＲＲ間隔時系列データの異常値除去処理部でＲＲ間隔時系列データの異常値除去処理を実行し、フーリエ変換処理部でフーリエ変換処理を実行し、高周波成分ＨＦ・低周波成分ＬＦの検出処理部で高周波成分ＨＦ・低周波成分ＬＦの検出処理を実行する。

（第３変形例）
前倒しロジック処理、Savitzky-Golayフィルタによるノイズ除去処理およびピーク検出処理、ローパスフィルタリング処理、ＲＲ間隔時系列データの異常値除去処理は、いずれも、時系列輝度データに含まれるノイズ、または、ＲＲ間隔時系列データに含まれるノイズを除去するための処理であり、これらのいずれかの一つ、または、これらの二つ以上の組み合わせ（これらの全部の組み合わせを含む）を適宜に用いることができる。

また、クライアントの画像データ整理端末装置における処理と、サーバーの画像データ整理サーバー装置における処理とをどのように分けるかは、適宜に決め得るものである。例えば、画像データ整理端末装置にあるカメラ毎の性能の異なりを画像データ整理端末装置において補正するために、前倒しロジック処理（ステップＳＴ１９）、時系列輝度データの関数化処理（ステップＳＴ２０）、Savitzky-Golayフィルタによるノイズ除去およびピーク検出処理（ステップＳＴ２１）、ＲＲ間隔時系列データの検出処理（ステップＳＴ２２）、ローパスフィルタリング処理（ステップＳＴ２３）、ＲＲ間隔時系列データの異常値除去処理（ステップＳＴ２４）のうちの一部または、その全部を画像データ整理端末装置においておこなうようにしてもよい。このようにすることによって、カメラの特性にあわせた適切な処理を画像データ整理端末装置においておこなうことができる。

（第４変形例）
第１実施形態においては、画像データ整理端末装置が有するカメラは１個であったので、例えば、風景の画像撮像時には、手の指先を同時に撮像することができなかった。そのために、風景の画像を撮像した直後にカメラの位置を変えて手の指先を撮像しなければならず煩雑であった。そこで、これを改善するために以下のようにする。

画像データ整理端末装置（スマートフォン１１）のカメラは、風景等を撮像するためのカメラに加えて、スマートフォン１１を手で保持するときに手の指先を撮像する位置に補助カメラを備える。このようにすれば、風景等の撮像時そのままの手の指の位置を維持しながら、風景等を撮像した直後に補助カメラから時系列輝度データを得ることができる。

（第５変形例）
上述したフラクタル解析の結果を以下のようにして用いることができる。フラクタル解析の結果として得られた画像のフラクタル次元と、そのフラクタル次元の画像を視認する者の好む音楽（画像フラクタル次元に対応する音楽）を予めサーバー１２に保存しておく。そして、サーバー１２がスマートフォン１１からの送られる画像についてのフラクタル解析をおこなった後、サーバー１２に保存されている画像フラクタル次元に対応する音楽をスマートフォン１１にダウンロードする。このようにすれば、スマートフォン１１を携帯する者は、音楽をその者の意思で選択することなく自動的に、現在見ている風景に最もマッチする音楽を楽しむことができる。

第１実施形態の要点をまとめると以下の様になる。

画像データ整理システムは、画像データ整理端末装置と画像データ整理サーバー装置とを備える画像データ整理システムであって、画像データ整理端末装置は、画像を撮像して画像データを取得する撮像部と、画像データの取得に際して心拍に応じた時系列心拍データを取得する時系列心拍データ取得部と、時系列心拍データを画像データ整理サーバー装置に対して出力する時系列心拍データ出力処理部と、画像データ整理サーバー装置から出力される、癒され度の高い順に並べられた撮像された画像を表示する画像表示部と、を具備し、画像データ整理サーバー装置は、時系列心拍データをフーリエ変換するフーリエ変換処理部と、フーリエ変換処理された信号の高周波成分と低周波成分とを分離する高周波成分・低周波成分検出処理部と、高周波成分から癒され度を求める自律神経解析エンジン処理部と、癒され度の高い順に撮像された画像を並べるソーテイング処理部と、を具備する。自律神経解析エンジン処理部は、少なくとも、高周波成分を予め測定した基準高周波成分で除して、癒され度を求めることがより望ましい。

また、画像データ整理サーバー装置は、撮像された画像から撮像された画像のフラクタル次元を演算するフラクタル解析処理部と、画像が与える、癒されたという印象と、その画像に対応するフラクタル次元との関係の統計解析に基づき、癒されたという印象の高い順に撮像した画像を並べるソーテイング処理部と、を具備するようにしてもよい。

画像データ整理端末装置は、スマートフォンであり、撮像部は、スマートフォンのカメラ機能で構成し、時系列心拍データ取得部は、スマートフォンのカメラ機能に指先を撮影させて構成するようにしてもよい。

画像データ整理サーバー装置プログラムは、画像データ整理システムにおいて画像データ整理端末装置と協調して動作する画像データ整理サーバー装置のコンピュータに実行させる画像データ整理サーバー装置プログラムであって、画像データ整理端末装置が取得した時系列心拍データをフーリエ変換するフーリエ変換処理部と、フーリエ変換処理された信号の高周波成分と低周波成分とを分離する高周波成分・低周波成分検出処理部と、高周波成分から癒され度を求める自律神経解析エンジン処理部と、癒され度の高い順に撮像された画像を並べるソーテイング処理部と、を備えるようにコンピュータを機能させる。自律神経解析エンジン処理部は、少なくとも、高周波成分を予め測定した基準高周波成分で除して、癒され度を求めることがより望ましい。

画像データ整理端末装置プログラムは、画像データ整理システムにおいて画像データ整理サーバー装置と協調して動作する画像データ整理端末装置のコンピュータに実行させる画像データ整理端末装置プログラムであって、画像データの取得に際して心拍に応じた時系列心拍データを取得する時系列心拍データ取得部と、時系列心拍データを画像データ整理サーバー装置に対して出力する時系列心拍データ出力処理部と、画像データ整理サーバー装置から出力される、癒され度の高い順に並べられた撮像された画像を表示する画像表示部と、を備えるようにコンピュータを機能させる。

「第２実施形態」
第１実施形態においては、クライアント・サーバー・システムとして画像データ整理システムを構成した。第２実施形態は、第１実施形態のサーバーにおける全ての処理をクライアントに移すようにする実施形態である画像データ整理装置、画像データ整理装置プログラムに関する。このような画像データ整理装置は、例えば、図１に記載されたスマートフォン１１がサーバー１２の支援を受けることなく、単独で全ての処理をおこなう場合に相当する。画像データ整理装置として機能するスマートフォン１１が単体で上述した処理の全てをおこなう場合には、サーバーを用いなくともよい。また、画像データ整理装置は画像データ整理装置プログラムのみによって動作する。

第２実施形態の要点をまとめると以下の様になる。

画像データ整理装置は、撮像して画像データを取得する撮像部と、画像データの取得に際して心拍に応じた時系列心拍データを取得する時系列心拍データ取得部と、時系列心拍データをフーリエ変換するフーリエ変換処理部と、フーリエ変換処理された信号の高周波成分と低周波成分とを分離する高周波成分・低周波成分検出処理部と、高周波成分から癒され度を求める自律神経解析エンジン処理部と、癒され度の高い順に画像データを並べるソーテイング処理部と、癒され度の高い順に並べられた画像データを表示する画像表示部と、を備える。自律神経解析エンジン処理部は、少なくとも、高周波成分を予め測定した基準高周波成分で除して、癒され度を求めることがより望ましい。

画像データ整理装置プログラムは、画像データ整理装置のコンピュータに実行させる画像データ整理装置プログラムであって、撮像して画像データを取得する撮像部と、画像データの取得に際して心拍に応じた時系列心拍データを取得する時系列心拍データ取得部と、時系列心拍データをフーリエ変換するフーリエ変換処理部と、フーリエ変換処理された信号の高周波成分と低周波成分とを分離する高周波成分・低周波成分検出処理部と、高周波成分から癒され度を求める自律神経解析エンジン処理部と、癒され度の高い順に画像データを並べるソーテイング処理部と、癒され度の高い順に並べられた画像データを表示する画像表示部と、を備えるようにコンピュータを機能させる。自律神経解析エンジン処理部は、少なくとも、高周波成分を予め測定した基準高周波成分で除して、癒され度を求めることがより望ましい。

「第３実施形態」
第１実施形態、第２実施形態においては、画像データ整理システム、画像データ整理サーバー装置、画像データ整理端末装置、画像データ整理サーバー装置プログラム、画像データ整理端末装置プログラムは、「癒され度」を整理基準として画像データを整理するものであった。しかしながら、第１実施形態、第２実施形態と同様な技術的思想に基づきながら、「癒され度」とは異なる他の整理基準に基づき、画像データを整理することができる。第３実施形態は、「興奮度」を整理基準として画像データを整理する、画像データ整理システム、画像データ整理サーバー装置、画像データ整理端末装置、画像データ整理サーバー装置プログラム、画像データ整理端末装置プログラムである。

上述したように、高周波成分は副交感神経の活動に関係する。一方、低周波成分は交感神経の活動に関係することが知られている。また、高周波成分を低周波成分で除したものも副交感神経の活動を表し、高周波成分の対数も副交感神経の活動を表し、高周波成分の対数を低周波成分の対数で除するものも副交感神経の活動を表す。一方、低周波成分を高周波成分で除したものも交感神経の活動を表し、低周波成分の対数も交感神経の活動を表し、低周波成分の対数を高周波成分の対数で除するものも交感神経の活動を表すことが知られている。このことを利用して、「興奮度」を整理基準として画像データを整理することができる。以下の第３実施形態の説明においては、図を引用せずに説明するが、「癒され度」を「興奮度」と置き換えて、既に説明をした図１ないし図５を第３実施形態の説明に援用することができる。

低周波成分、低周波成分を高周波成分で除するもの、低周波成分の対数、低周波成分の対数を高周波成分の対数で除するものは、いずれも、それらの値が大きいほど、交感神経の活動が高い。そして、交感神経の活動が高い程、興奮度が高い。

具体的には、興奮度は以下の様にして求める。

興奮度＝（低周波成分）・・・・・・・・・・・・・・・・・・・（２４）

興奮度＝（低周波成分の対数）・・・・・・・・・・・・・・・・（２５）

興奮度＝（低周波成分／高周波成分）・・・・・・・・・・・・・（２６）

興奮度＝｛（低周波成分の対数／高周波成分の対数）｝・・・・・・（２７）

しかしながら、興奮度が大きい場合でも、興奮していない者もある反面、興奮度が小さい場合でも、興奮している者もある。すなわち、低周波成分、低周波成分を高周波成分で除するもの、低周波成分の対数、低周波成分の対数を高周波成分の対数で除するものと、どの程度興奮しているかの関係は、個人差がある。そこで、測定時点の低周波成分と、基準低周波成分との大きさの違いに基づいて興奮度を求めるようにした。このようにして、興奮している度合である興奮度が個人差なく規格化できる。

具体的には、規格化した興奮度は以下の様にして求める。

興奮度＝（低周波成分ＬＦ）／（基準低周波成分ＬＦ）・・・・・・・・・（２８）

興奮度＝（低周波成分の対数ＬｎＬＦ）／（基準低周波成分の対数ＬｎＬＦ）・・（２９）

興奮度＝（低周波成分ＬＦ／高周波成分ＨＦ）／（基準低周波成分ＬＦ／基準高周波成分ＨＦ）
＝（低周波成分ＬＦ／基準低周波成分ＬＦ）／（高周波成分ＨＦ／基準高周波成分ＨＦ）・・（３０）

興奮度＝｛（低周波成分の対数ＬｎＬＦ／高周波成分の対数ＬｎＨＦ）／（基準低周波成分の対数ＬｎＬＦ／基準高周波成分の対数ＬｎＨＦ）｝
＝｛（低周波成分の対数ＬｎＬＦ／基準低周波成分の対数ＬｎＬＦ）／（高周波成分の対数ＬｎＨＦ／基準高周波成分の対数ＬｎＨＦ）｝・・・・・・・（３１）

以上の、（２４）式ないし（３１）式のいずれの式に基づき、興奮度を求めるかは、任意に選択できる。

基準低周波成分とは基準の興奮状態における低周波成分であり、基準高周波成分とは基準の興奮状態における高周波成分である。ここで、基準の興奮状態とは、通常の日常生活を行っている場合における興奮状態であり、過度に気が緩んだ状態でもなく、過度に興奮した状態でもなく、くつろいだ穏やかな平常心における興奮状態である。一般的には、（２４）式ないし（３１）式における基準低周波成分と基準高周波成分は、（１）式ないし（８）式における基準低周波成分と基準高周波成分、同じものである。

第３実施形態における以下の各式と第１実施形態における各式とは以下の様に対応する。（３２）式は（９）式に対応し、（３３）式は（１０）式に対応し、（３４）式は（１１）式に対応し、（３５）式は（１２）式に対応し、（３６）式は（１３）式に対応し、（３７）式は（１４）式に対応し、（３８）式は（１５）式に対応し、（３９）式は（１６）式に対応し、（４０）式は（１７）式に対応し、（４１）式は（１８）式に対応し、（４２）式は（１９）式に対応し、（４３）式は（２０）式に対応する。以下では、低周波成分の対数ＬｎＬＦを低周波成分ＬｎＬＦと省略し、高周波成分の対数ＬｎＨＦを高周波成分ＬｎＨＦと省略し、基準低周波成分の対数ＬｎＬＦを基準低周波成分ＬｎＬＦと省略し、基準高周波成分の対数ＬｎＨＦを基準高周波成分ＬｎＨＦと省略して記載する。

半ドーナツ部の円弧の中心点から放射状に伸びる中心点を通過する直線（画面１６の「矢印」の直線）と、中心点と半ドーナツ部左端とを結ぶ直線とのなす角度θは、（２８）式を用いる場合には、ＣＰＵが以下の（３２）式で求め、（２９）式を用いる場合には以下の（３３）式で求める。ここで、K4，K5は係数であり、K4，K5の値を大きくすると興奮度が強調される。

θ（°）= 2×tan^-1{K4×（低周波成分ＬＦ）/（基準低周波成分ＬＦ）}・・（３２）

θ（°）= 2×tan^-1{K5×（低周波成分ＬＦ／高周波成分ＨＦ）/（基準低周波成分ＬＦ／基準高周波成分ＨＦ）}・・・・・・・・・・・・・・・・・・・・・（３３）

また、半ドーナツ部の円弧の中心点から放射状に伸びる中心点を通過する直線（画面１６の「矢印」の直線）と、中心点と半ドーナツ部左端とを結ぶ直線とのなす角度θは、（２８）式を用いる場合には以下の（３４）式で求められ、（３０）式を用いる場合には以下の（３５）式で求められる。ここで、K6，K7は係数であり、K6，K7の値を大きくすると興奮度が強調される。

θ（°）= [90 + tan^-1{K6×（低周波成分ＬｎＬＦ）/（基準低周波成分ＬｎＬＦ）}]・・・・・・・・・・・・・・・・・・・・・・・・・・・・（３４）

θ（°）= [90 + tan^-1{K7×（低周波成分ＬｎＬＦ／高周波成分ＬｎＨＦ）/（基準低周波成分ＬｎＬＦ／基準高周波成分ＬｎＨＦ）}]・・・・・・・・・（３５）

興奮度を０から１００の範囲に変換する場合には、（２８）式を用いる場合には以下の（３６）式で求められ、（３０）式を用いる場合には以下の（３７）式で求められる。ここで、K8，K9は係数であり、K8，K9の値を大きくすると興奮度が強調される。

興奮度= (100/90) × tan^-1{K8×（低周波成分ＬＦ）/（基準低周波成分ＬＦ）}・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・（３６）

興奮度= (100/90) × tan^-1{K9×（低周波成分ＬＦ／高周波成分ＨＦ）/（基準低周波成分ＬＦ／基準高周波成分ＨＦ）}・・・・・・・・・・・・・・・・（３７）

興奮度を−１００から１００の範囲に変換する場合には、（２８）式を用いる場合には以下の（３８）式で求められ、（３０）式を用いる場合には以下の（３９）式で求められる。ここで、K10，K11は係数であり、K10，K11の値を大きくすると興奮度が強調される。

興奮度= − 100 + (200/90) × tan^-1{K10×（低周波成分ＬＦ）/（基準低周波成分ＬＦ）}・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・（３８）

興奮度= - 100 + (200/90) × tan^-1{K11×（低周波成分ＬＦ／高周波成分ＨＦ）/（基準低周波成分ＬＦ／基準高周波成分ＨＦ）}・・・・・・・・・・・・・・（３９）

興奮度を０から１００の範囲に変換する場合には、（２８）式を用いる場合には以下の（４０）式で求められ、（３０）式を用いる場合には以下の（４１）式で求められる。ここで、K12，K13は係数であり、K12，K13の値を大きくすると興奮度が強調される。

興奮度= (100/180) ×[90 + tan^-1{K12×（低周波成分ＬｎＬＦ）/（基準低周波成分ＬｎＬＦ）}]・・・・・・・・・・・・・・・・・・・・・・・・・（４０）

興奮度= (100/180) ×[90 + tan^-1{K13×（低周波成分ＬｎＬＦ／高周波成分ＬｎＨＦ）/（基準低周波成分ＬｎＬＦ／基準高周波成分ＬｎＨＦ）}・・・・（４１）

興奮度を−１００から１００の範囲に変換する場合には、（２８）式を用いる場合には以下の（４２）式で求められ、（３０）式を用いる場合には以下の（４３）式で求められる。ここで、K14，K15は係数であり、K14，K15の値を大きくすると興奮度が強調される。

興奮度= (100/90) × tan^-1{K14×（低周波成分ＬｎＬＦ）/（基準低周波成分ＬｎＬＦ）}・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・（４２）

興奮度= (100/90) × tan^-1{K15×（低周波成分ＬｎＬＦ／高周波成分ＬｎＨＦ）/（基準低周波成分ＬｎＬＦ／基準高周波成分ＬｎＨＦ）}・・・・・・・・・（４３）

以上のようにして、第３実施形態においては、第１実施形態における演算式を「癒され度」を求めるものから「興奮度」を求めるものに変更することによって、第１実施形態と同様にして、興奮度を整理基準として画像データを整理することができる。興奮度を整理基準として画像データを整理するのに適当な画像データは、例えば、観戦しながら撮像したスポーツの試合の画像データなどである。試合観戦中に、あまり深く考えることなく次から次に撮像した多数の画像データを、興奮度を整理基準としてエキサイティングな画像だけを苦労なく自動整理することができる。

なお、ＭＰＵは、操作者の撮像時における自己の行動記録（例えば、歩行、乗り物で移動、休息等の自己の行動の記録、さらには、自己判断する主観的な興奮度の数値の記録）を紐づけることもできる。この場合には、サーバー１２のＣＰＵは、（２４）式ないし（３１）式に基づき検出する、興奮度に加えて、操作者の撮影時の行動、撮影時の主観面も画像データ整理をおこなうに際しての判断基準とすることができるので、画像データ整理の精度をより向上させることができる。例えば、（２４）式ないし（３１）式に基づき検出する、指標には、「興奮度」以外に「ストレス」が混入することがあり、この場合には、自己判断する主観的な興奮度の記録を参照し、自己判断による興奮度が高い場合には、サーバー１２のＣＰＵは、間違いなく興奮度を検出していると判断し、「興奮度」と「ストレス」とを分離することができる。

「第３実施形態の変形例」
第３実施形態においても、第１実施形態の第１変形例ないし第４変形例と同様な実施形態を実施することができる。

第３実施形態の要点をまとめると以下の様になる。

画像データ整理システムは、画像データ整理端末装置と画像データ整理サーバー装置とを備える画像データ整理システムであって、画像データ整理端末装置は、画像を撮像して画像データを取得する撮像部と、画像データの取得に際して心拍に応じた時系列心拍データを取得する時系列心拍データ取得部と、時系列心拍データを画像データ整理サーバー装置に対して出力する時系列心拍データ出力処理部と、画像データ整理サーバー装置から出力される、興奮度の高い順に並べられた撮像された画像を表示する画像表示部と、を具備し、画像データ整理サーバー装置は、時系列心拍データをフーリエ変換するフーリエ変換処理部と、フーリエ変換処理された信号の高周波成分と低周波成分とを分離する高周波成分・低周波成分検出処理部と、低周波成分から興奮度を求める自律神経解析エンジン処理部と、興奮度の高い順に撮像された画像を並べるソーテイング処理部と、を具備する。自律神経解析エンジン処理部は、少なくとも、低周波成分を予め測定した基準低周波成分で除して、興奮度を求めることがより望ましい。

画像データ整理端末装置は、スマートフォンであり、撮像部は、スマートフォンのカメラ機能で構成し、時系列心拍データ取得部は、スマートフォンのカメラ機能に指先を撮影させて構成するようにしてもよい。

画像データ整理サーバー装置プログラムは、画像データ整理システムにおいて画像データ整理端末装置と協調して動作する画像データ整理サーバー装置のコンピュータに実行させる画像データ整理サーバー装置プログラムであって、画像データ整理端末装置が取得した時系列心拍データをフーリエ変換するフーリエ変換処理部と、フーリエ変換処理された信号の高周波成分と低周波成分とを分離する高周波成分・低周波成分検出処理部と、低周波成分から興奮度を求める自律神経解析エンジン処理部と、興奮度の高い順に撮像された画像を並べるソーテイング処理部と、を備えるようにコンピュータを機能させる。自律神経解析エンジン処理部は、低周波成分を予め測定した基準低周波成分で除して、興奮度を求めることがより望ましい。

画像データ整理端末装置プログラムは、画像データ整理システムにおいて画像データ整理サーバー装置と協調して動作する画像データ整理端末装置のコンピュータに実行させる画像データ整理端末装置プログラムであって、画像データの取得に際して心拍に応じた時系列心拍データを取得する時系列心拍データ取得部と、時系列心拍データを画像データ整理サーバー装置に対して出力する時系列心拍データ出力処理部と、画像データ整理サーバー装置から出力される、興奮度の高い順に並べられた撮像された画像を表示する画像表示部と、を備えるようにコンピュータを機能させる。

画像データ整理装置は、撮像して画像データを取得する撮像部と、画像データの取得に際して心拍に応じた時系列心拍データを取得する時系列心拍データ取得部と、時系列心拍データをフーリエ変換するフーリエ変換処理部と、フーリエ変換処理された信号の高周波成分と低周波成分とを分離する高周波成分・低周波成分検出処理部と、低周波成分から興奮度を求める自律神経解析エンジン処理部と、興奮度の高い順に画像データを並べるソーテイング処理部と、興奮度の高い順に並べられた画像データを表示する画像表示部と、を備える。自律神経解析エンジン処理部は、低周波成分を予め測定した基準低周波成分で除して、興奮度を求めることがより望ましい。

画像データ整理装置プログラムは、画像データ整理装置のコンピュータに実行させる画像データ整理装置プログラムであって、撮像して画像データを取得する撮像部と、画像データの取得に際して心拍に応じた時系列心拍データを取得する時系列心拍データ取得部と、時系列心拍データをフーリエ変換するフーリエ変換処理部と、フーリエ変換処理された信号の高周波成分と低周波成分とを分離する高周波成分・低周波成分検出処理部と、低周波成分から興奮度を求める自律神経解析エンジン処理部と、興奮度の高い順に画像データを並べるソーテイング処理部と、興奮度の高い順に並べられた画像データを表示する画像表示部と、を備えるようにコンピュータを機能させる。自律神経解析エンジン処理部は、低周波成分を予め測定した基準低周波成分で除して、興奮度を求めることがより望ましい。

「第４実施形態」
第１実施形態ないし第３実施形態の画像の整理技術においては、撮像する画像が、予め定める整理基準を満たしているか否かを装置の操作者に知らせる技術と、撮像した複数の画像を事後的に自動整理する技術を提供するものであった。第４実施形態では、上述した技術に加え、撮像像する前に癒され度が高速に検出できるので、癒やされ度が高い静止画または動画を即座に選択して撮像することができる。また、予め定める整理基準を満たしている場合には自動撮像することができる。

この場合において、自動撮像によって多数の画像を撮像したとしても整理基準からはずれた、不要な画像を撮像することはない。よって、画像データの記憶装置の記憶容量を無駄に消費することがない。そして、癒され度の高い画像のみが撮像されているのでソーテイングも簡単にできる。さらに、癒され度が高い風景等に遭遇した場合に、人が意識することなく、自動的にその風景等を撮像することができるので撮像チャンスを逃すことがない。

第４実施形態の画像データ整理システムについて図１１を参照しながら説明をする。

第４実施形態では、撮像とは独立して高速に癒され度の検出機能を有する点、この機能を発揮するためにハードウエア構成およびソフトウエア処理が異なる点が第１実施形態ないし第３実施形態とは異なるので、これらの異なる点を中心に以下に説明をする。第１実施形態ないし第３実施形態と同様な点は説明を省略する。

画像データ整理システム２０は、画像データ整理端末装置２１と画像データ整理サーバー装置として機能するサーバー２２と、画像データ整理端末装置２１とサーバー２２とを接続するインターネット１３とを備える。

画像データ整理端末装置２１は、ウエアラブルパーソナルコンピュータ（身体に装着可能なパーソナルコンピュータ）と心拍センサと各種外部データ検出部とを備えている。心拍センサは、胸部の皮膚に貼りつけてリアルタイムで心拍数・心拍波形（RR間隔データ）・心拍周期を無線でウエアラブルパソコンに送る機能を有している。パーソナルコンピュータは心拍センサおよび各種外部データ検出部を制御し、サーバー２２との間で情報のアップロードおよびダウンロードをおこなう。

画像データ整理端末装置２１は、第１実施形態における各種外部データ検出部に加えて画像データ検出部としてのウエアラブルカメラ（身体に装着可能なカメラ）を有している。ウエアラブルカメラは、例えば、人の頭部にバンドで固定して、人の眼で視認できる範囲の画像と同等の範囲の画像を通常状態では撮像し、画像データ整理端末装置２１の操作者（以下、操作者と省略する）の意思によって画像の撮像範囲を拡大または縮小することができる。

画像データ整理端末装置２１は、カメラ機能とは別に心拍センサを備えているので、風景等の撮像と心拍情報の検出とを独立しておこなうことができる、これによって、ＭＰＵは、所定時間毎の割り込み処理によって心拍情報の検出を常時おこなうことができる。さらに、心拍センサは心臓の近傍に配置する専用の心拍を検出するセンサであるので、精度よくRR間隔時系列データを検出できる（図９の（ａ）を参照）。この結果として、自律神経解析エンジン処理において、前処理なしに、直接にフーリエ変換処理をおこなうことができる（図１５の「自律神経解析エンジン処理」を参照）。これにより、ＭＰＵの割り込み処理における割り込み時間を癒され度を瞬時にリアルタイムで検出できるとみなせる程に短縮することができ、画像データを取得すると略同時に癒され度を検出できる。また、ウエアラブルカメラを有しているので、操作者が見ている風景等と撮像する画像とが一致しており、リアルタイムによる癒され度の検出と相まって、自動撮像が可能となる。

ウエアラブルパーソナルコンピュータに替えて、同一の機能を有する多機能携帯端末（タブレット）、スマートフォン、本実施形態に用いることに特化した画像データ整理端末装置であってもよい。これらは、Wi-Fi（ワイファイ：登録商標）、または、Bluetooth（ブルートゥース：登録商標）等を標準の無線インターフェイスとして有しているので、心拍センサ（例えば、前述した市販のMyBeat）を無線によって接続することができる。

画像データ整理端末装置２１は、「（１）測定データ（RR間隔データ）、撮像した画像をサーバー２２にアップロード」し、「（２）各種外部データ（例えば、天気、気温、気圧、位置データ、加速度データ）をサーバー２２にアップロード」する。各種外部データをサーバー２２にアップロードするに際しては、測定データ及び画像データと各種外部データとを紐付けてアップロードする。これらの処理の内容については後述する。

サーバー２２は、サーバーのＣＰＵとプログラムによって、「（３Ａ）（自律神経解析エンジン）を構成し、生体の解析処理をおこなう」、また、「（３Ｂ）（画像解析エンジン）を構成し、フラクタル解析処理をおこなう。そして、「（４）解析結果を返却する」。
サーバー２２は、（３Ａ）の生体解析処理によって操作者の心の、癒され度を解析する。サーバー２２は、（３Ｂ）のフラクタル解析によって撮像された画像自体の客観的な解析処理をする。（３Ａ）と（３Ｂ）は異なる観点からの解析処理であるので、その両方、または、いずれかの一方を採用することができる。

サーバー２２は、（３Ａ）、または／および、（３Ｂ）の処理の解析結果を画像データ整理端末装置２１に返却する。（３Ａ）の処理の解析結果は、サーバー２２のデータベースに蓄積されたデータを集計して癒され度に基づく画像のランキング化であり、（３Ｂ）の処理の解析結果は、サーバー２２のデータベースに蓄積された画像のフラクタル解析に基づく画像のランキング化である。第４実施形態では、撮像のタイミングを画像撮像者が判断するだけではなく、（３Ａ）の処理の解析結果、または／および、（３Ｂ）の処理の解析結果から撮像のタイミングを画像撮像者に知らせるアラート通知を常時おこなうことができる。さらに、（３Ａ）の処理の解析結果、または／および、（３Ｂ）の処理の解析結果として人手を介すことなく予め定める整理基準に基づいて自動的に撮像することができる。

（画像データ整理端末装置に表示される画面）
図１２ないし図１４は、画像データ整理端末装置２１の液晶画面に表示される画像を示す。

図１２は、画像データ整理端末装置２１に表示される画面２１ないし画面２４を示す。図１３は、画像データ整理端末装置２１に表示される画面２５ないし画面２８を示す。図１４は、画像データ整理端末装置２１に表示される画面２９を示す。

図１２に示す画面２１ないし画面２３は、第１実施形態における画面１ないし画面３と同じであるので説明を省略する。

図１２に示す画面２４は、心拍センサの装着を促す画面である。画像データ整理端末装置２１のＭＰＵは画面２４の上段に「心拍センサを装着しましょう！！」と表示させ、画面２４の中段に装着の手順を画面表示させる。
操作者が心拍センサを装着後、または既に装着している場合には直ちに、画面２４の下段の「測定開始」にタッチすると、ＭＰＵはサーバー２２のＣＰＵにおいて「自律神経解析エンジン処理」をおこなうことを依頼する。そして、ＭＰＵはサーバー２２から「自律神経解析エンジン処理」における解析結果を受け取り、癒し度を画像データ整理端末装置２１の液晶表示面に図１３に示す画面２５として表示させる。

図１３に示す画面２５は、撮像のタイミングを画像撮像者に知らせる「アラート通知画面」である。図２５の上段には「ただ今の癒され度：７０」と表示され７０％であることを操作者は認識できる。図２５の中段には「癒されていますね。今がシャッターチャンスです！！」と表示される。
「アラート通知画面」とともに、「アラート通知音声」によって「ただ今の癒され度：７０」、「癒されていますね。今がシャッターチャンスです！！」と通知してもよい。
操作者は「アラート通知画面」または／および「アラート通知音声」によって自ら判断して、撮像する気分になった場合には図２５の下段の「撮影する」をタッチする。ＭＰＵは「撮影する」がタッチされたことを認識して画面２６を表示させる。ＭＰＵは「撮影する」が所定時間タッチされなかったことを認識すると再び、所定間隔毎に癒し度の編算をおこなう。そして、ＭＰＵは、癒され度が予め定める、癒され度以上（例えば、６５％以上）になると再び、「アラート通知画面」または／および「アラート通知音声」によって「アラート通知」をおこなわせる。ここで、癒され度の解析は、ＭＰＵとＣＰＵとが強調してウエアラブルカメラで撮像した画像データに基づいて自動的におこなう。

図１３に示す画面２６は、撮像を促す画面である。画面２６の上段には「写真を撮りましょう！」と表示され、画面２６の中段には撮像される画面の範囲が表示される。
ウエアラブルカメラで撮像している風景等と、ウエアラブルカメラを装着した操作者が視認している風景等とは同じ範囲、アングルとなるように予め調整しておくが、撮像する範囲の変更、範囲の拡大、縮小は自由に操作できる。
操作者が画面２６の下段の写真マークにタッチすると、ＭＰＵは撮像の処理をおこなうとともに、画像データ整理端末装置２１およびサーバー２２が癒され度を検出する処理をおこなうように制御する。そして、ＭＰＵは画面２７に解析結果を表示させる。

図１３に示す画面２６は画面４と、画面２７は画面８と、画面２８は画面９と、図１４に示す画面２９は画面１０と、ほぼ同じであるので、説明は省略する。第４実施形態においては、画面５ないし画面７がないのは、指先の撮像が必要ないからである。
画面２５における癒され度の値と画面２７における癒され度の値とが異なる理由は、癒され度の測定時点が異なるのと、肉眼で見た風景等が与える、癒され度と、カメラを通して見た風景等が与える、癒され度との間にずれがあるからである。

（画像データ整理端末装置と画像データ整理サーバー装置とにおける処理の概要）
図１５、図１６を参照して、画像データ整理システムの、癒され度検出端末装置における処理と画像データ整理サーバー装置における処理との概要を説明する。

図１５、図１６は連続した一連の処理を示す図である。図１５、図１６の各図の上段は、画像データ整理端末装置２１における処理を示し、図１５、図１６の各図の下段は、画像データ整理サーバー装置（サーバー２２）における処理を示す。図１５、図１６の各図の上段の処理について図１２ないし図１４の対応する画面がある場合には対応する画面番号を付して説明を省略する。

画像データ整理端末装置２１における処理は、ステップＳＴ５０ないしステップＳＴ５３の処理およびステップＳＴ５７の処理である。サーバー２２における処理は、ステップＳＴ４７ないしステップＳＴ４９の処理およびステップＳＴ５４ないしステップＳＴ５６の処理である。

図１５、図１６に示す一連の処理における各処理の処理順序は一つの実施形態であり、この順序を修正して用いることもできる。以下においては、図１５、図１６において矢印で示す順序に沿って以下に説明をする。

（画像データ整理端末装置における処理）
画像データ整理端末装置２１のＭＰＵはステップＳＴ４１（開始）ないしＳＴ４３（属性情報の入力）の処理をおこなう。この処理は、ステップＳＴ１１（開始）ないしＳＴ１３（属性情報の入力）の処理と同様であるので説明は省略する。

ＭＰＵはステップＳＴ４４（心拍センサの装着画面）の処理をおこなう。
この処理は、画像データ整理端末装置２１の液晶表示面に画面２４を表示させる処理である。
ＭＰＵはステップＳＴ４５（心拍センサの測定開始処理）の処理をおこなう。
この処理は、心拍センサによる測定を開始して、所定時間長のRR間隔データの測定結果を得るものである。所定時間長は、充分な精度で癒され度を検出できるに充分な長さである。第４実施形態においては、RR間隔データは図９（ａ）に示すように心拍センサから精度よく検出される。

ＭＰＵはステップＳＴ４６（RR間隔データの測定・サーバーへのアップロード）の処理をおこなう。
この処理は、所定時間長のRR間隔データをサーバー２２にアップロードする処理である。

ＭＰＵはステップＳＴ４７（RR間隔時系列データの異常値除去処理）、ステップＳＴ４８（フーリエ変換処理）、ステップＳＴ４９（高周波成分（HF）、低周波成分（LF）の検出処理）の自律神経解析エンジン処理をおこなう。
この処理は、第１実施形態におけるステップＳＴ１９ないしステップＳＴ２６の処理よりも簡略化されている。その理由は、心拍センサは心拍検出専用のセンサであり、かつ、スマートフォンカメラよりも心臓に近い位置から心拍信号を検出するために雑音の混入が少なく、良好なRR間隔データが得られるからである。すなわち、第４実施形態では、第１実施形態における「前倒しロジック」、「輝度データの関数化処理」、「Savitzky-Golayフィルタによるノイズ除去及びピーク検出処理」、「RR間隔時系列データの検出処理」、「ローパスフィルタリング処理」の各処理をおこなうことなく、精度よくステップＳＴ４８の「フーリエ変換処理」、ステップＳＴ４９の「高周波成分（HF）、低周波成分（LF）の検出処理」の各処理の解析結果を得ることができる。ステップＳＴ４８の「フーリエ変換処理」、ステップＳＴ４９の「高周波成分（HF）、低周波成分（LF）の検出処理」の各処理の内容は、ステップＳＴ２５の処理、ステップＳＴ２６の処理と同じであるので説明を省略する。

ＭＰＵは、ステップＳＴ５０（癒され度の解析結果表示処理（リアルタイム））の処理をして画面２５を表示する。
ここで、ＭＰＵは、ステップＳＴ４７、ステップＳＴ４８、ステップＳＴ４９の自律神経解析エンジン処理を所定時間長毎のタイマー割り込みによって処理している。よって、画像データ整理端末装置２１のＭＰＵとサーバー２２のＣＰＵは、タイマー割り込み時間に対応する所定時間長毎のリアルタイムで癒され度を解析して、画像データ整理端末装置２１の液晶に表示することが可能であり、リアルタイムでステップＳＴ５０（癒され度の解析結果表示処理（リアルタイム））の処理をして画面２５を所定時間長毎に更新することが可能である。しかしながら、第４実施形態においては、画面２５を所定時間長毎に更新することなく、癒され度が所定値を超える場合のみ、ステップＳＴ５０の処理をして「アラート通知」として画面２５を表示するようにしている。

ＭＰＵは、ステップＳＴ５１（写真撮影処理）の処理をして風景等の画像を、ウエアラブルカメラを制御して撮像させる。
ここで、操作者が風景等の画像を撮像するときに、ＭＰＵは自律神経解析エンジン処理を所定時間長毎のタイマー割り込みの処理を中断して、撮像時を起点とする割り込みを新たに発生させ、この割り込み処理によって自律神経解析エンジン処理をおこなう。その後は、撮像時を起点とする所定時間長毎の割り込みによって自律神経解析エンジン処理を引き続きおこなう。

ＭＰＵは、ステップＳＴ５２（癒され度の解析結果表示処理）の処理をする。
ＭＰＵは、ステップＳＴ５１で撮像して画像とともに撮像時を起点とする割り込み処理で求めた癒し度を、画面２７に示すように表示させる。

ＭＰＵは、ステップＳＴ５３（外部データとの紐付け機能）ないしステップＳＴ５７（ランキングの表示）の処理をする。
第４実施形態のステップＳＴ５３、ステップＳＴ５４、ステップＳＴ５５、ステップＳＴ５６、ステップＳＴ５７の各処理は、第１実施形態における、ステップＳＴ２８、ステップＳＴ２９、ステップＳＴ３０、ステップＳＴ３１、ステップＳＴ３２の各処理と同様の処理であるので説明を省略する。

「第４実施形態の変形例」
（第１変形例）
上述した実施形態においては、画像データ整理システムのクライアントとサーバーとの接続は、インターネット回線を用いるものとして説明をしたが、両者の接続はこれに限るものではなく、専用回線、公衆回線を問わず、有線通信回線、無線回線を問わず、あらゆる回線を用いることができる。例えば、ＬＡＮ、専用の微弱電波を用いた専用回線、高速汎用回線等を用いることができる。

（第２変形例）
クライアントとしての画像データ整理端末装置は、ウエアラブルパーソナルコンピュータ、タブレット、専用端末を始めとして、種々のものを使用できる。また、画像データ整理端末装置はコンピュータ（ＭＰＵ）とＭＰＵにおいて実行されるプログラムを中心にして構成するのみならず、処理の一部、または、全部をランダムロジック回路でおこなうようにしてもよい。この場合においては、各処理部は、コンピュータにプログラムを実行させて実現するのでなく、ハードウエアで構成して実現される。

サーバーとしての画像データ整理サーバー装置は、コンピュータ（ＣＰＵ）とソフトウエアとの組み合わせによって実現するのみならず、各処理の一部、または、全部を集積回路、ランダムロジック回路等のハードウエアで構成しておこなってもよい。この場合においては、ランダムロジック回路等のハードウエアでおこなう各処理は、コンピュータとプログラムとで実行するのでなく、ハードウエアで構成する各処理部で実行する。

ハードウエア構成においては、ＲＲ間隔時系列データの異常値除去処理部でＲＲ間隔時系列データの異常値除去処理を実行し、フーリエ変換処理部でフーリエ変換処理を実行し、高周波成分ＨＦ・低周波成分ＬＦの検出処理部で高周波成分ＨＦ・低周波成分ＬＦの検出処理を実行する。

（第３変形例）
クライアントの画像データ整理端末装置２１における処理と、サーバー２２における処理とをどのように分けるかは、適宜に決め得るものである。

第４実施形態の要点をまとめると以下の様になる。

画像データ整理システムは、画像データ整理端末装置と画像データ整理サーバー装置とを備える画像データ整理システムであって、画像データ整理端末装置は、画像を撮像して画像データを取得する撮像部と、心拍に応じた時系列心拍データを所定割り込み時間毎に取得する時系列心拍データ取得部と、時系列心拍データを画像データ整理サーバー装置に対して出力する時系列心拍データ出力処理部と、画像データ整理サーバー装置から出力される、癒され度の高い順に並べられた撮像された画像を表示する画像表示部と、を具備し、画像データ整理サーバー装置は、時系列心拍データをフーリエ変換するフーリエ変換処理部と、フーリエ変換処理された信号の高周波成分と低周波成分とを分離する高周波成分・低周波成分検出処理部と、高周波成分から癒され度を求める自律神経解析エンジン処理部と、所定割り込み時間毎の次の時系列心拍データが取得される前に自律神経解析エンジン処理部の解析結果を画像データ整理端末装置に対して出力する出力処理部と、癒され度の高い順に撮像された画像を並べるソーテイング処理部と、を具備する。自律神経解析エンジン処理部は、高周波成分を予め測定した基準高周波成分で除して、癒され度を求めることがより望ましい。

また、画像データ整理サーバー装置は、撮像された画像から撮像された事物の境界のみを抽出してフラクタル次元を演算するフラクタル解析処理部と、画像が与える、癒されたという印象と、その画像に対応するフラクタル次元との関係の統計解析に基づき、癒されたという印象の高い順に撮像した画像を並べるソーテイング処理部と、を具備するようにしてもよい。

画像データ整理端末装置は、ウエアラブルパーソナルコンピュータであり、撮像部は、ウエアラブルカメラであり、時系列心拍データ取得部は、心臓の近傍に配置する心拍センサであるようにしてもよい。

画像データ整理サーバー装置プログラムは、画像データ整理システムにおいて画像データ整理端末装置と協調して動作する画像データ整理サーバー装置のコンピュータに実行させる画像データ整理サーバー装置プログラムであって、画像データ整理端末装置が取得した時系列心拍データをフーリエ変換するフーリエ変換処理部と、フーリエ変換処理された信号の高周波成分と低周波成分とを分離する高周波成分・低周波成分検出処理部と、高周波成分から癒され度を求める自律神経解析エンジン処理部と、所定割り込み時間毎の次の時系列心拍データが取得される前に自律神経解析エンジン処理部の解析結果を画像データ整理端末装置に対して出力する出力処理部と、癒され度の高い順に撮像された画像を並べるソーテイング処理部と、を備えるようにコンピュータを機能させる。自律神経解析エンジン処理部は、高周波成分を予め測定した基準高周波成分で除して、癒され度を求めることがより望ましい。

画像データ整理端末装置プログラムは、画像データ整理システムにおいて画像データ整理サーバー装置と協調して動作する画像データ整理端末装置のコンピュータに実行させる画像データ整理端末装置プログラムであって、心拍に応じた時系列心拍データを所定割り込み時間毎に取得する時系列心拍データ取得部と、時系列心拍データを画像データ整理サーバー装置に対して出力する時系列心拍データ出力処理部と、画像データ整理サーバー装置から出力される、癒され度の高い順に並べられた撮像された画像を表示する画像表示部と、を備えるようにコンピュータを機能させる。

「第５実施形態」
第４実施形態においては、クライアント・サーバー・システムとして画像データ整理システムを構成した。第５実施形態は、第４実施形態のサーバー２２における全ての処理をクライアントに移すようにする実施形態である画像データ整理装置、画像データ整理装置プログラムに関する。このような画像データ整理装置は、例えば、図１１に記載された画像データ整理端末装置２１がサーバー２２の支援を受けることなく、単独で全ての処理をおこなう場合に相当する。画像データ整理装置が単体で上述した処理の全てをおこなう場合には、サーバーを用いなくともよい。

第５実施形態の要点をまとめると以下の様になる。

画像データ整理装置は、撮像して画像データを取得する撮像部と、心拍に応じた時系列心拍データを所定割り込み時間毎に取得する時系列心拍データ取得部と、時系列心拍データをフーリエ変換するフーリエ変換処理部と、フーリエ変換処理された信号の高周波成分と低周波成分とを分離する高周波成分・低周波成分検出処理部と、高周波成分から癒され度を求める自律神経解析エンジン処理部と、所定割り込み時間毎の次の時系列心拍データが取得される前に自律神経解析エンジン処理部の解析結果を画像データ整理端末装置に対して出力する出力処理部と、癒され度の高い順に画像データを並べるソーテイング処理部と、癒され度の高い順に並べられた画像データを表示する画像表示部と、を備える。自律神経解析エンジン処理部は、少なくとも、高周波成分を予め測定した基準高周波成分で除して、癒され度を求めることがより望ましい。

画像データ整理装置プログラムは、画像データ整理装置のコンピュータに実行させる画像データ整理装置プログラムであって、撮像して画像データを取得する撮像部と、心拍に応じた時系列心拍データを所定割り込み時間毎に取得する時系列心拍データ取得部と、時系列心拍データをフーリエ変換するフーリエ変換処理部と、フーリエ変換処理された信号の高周波成分と低周波成分とを分離する高周波成分・低周波成分検出処理部と、高周波成分から癒され度を求める自律神経解析エンジン処理部と、所定割り込み時間毎の次の時系列心拍データが取得される前に自律神経解析エンジン処理部の解析結果を画像データ整理端末装置に対して出力する出力処理部と、癒され度の高い順に画像データを並べるソーテイング処理部と、癒され度の高い順に並べられた画像データを表示する画像表示部と、を備えるようにコンピュータを機能させる。自律神経解析エンジン処理部は、少なくとも、高周波成分を予め測定した基準高周波成分で除して、癒され度を求めることがより望ましい。

「第６実施形態」
第４実施形態、第５実施形態においては、画像データ整理システム、画像データ整理サーバー装置、画像データ整理端末装置、画像データ整理サーバー装置プログラム、画像データ整理端末装置プログラム、画像データ整理装置および画像データ整理装置プログラムは、「癒され度」を整理基準として画像データを整理するものであった。しかしながら、第４実施形態、第５実施形態と同様な技術的思想に基づきながら、「癒され度」とは異なる他の整理基準に基づき、画像データを整理することができる。第６実施形態は、「興奮度」を整理基準として画像データを整理する、画像データ整理システム、画像データ整理サーバー装置、画像データ整理端末装置、画像データ整理サーバー装置プログラム、画像データ整理端末装置プログラム、画像データ整理装置および画像データ整理装置プログラムである。

第６実施形態における「興奮度」に関しては第３実施形態におけると同様であるので、説明を省略する。

第６実施形態の要点をまとめると以下の様になる。

画像データ整理システムは、画像データ整理端末装置と画像データ整理サーバー装置とを備える画像データ整理システムであって、画像データ整理端末装置は、画像を撮像して画像データを所定割り込み時間毎に取得する撮像部と、画像データの取得に際して心拍に応じた時系列心拍データを取得する時系列心拍データ取得部と、時系列心拍データを画像データ整理サーバー装置に対して出力する時系列心拍データ出力処理部と、画像データ整理サーバー装置から出力される、興奮度の高い順に並べられた撮像された画像を表示する画像表示部と、を具備し、画像データ整理サーバー装置は、時系列心拍データをフーリエ変換するフーリエ変換処理部と、フーリエ変換処理された信号の高周波成分と低周波成分とを分離する高周波成分・低周波成分検出処理部と、低周波成分から興奮度を求める自律神経解析エンジン処理部と、所定割り込み時間毎の次の時系列心拍データが取得される前に自律神経解析エンジン処理部の解析結果を画像データ整理端末装置に対して出力する出力処理部と、興奮度の高い順に撮像された画像を並べるソーテイング処理部と、を具備する。自律神経解析エンジン処理部は、少なくとも、低周波成分を予め測定した基準低周波成分で除して、興奮度を求めることがより望ましい。

画像データ整理端末装置は、ウエアラブルパーソナルコンピュータであり、撮像部は、ウエアラブルカメラであり、時系列心拍データ取得部は、心臓の近傍に配置する心拍センサであるようにしてもよい。

画像データ整理サーバー装置プログラムは、画像データ整理システムにおいて画像データ整理端末装置と協調して動作する画像データ整理サーバー装置のコンピュータに実行させる画像データ整理サーバー装置プログラムであって、画像データ整理端末装置が取得した時系列心拍データをフーリエ変換するフーリエ変換処理部と、フーリエ変換処理された信号の高周波成分と低周波成分とを分離する高周波成分・低周波成分検出処理部と、低周波成分から興奮度を求める自律神経解析エンジン処理部と、所定割り込み時間毎の次の時系列心拍データが取得される前に自律神経解析エンジン処理部の解析結果を画像データ整理端末装置に対して出力する出力処理部と、興奮度の高い順に撮像された画像を並べるソーテイング処理部と、を備えるようにコンピュータを機能させる。自律神経解析エンジン処理部は、少なくとも、低周波成分を予め測定した基準低周波成分で除して、興奮度を求めることがより望ましい。

画像データ整理端末装置プログラムは、画像データ整理システムにおいて画像データ整理サーバー装置と協調して動作する画像データ整理端末装置のコンピュータに実行させる画像データ整理端末装置プログラムであって、心拍に応じた時系列心拍データを所定割り込み時間毎に取得する時系列心拍データ取得部と、時系列心拍データを画像データ整理サーバー装置に対して出力する時系列心拍データ出力処理部と、画像データ整理サーバー装置から出力される、興奮度の高い順に並べられた撮像された画像を表示する画像表示部と、を備えるようにコンピュータを機能させる。

画像データ整理装置は、撮像して画像データを取得する撮像部と、心拍に応じた時系列心拍データを所定割り込み時間毎に取得する時系列心拍データ取得部と、時系列心拍データをフーリエ変換するフーリエ変換処理部と、フーリエ変換処理された信号の高周波成分と低周波成分とを分離する高周波成分・低周波成分検出処理部と、低周波成分から興奮度を求める自律神経解析エンジン処理部と、所定割り込み時間毎の次の時系列心拍データが取得される前に自律神経解析エンジン処理部の解析結果を画像データ整理端末装置に対して出力する出力処理部と、興奮度の高い順に画像データを並べるソーテイング処理部と、興奮度の高い順に並べられた画像データを表示する画像表示部と、を備える。自律神経解析エンジン処理部は、少なくとも、低周波成分を予め測定した基準低周波成分で除して、興奮度を求めることがより望ましい。

画像データ整理装置プログラムは、画像データ整理装置のコンピュータに実行させる画像データ整理装置プログラムであって、撮像して画像データを取得する撮像部と、心拍に応じた時系列心拍データを所定割り込み時間毎に取得する時系列心拍データ取得部と、時系列心拍データをフーリエ変換するフーリエ変換処理部と、フーリエ変換処理された信号の高周波成分と低周波成分とを分離する高周波成分・低周波成分検出処理部と、低周波成分から興奮度を求める自律神経解析エンジン処理部と、所定割り込み時間毎の次の時系列心拍データが取得される前に自律神経解析エンジン処理部の解析結果を画像データ整理端末装置に対して出力する出力処理部と、興奮度の高い順に画像データを並べるソーテイング処理部と、興奮度の高い順に並べられた画像データを表示する画像表示部と、を備えるようにコンピュータを機能させる。自律神経解析エンジン処理部は、少なくとも、低周波成分を予め測定した基準低周波成分で除して、興奮度を求めることがより望ましい。

「第７実施形態」
癒され度が、（１）式ないし（８）式によって検出する自律神経指標により検出する場合について上述した。これ以外に、心拍センサからの時系列心拍データから直接に検出する心拍数（単位時間当たりの心臓の鼓動の数）を利用しても癒され度を算出することができる。例えば、以下の（４４）式または（４５）式で算出することができる。ここで、ここで、平常時における心拍数（基準となる心拍数）とは、通常の日常生活を行っている場合における心拍数であり、過度に癒された状態における心拍数でもなく、過度に興奮した状態における心拍数でもなく、日常生活において平常心を保っている状態におけるにおける心拍数である。

癒され度 = （測定時点の心拍数 - 平常時における心拍数（基準となる心拍数））・・・（４４）

癒され度 = （測定時点の心拍数 / 平常時における心拍数（基準となる心拍数））・・・（４５）

癒された場合は、平常時における心拍数より測定時点の心拍数の方が低くなる傾向があることが経験的に分かっているので、（４４）式の場合は、癒され度< 0になると癒されていると判定し、（４５）式の場合は、癒され度< 1になると癒されていると判定する。さらに、癒され度をより正確に検出する場合には、（４４）式で検出される、癒され度< δ1、（４５）式で検出される、癒され度< δ2になると癒されていると判定するようにしてもよい。ここで、δ1は負値の適宜な定数であり、δ2は１以下の適宜な定数である。

第７実施形態の画像データ整理システムは、画像データ整理端末装置と画像データ整理サーバー装置とを備える画像データ整理システムであって、画像データ整理端末装置は、画像を撮像して画像データを取得する撮像部と、画像データの取得に際して心拍に応じた時系列心拍データを取得する時系列心拍データ取得部と、時系列心拍データを画像データ整理サーバー装置に対して出力する時系列心拍データ出力処理部と、画像データ整理サーバー装置から出力される、癒され度の高い順に並べられた前記撮像された画像を表示する画像表示部と、を具備し、画像データ整理サーバー装置は、時系列心拍データから心拍数を求める心拍数検出部と、心拍数から予め求めた平常時における心拍数を減じた負値の大きさに応じて、癒され度を求める、癒され度演算部と、を具備する。ここで、心拍数検出部と、癒され度演算部とは癒し度検出部を構成する。

第７実施形態の画像データ整理装置は、撮像して画像データを取得する撮像部と、画像データの取得に際して心拍に応じた時系列心拍データを取得する時系列心拍データ取得部と、時系列心拍データから心拍数を求める心拍数検出部と、心拍数から予め求めた平常時における心拍数を減じた負値の大きさに応じて、癒され度を求める、癒され度演算部と、癒され度の高い順に前記画像データを並べるソーテイング処理部と、癒され度の高い順に並べられた画像データを表示する画像表示部と、を備える。

第７実施形態の画像データ整理サーバー装置プログラムは、画像データ整理システムにおいて画像データ整理端末装置と協調して動作する画像データ整理サーバー装置のコンピュータに実行させる画像データ整理サーバー装置プログラムであって、画像データ整理端末装置が取得した時系列心拍データから心拍数を求める心拍数検出部と、心拍数から予め求めた平常時における心拍数を減じた負値の大きさに応じて、癒され度を求める、癒され度演算部と、癒され度の高い順に前記撮像された画像を並べるソーテイング処理部と、を備えるようにコンピュータを機能させる。

第７実施形態の画像データ整理装置プログラムは、画像データ整理装置のコンピュータに実行させる画像データ整理装置プログラムであって、撮像して画像データを取得する撮像部と、画像データの取得に際して心拍に応じた時系列心拍データを取得する時系列心拍データ取得部と、時系列心拍データから心拍数を求める心拍数検出部と、心拍数から予め求めた平常時における心拍数を減じた負値の大きさに応じて、癒され度を求める、癒され度演算部と、癒され度の高い順に前記画像データを並べるソーテイング処理部と、癒され度の高い順に並べられた画像データを表示する画像表示部と、を備えるように前記コンピュータを機能させる。

「第８実施形態」
上述した実施形態を組み合わせる実施形態も実施可能である。ように、主観の気持ちを癒され度の算出に利用してもよい。例えば、主観では「最高に癒された」だったら100点、主観では「とても癒された」だったら80点、主観では「まあまあ癒された」だったら60点、主観では「なんともいえない」だったら40点、「あまり癒されなかった」だったら20点のように各項目の値を数値化する。さらに、上述した、（１）式ないし（９）式の自律神経指標を組み合わせてもよい。

上述した各実施形態の一部または全部を組み合わせた実施形態も実施可能である。例えば、ａ、ｂ、ｃ、ｄが0を含む正値の定数であるとして、以下の（４６）式によって癒し度を求めるようにしてもよい。ここで、少なくとも直接的、間接的を問わずに心拍数に基づき癒し度を求める場合には、ａまたはｂのいずれかは0ではなく、他の３つは0も含み任意に定め得るものである。ａ、ｂ、ｃ、ｄの各定数の値が0である場合には、0である要素は癒し度の算出においては考慮をしないという意味である。

癒され度 =ａ×（自律神経指標により検出される癒され度）+ ｂ×（心拍数から検出される癒され度）+ ｃ×（主観による癒され度）+ ｄ×（フラクタル解析により検出される癒され度）・・・・・（４６）

ここで、ｂ= 0である場合の例が、第１実施形態、第２実施形態、第４実施形態ないし第６実施形態である。ｂ≠0である場合の例が、第７実施形態である。ｃ=0の場合の例が、主観による癒され度を考慮しない場合であり、ｃ≠0の場合の例が、主観による癒され度を考慮する場合であり、第８実施形態である。ｄ=0の場合の例が、フラクタル解析をおこなわない場合であり、ｄ≠0の場合の例が、フラクタル解析の結果を用いる場合である。各実施形態の一部または全部を組み合わせた実施形態の例は、これに限るものではなく、種々の実施形態が可能である。また、本発明は、実施形態に限定されるものではなく、同一の技術的思想の範囲に及ぶことは言うまでもない。

１０ 画像データ整理システム
１１ スマートフォン
１２ サーバー
１３ インターネット
２０ 画像データ整理システム
２１ 画像データ整理端末装置
２２ サーバー

Claims (14)

1. 画像データ整理端末装置と画像データ整理サーバー装置とを備える画像データ整理システムであって、
   前記画像データ整理端末装置は、
   画像を撮像して画像データを取得する撮像部と、
   前記画像データの取得に際して心拍に応じた時系列心拍データを取得する時系列心拍データ取得部と、
   前記時系列心拍データを前記画像データ整理サーバー装置に対して出力する時系列心拍データ出力処理部と、
   前記画像データ整理サーバー装置から出力される、癒され度の高い順に並べられた前記撮像された画像を表示する画像表示部と、を具備し、
   前記画像データ整理サーバー装置は、
   前記時系列心拍データから癒し度を求める癒し度検出部と、
   前記癒し度検出部で検出される癒し度が高い順に前記撮像された画像を並べるソーテイング処理部と、を具備する、
   画像データ整理システム。
2. 前記癒し度検出部は、
   前記時系列心拍データをフーリエ変換するフーリエ変換処理部と、
   前記フーリエ変換処理された信号の高周波成分と低周波成分とを分離する高周波成分・低周波成分検出処理部と、
   少なくとも、前記高周波成分を予め測定した基準高周波成分で除して、癒され度を求める自律神経解析エンジン処理部と、を有する、
   請求項１に記載の画像データ整理システム。
3. 前記癒し度検出部は、
   前記時系列心拍データから心拍数を求める心拍数検出部と、
   前記心拍数から予め求めた平常時における心拍数を減じた負値の大きさに応じて、癒され度を求める、癒され度演算部と、を有する、
   請求項１に記載の画像データ整理システム。
4. 前記画像データ整理サーバー装置は、
   前記撮像された画像からフラクタル次元を演算するフラクタル解析処理部を具備する、請求項１または請求項２に記載の画像データ整理システム。
5. 前記画像データ整理端末装置は、スマートフォンであり、
   前記撮像部は、前記スマートフォンのカメラ機能で構成し、
   前記時系列心拍データ取得部は、前記スマートフォンの前記カメラ機能に指先を撮影させて構成する、請求項１に記載の画像データ整理システム。
6. 前記画像データ整理端末装置は、ウエアラブルコンピュータであり、
   前記撮像部は、ウエアラブルカメラであり、
   前記時系列心拍データ取得部は、人の心臓の近くの皮膚に配置される心拍センサであり、
   前記時系列心拍データ出力処理部は、所定時間毎の割り込み処理によって前記時系列心拍データを前記画像データ整理サーバー装置に対して出力する、請求項１に記載の画像データ整理システム。
7. 画像データ整理サーバー装置は、
   前記画像データ整理端末装置から前記所定時間毎の割り込み処理によって出力される前記時系列心拍データを入力し、
   次の前記時系列心拍データが入力される前に、フーリエ変換し、高周波成分と低周波成分とを分離し、癒され度を求め、前記画像データ整理端末装置に返却する、請求項５に記載の画像データ整理システム。
8. 撮像して画像データを取得する撮像部と、
   前記画像データの取得に際して心拍に応じた時系列心拍データを取得する時系列心拍データ取得部と、
   前記時系列心拍データをフーリエ変換するフーリエ変換処理部と、
   前記フーリエ変換処理された信号の高周波成分と低周波成分とを分離する高周波成分・低周波成分検出処理部と、
   少なくとも、前記高周波成分を予め測定した基準高周波成分で除して、癒され度を求める自律神経解析エンジン処理部と、
   前記癒され度の高い順に前記画像データを並べるソーテイング処理部と、
   前記癒され度の高い順に並べられた画像データを表示する画像表示部と、を備える、
   画像データ整理装置。
9. 撮像して画像データを取得する撮像部と、
   前記画像データの取得に際して心拍に応じた時系列心拍データを取得する時系列心拍データ取得部と、
   前記時系列心拍データから心拍数を求める心拍数検出部と、
   前記心拍数から予め求めた平常時における心拍数を減じた負値の大きさに応じて、癒され度を求める、癒され度演算部と、
   前記癒され度の高い順に前記画像データを並べるソーテイング処理部と、
   前記癒され度の高い順に並べられた画像データを表示する画像表示部と、を備える、
   画像データ整理装置。
10. 画像データ整理システムにおいて画像データ整理端末装置と協調して動作する画像データ整理サーバー装置のコンピュータに実行させる画像データ整理サーバー装置プログラムであって、
    前記画像データ整理端末装置が取得した時系列心拍データをフーリエ変換するフーリエ変換処理部と、
    前記フーリエ変換処理された信号の高周波成分と低周波成分とを分離する高周波成分・低周波成分検出処理部と、
    少なくとも、前記高周波成分を予め測定した基準高周波成分で除して、癒され度を求める自律神経解析エンジン処理部と、
    前記癒され度の高い順に前記撮像された画像を並べるソーテイング処理部と、を備えるように前記コンピュータを機能させる、
    画像データ整理サーバー装置プログラム。
11. 画像データ整理システムにおいて画像データ整理端末装置と協調して動作する画像データ整理サーバー装置のコンピュータに実行させる画像データ整理サーバー装置プログラムであって、
    前記画像データ整理端末装置が取得した前記時系列心拍データから心拍数を求める心拍数検出部と、
    前記心拍数から予め求めた平常時における心拍数を減じた負値の大きさに応じて、癒され度を求める、癒され度演算部と、
    前記癒され度の高い順に前記撮像された画像を並べるソーテイング処理部と、を備えるように前記コンピュータを機能させる、
    画像データ整理サーバー装置プログラム。
12. 画像データ整理システムにおいて画像データ整理サーバー装置と協調して動作する画像データ整理端末装置のコンピュータに実行させる画像データ整理端末装置プログラムであって、
    前記画像データの取得に際して心拍に応じた時系列心拍データを取得する時系列心拍データ取得部と、
    前記時系列心拍データを前記画像データ整理サーバー装置に対して出力する時系列心拍データ出力処理部と、
    前記画像データ整理サーバー装置から出力される、癒され度の高い順に並べられた前記撮像された画像を表示する画像表示部と、を備えるように前記コンピュータを機能させる、
    画像データ整理端末装置プログラム。
13. 画像データ整理装置のコンピュータに実行させる画像データ整理装置プログラムであって、
    撮像して画像データを取得する撮像部と、
    前記画像データの取得に際して心拍に応じた時系列心拍データを取得する時系列心拍データ取得部と、
    前記時系列心拍データをフーリエ変換するフーリエ変換処理部と、
    前記フーリエ変換処理された信号の高周波成分と低周波成分とを分離する高周波成分・低周波成分検出処理部と、
    少なくとも、前記高周波成分を予め測定した基準高周波成分で除して、癒され度を求める自律神経解析エンジン処理部と、
    前記癒され度の高い順に前記画像データを並べるソーテイング処理部と、
    前記癒され度の高い順に並べられた画像データを表示する画像表示部と、を備えるように前記コンピュータを機能させる、
    画像データ整理装置プログラム。
14. 画像データ整理装置のコンピュータに実行させる画像データ整理装置プログラムであって、
    撮像して画像データを取得する撮像部と、
    前記画像データの取得に際して心拍に応じた時系列心拍データを取得する時系列心拍データ取得部と、
    前記時系列心拍データから心拍数を求める心拍数検出部と、
    前記心拍数から予め求めた平常時における心拍数を減じた負値の大きさに応じて、癒され度を求める、癒され度演算部と、
    前記癒され度の高い順に前記画像データを並べるソーテイング処理部と、
    前記癒され度の高い順に並べられた画像データを表示する画像表示部と、を備えるように前記コンピュータを機能させる、
    画像データ整理装置プログラム。