JP2020009020A - 情報管理装置,情報管理システム,情報管理方法 - Google Patents

情報管理装置,情報管理システム,情報管理方法 Download PDF

Info

Publication number
JP2020009020A
JP2020009020A JP2018127779A JP2018127779A JP2020009020A JP 2020009020 A JP2020009020 A JP 2020009020A JP 2018127779 A JP2018127779 A JP 2018127779A JP 2018127779 A JP2018127779 A JP 2018127779A JP 2020009020 A JP2020009020 A JP 2020009020A
Authority
JP
Japan
Prior art keywords
information
unit
image
information management
image data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2018127779A
Other languages
English (en)
Inventor
美香子 堀
Mikako Hori
美香子 堀
宏和 吉津
Hirokazu Yoshizu
宏和 吉津
貴文 熊野
Takafumi Kumano
貴文 熊野
裕好 秋山
Hiroyoshi Akiyama
裕好 秋山
千紘 山崎
Chihiro Yamazaki
千紘 山崎
優也 松木
Yuya Matsuki
優也 松木
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Olympus Corp
Original Assignee
Olympus Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Olympus Corp filed Critical Olympus Corp
Priority to JP2018127779A priority Critical patent/JP2020009020A/ja
Publication of JP2020009020A publication Critical patent/JP2020009020A/ja
Pending legal-status Critical Current

Links

Images

Landscapes

  • Processing Or Creating Images (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

【課題】特定の条件を満たす画像データ等の情報を確実に取得することができる情報管理装置を提供する。【解決手段】複数の情報取得機器20Aが取得した複数の情報を取得する情報取得部12,14と、情報取得部が取得した複数の情報が特定の条件を満たしているか否かを判定する判定部11f,11hと、判定部の判定結果に従って特定の条件を満たす情報をさらに取得するためのガイド情報を作成するガイド情報作成部11fとを具備する。【選択図】図15

Description

この発明は、画像データ等の情報を取得する情報取得機器によって取得された複数の画像データ等の情報を管理する情報管理装置,情報管理システム,情報管理方法に関するものである。
近年、対象物の光学像を電子的なデジタルデータに変換し画像データ等の情報として取得する撮像機能を備えた撮像装置等の情報取得機器が一般に広く普及している。これらの情報取得機器によって取得された画像データ等の情報は様々な用途に利用されている。
この種の従来の情報取得機器は、例えば産業分野等においては、各種の工業生産物の生産工程における製造作業,組み立て作業又はメンテナンス作業等を行う際に、作業中の画像データ等の情報を取得するのに使用されている。この場合において、情報取得機器によって取得された画像データ等の情報は、例えば、実施された作業が規定の作業マニュアル通りに実行されているかどうかのチェック又は後日の作業証明のためのエビデンス情報として利用される。そのために、当該情報取得機器によって取得された複数の画像データ等の情報は、所定のフォーマットに従って分類整理されて管理されている。
また、一般的には、各種の行事(イベント;例えばグループ旅行や冠婚葬祭等)の際には、参加者のそれぞれが使用する複数の情報取得機器によって、若しくは複数の記録担当者が複数の情報取得機器を用いて、大量の画像データ等の情報が取得されている。これら大量の画像データ等の情報は、用途に応じて分類整理され、後日、アルバム作成等が行われることがある。
このように、様々な状況において情報取得機器を用いて取得された複数の画像データ等の情報は、用途に応じて分類整理されたり利用可能な形態に加工されて管理されている。 例えば、特開2010−57073号公報等によって開示されているアルバム作成装置は、アルバム作成用の画像データが複数保存されている画像データ保存部と、この画像データ保存部に保存されている複数の画像データを用いてアルバムを作成するアルバム作成部と、複数の画像データに含まれる顔画像を人物別に抽出する人物抽出部と、抽出された顔画像の数を人物別にカウントする登場回数カウント部とを備えている。
この構成により、当該アルバム作成装置は、特定の個人が写っている画像が極端に多くなったり少なくなったりすることをなくして、不公平感を生じさせないアルバムを作成するというものである。
特開2010−57073号公報
ところが、上記特開2010−57073号公報等によって開示されているアルバム作成装置は、撮影が行われた後(情報が取得された後)に、撮影結果(保存済みの複数の画像データ)を用いてアルバムを作成するというものである。そのアルバム作成時に、写っている人が不公平感を生じさせないようにすることを目的としている。
つまり、上記公報に開示された装置を用いてアルバムを作成するのは、撮影時点からは時間も場所も隔たった時点にて行われることが普通である。
したがって、当該装置を用いてアルバムを作成するときに、例えば、ある特定人物の撮り忘れや撮影ミス(例えば眼つぶり等)等のほか、特定の人物の写っている画像が極端に少ない等といった問題に気付いたとしても、追加撮影や撮り直し等によって対応することはできないという問題点がある。
また、情報取得機器によって取得した画像データ等の情報をエビデンス情報として利用する場合、作業中の合間に取得される複数の画像データ等の情報は、特定の条件を満たすように、所定のフォーマット等に即した形態で確実に取得されている必要がある。取得された画像データ等の情報に欠損等があると、その画像データ等の情報は、エビデンス情報として利用することができない。画像データ等の情報の取得に失敗したことが、作業終了後に判明したとしても、作業終了後では、撮り直し等を行うことができない。
したがって、上記公報等によって開示されているような装置のように、撮影後に、複数の画像データ等の情報を管理する構成のものでは、撮影漏れや撮影ミス等が後日判明しても、的確かつ確実に対応することはできないという問題点がある。
本発明は、上述した点に鑑みてなされたものであって、その目的とするところは、予め設定された特定の条件を満たす画像データ等の情報を確実に取得することができるように、情報を取得する時点で情報管理を行うことのできる情報管理装置と、上記情報管理装置及び複数の上記情報取得機器とからなる情報管理システムと、上記情報管理システムにて用いられる情報管理方法とを提供することである。
上記目的を達成するために、本発明の一態様の情報管理装置は、複数の情報取得機器が取得した複数の情報を取得する情報取得部と、上記情報取得部が取得した上記複数の情報が特定の条件を満たしているか否かを判定する判定部と、上記判定部の判定結果に従って上記特定の条件を満たす情報をさらに取得するためのガイド情報を作成するガイド情報作成部とを具備する。
本発明の他の一態様の情報管理装置は、複数の撮像装置がそれぞれ撮像した画像情報を無線通信で取得する情報取得部と、上記情報取得部が取得した上記複数の画像情報が特定の条件を満たしているかによってガイド情報を出すタイミングを判定する判定部とを具備する。
本発明の一態様の情報取得システムは、複数の撮像装置がそれぞれ撮像した画像情報を無線通信で取得する情報取得部と、上記情報取得部が取得した上記複数の画像情報が特定の条件を満たしているかによってガイド情報を出すタイミングを判定する判定部とを備えた情報管理装置と、複数の画像情報を取得する撮像部と、上記撮像部により取得された上記画像情報を送信する通信部とを備えた複数の撮像装置と、を具備する。
本発明の一態様の情報取得方法は、撮像装置は、複数の画像情報を取得し、取得した上記複数の画像情報を送信し、情報管理装置は、上記複数の画像情報を受信し、受信した上記複数の画像情報が特定の条件を満たしているかによってガイド情報を出すタイミングを判定する。
本発明によれば、予め設定された特定の条件を満たす画像データ等の情報を確実に取得することができるように、情報を取得する時点で情報管理を行うことのできる情報管理装置と、上記情報管理装置及び複数の上記情報取得機器とからなる情報管理システムと、上記情報管理システムにて用いられる情報管理方法とを提供することができる。
本発明の第1の実施形態の情報管理システムの概略構成を示すブロック構成図 図1の情報管理システムの一部を構成する第1情報取得機器(ウェアラブル端末装置)の概略構成を示す概念図 図2の第1情報取得機器(ウェアラブル端末装置)を作業者が装着したときの作業者の顔の正面から見たようすを示すと同時に作業者の両目による視界を示す概念図 図3で示す作業者の両目の視界をより詳細に示す概念図 図1の情報管理システムを使用して所定のメンテナンス作業(器具洗浄滅菌作業)を行っている様子を示す概念図 図1の情報管理システムを用いたメンテナンス作業(器具洗浄滅菌作業)の作業中にウェアラブル端末装置によって取得される画像データに基く画像の表示例 図1の情報管理システムを用いたメンテナンス作業で作成されるエビデンス情報の一例を示す図 図1の情報管理システムにおける情報管理装置の作用を示すフローチャート 図1の情報管理システムにおけるウェアラブル端末装置(第1情報取得機器)の作用を示すフローチャート 図1の情報管理システムにおける補助カメラ(第2情報取得機器)の作用を示すフローチャート 図1の作用において、第2情報取得機器(補助カメラ)の前面に向けて、手に持っている使用ツール(洗浄用ブラシ300)を「かざす行為」を行っている様子を示す概念図 図11に示す状態とした時に、補助カメラによって取得される画像データ等の情報に基づいて表示される画像の表示例 撮像ミス画像の例示 本発明の第2の実施形態の情報管理システムの概念を説明する図 本発明の第2の実施形態の情報管理システムの概略構成を示すブロック構成図 図14の情報管理システムにおける情報取得機器の作用の流れを示すフローチャート 図14の情報管理システムにおける情報管理装置の作用の流れを示すフローチャート 図17のステップS24の集計処理のサブルーチン 図18のステップS33の顔集計処理のサブルーチン 図19のステップS44の画像評価処理のサブルーチン 本発明の第2の実施形態の変形例の情報管理システムの作用を示すフローチャート 画像分析集計アプリのメニュー画面表示の具体的な一例を示す図 特定の人物が写っている画像を分類した集計結果と、各画像の評価値を合わせて示す集計表の例示 撮影状況(シーン)別に分類した集計結果と画像評価値を合わせて示す集計表の例示 動画データを分類及び分析した場合の例示 図25の動画データの集計結果についてのさらに詳細な分析結果を示す集計表の例示
以下、図示の実施の形態によって本発明を説明する。以下の説明に用いる各図面は模式的に示すものであり、各構成要素を図面上で認識できる程度の大きさで示すために、各部材の寸法関係や縮尺等を構成要素毎に異ならせて示している場合がある。したがって、本発明は、各図面に記載された各構成要素の数量や各構成要素の形状や各構成要素の大きさの比率や各構成要素の相対的な位置関係等に関して、図示の形態のみに限定されるものではない。
[第1の実施形態]
本発明の第1の実施形態は、例えば産業分野等において、複数の情報取得機器を用いて複数の画像データ等の情報が取得されるような状況で利用される情報管理システムについての例示である。
以下、本発明の第1の実施形態の情報管理装置及び情報取得機器によって構成される情報管理システムの構成について詳述する。図1は、本発明の第1の実施形態の情報管理システムの概略構成を示すブロック構成図である。
本実施形態の情報管理システム1は、情報管理装置10と複数の情報取得機器20,30と、データベース40等によって構成される。
データベース40は、上記複数の画像データ等の情報や、各種の作業情報データを蓄積したストレージ装置である。このデータベース40は、情報管理装置10と、複数の情報取得機器20,30のそれぞれとの間で、無線又は有線接続により、相互間での画像データ等の情報の送受信ができるように構成されている。
複数の情報取得機器20,30は、複数の画像データ等の情報を取得する電子機器である。これら複数の情報取得機器20,30は、具体的には、例えば、撮像光学系により結像された光学像を、例えばCCD(Charge Coupled Device;電荷結合素子)イメージセンサーやCMOS(Complementary Metal Oxide Semiconductor;相補性金属酸化膜半導体)型イメージセンサー等の光電変換素子等(以下、撮像素子という)を用いて順次光電変換し、これにより得られた画像信号を所定の形態の画像データ(例えば静止画像又は動画像を表わすデジタル画像データ)として記憶媒体に記録する機能を有する。また、当該情報取得機器20,30は、取得したデジタル画像データに基いて静止画像又は動画像を再生表示する画像表示装置、例えば液晶表示ディスプレイ(Liquid Crystal Display;LCD)や有機エレクトロルミネッセンス(有機EL;Organic Electro-Luminescence:OEL)ディスプレイ等を備えて構成される。
簡略にいうと、本発明の複数の情報取得機器20,30は、撮像素子等を含む撮像部を備え、この撮像部によって画像データ等の情報を取得し、これらを記録及び再生表示する機能を備えて構成される電子機器である。情報取得機器20,30の具体的な形態としては、例えば、デジタルカメラ等の撮像装置,撮像機能付きスマートホン,撮像機能付きタブレット端末等のほか、撮像機能付きウェアラブル端末装置等が相当する(詳細構成は後述する)。
本実施形態の複数の情報取得機器20,30は、例えば各種の工業生産物の生産工程における製造作業,組み立て作業又はメンテナンス作業等の作業中に、複数の画像データ等の情報をエビデンス情報として取得する。
ここで、エビデンス情報は、複数の作業工程からなる所定の一連の作業が規定の手順及び手法(いわゆる作業マニュアル)に従って実行されたことを証明するための情報をいう。
一方、本実施形態の情報管理装置10は、これら複数の情報取得機器20,30を連携させて制御すると共に、当該複数の情報取得機器20,30によって取得された複数の画像データ等の情報をエビデンス情報として取得し管理する電子機器である。
また、当該情報管理装置10は、上記複数の情報取得機器20,30を用いて取得された複数の画像データ等の情報を受けて、それらの画像データ等の情報が予め設定された特定の条件を満たしているかどうかを判定し、その判定結果に従って、特定の条件を満たす情報を確実に取得することができるよう管理する。この情報管理装置10の具体的な形態としては、例えば、スマートホン,タブレット端末等が相当する(詳細構成は後述する)。
なお、本実施形態では、2台の情報取得機器20,30と1台の情報管理装置10とによって構成した例を示している。しかし、この例示に限られることはなく、さらに多数の情報取得機器を用いるような構成も考えられる。
このような構成により、本実施形態の情報管理システム1は、対象とする作業中に、複数の情報取得機器20,30によって取得された複数の画像データ等の情報が、対象作業のエビデンス情報に関する特定の条件を満たしているか否かを、作業情報データベースの情報に基づいて判定する。そして、その判定結果によって、例えば当該画像データ等の情報が、特定の条件を満たしていないと判定された場合には、その旨を告知するための警告情報や、再度の情報取得を促すガイド情報等を作成する。さらに、それらの警告情報やガイド情報を出力する(表示部等)ことによって、使用者(ユーザ)に、その旨を告知する。これにより、対象作業に関する画像データ等の情報をエビデンス情報として取得するのに際し、常に確実に特定の条件を満たす画像データ等の情報を取得するようにできる。
本実施形態の情報管理システム1は、具体的には図1に示すように、第1情報取得機器であるウェアラブル端末装置20(図2も参照)と、第2情報取得機器である補助カメラ30との複数の情報取得機器と、これら複数の情報取得機器を連携させ制御すると共に、上記複数の情報取得機器20,30によって取得された複数の画像データ等の情報をエビデンス情報として管理する情報管理装置10とによって構成される。
情報管理装置10は、上記複数の情報取得機器20,30を連携させて動作させる制御等を行うと共に、複数の情報取得機器20,30によって取得された複数の画像データ等の情報をエビデンス情報として管理する情報管理装置10とによって構成される。
そのために、情報管理装置10は、制御部11と、通信部12と、表示部13と、エビデンス記録部14と、時計部15等を有して構成されている。
なお、本実施形態の情報管理装置10においては、図示を省略しているが、上述した各構成要素のほかにも、例えば操作部や表示部等、一般的ないわゆるスマートホン等の情報管理装置が具備している各種の構成要素を有している。図示を省略したこれら各種の構成要素については、本発明に直接関連しない部分であるので、その詳細説明は省略する。
制御部11は、本実施形態の情報管理システム1の全体を統括的に制御する複数の制御回路等を含む構成部である。この制御部11に含まれる複数の制御回路等としては、特に、作業判定部11aと、表示制御部11bと、ガイド部11cと、対象物判定部11dと、大きさ判定部11eと、画像判定部11f等がある。
作業判定部11aは、複数の情報取得機器(20,30)によって取得された画像データ等の情報と、データベース40に予め蓄積されている情報と、対象物判定部11d及び大きさ判定部11eによって取得された判定結果情報等に基づいて、実行された作業に関する各項目の確認や判定等を行う制御回路等を含む構成部である。
なお、ここで行われる判定は、例えば、作業に用いるツールの種類の判定や、各作業の種類の判定等である。
表示制御部11bは、当該情報管理装置10に含まれる表示部13若しくは当該情報管理装置10と連携する複数(2つ)の情報取得機器(20,30)に含まれる表示部(25,36)等を制御して、所定の表示(画像表示のほか警告表示やガイド表示等)を行わせるための制御回路等を含む構成部である。
ガイド部11cは、複数の情報取得機器(20,30)によって取得された画像データ等の情報と、データベース40に予め蓄積されている情報とに基づいて、実行された作業に関するガイド表示や、次に行うべき作業のガイド表示等を行うためのガイド情報を生成する制御回路等を含む構成部である。さらに、ガイド部11cは、複数の情報取得機器(20,30)によって取得された画像データ等の情報が、例えば特定の条件を満たしていないと(後述の画像判定部11fによって)判定された場合に、特定の条件を満たしていない旨の警告情報や、特定の条件を満たす情報を取得するためのガイド情報等を作成するガイド情報作成部としても機能する。
対象物判定部11d及び大きさ判定部11eは、複数の情報取得機器(20,30)によって取得された画像データ等の情報と、データベース40に予め蓄積されている情報とに基づいて、画像データ等の情報に含まれる所定の対象物の種類や部位,形状,大きさ,個数,状態等、所定の条件を検出し判定する制御回路等を含む構成部である。
なお、大きさの判定手段としては、上述した以外にも、例えばオートフォーカス機構を利用して、情報取得機器と対象物との間の距離と撮像素子サイズとの関係から、撮像素子の受光面上に結像された対象物のサイズを算出するといった手段を用いることも考えられる。
画像判定部11fは、複数の情報取得機器20,30によって取得された画像データ等の情報に関する所定の判定を行う判定部として機能する回路部である。画像判定部11fによる所定の判定としては、例えば、複数の情報取得機器20,30によって取得された画像データ等の情報が、特定の条件を満たしているか否か等の判定などである。
ここで、特定の条件とは、作業内容に関する撮像条件や撮像動作に関する撮像条件等がある。作業内容に関する撮像条件とは、例えば規定された時点において、規定された対象物が確実に写っているかどうか、撮像漏れがないかどうか等である。撮像動作に関する撮像条件とは、規定の対象物が判別可能な状態で画面内に確実に写っているかどうか、撮像ミス(ピント,露出,構図等)がないかどうか等である。
通信部12は、複数の情報取得機器(20,30)のそれぞれの通信部(22,32)との間でデータ通信(情報の送受信)を行う制御回路等を含む送信部であり受信部である。つまり、通信部12は、複数の情報取得機器20,30によって取得された画像データ等の情報を取得する情報取得部の一部として機能する。なお、通信部12は、無線通信を用いる構成であってよいし、有線通信を用いる構成であってもよい。
表示部13は、複数の情報取得機器20,30によって取得された画像データ等の情報や、その他各種の情報等のほか、各種アプリケーションの選択画面などを表示する表示用デバイスである。表示部13としては、例えば液晶表示ディスプレイ(LCD)や有機EL(エレクトロルミネッセンス)ディスプレイ等が適用される。
なお、図示は省略しているが、当該情報管理装置10においては、表示部13の表示面上に、例えばタッチパネル等の操作部が設けられている。
エビデンス記録部14は、複数の情報取得機器(20,30)によって取得された画像データ等の情報と、これに関連する作業情報を関連付けて記録する制御回路等及び記録媒体等を含む構成部である。ここで、エビデンス記録部14は、複数の情報取得機器20,30によって取得された画像データ等の情報を取得する情報取得部の一部として機能する。
時計部15は、リアルタイムクロック(Real-Time Clock;RTC)などと呼ばれる内部時計回路である。この時計部15は、例えば出力データに付随させる日時情報を出力したり、制御処理中における所定の指示タイミング間の計時を行う等、時間制御等の際に利用される回路部である。
一方、複数の情報取得機器(20,30)のうち一方の第1情報取得機器は、ウェアラブル端末装置20である。このウェアラブル端末装置20は、例えば、図2に示すように、作業者が身体の一部(例えば顔面近傍等)に装着することによって、両手を自在とすることができると同時に、作業者自身の手元近傍の様子を常に撮像することができるような形態の情報取得機器である。
換言すると、ウェアラブル端末装置20は、作業者の目線相当の作業情報を取得することができる形態の情報取得機器である。このウェアラブル端末装置20は、主に第1画像データである動画像データを取得する。これは、作業者の頻繁な作業の流れを把握するためのものである。したがって、ウェアラブル端末装置20で取得される画像データ等の情報としては、動画像データに限られることはない。
ここで、図2は、本実施形態の情報管理システムの一部を構成する第1情報取得機器(ウェアラブル端末装置)の概略構成を示す概念図である。なお、図2は、作業者が当該第1情報取得機器(ウェアラブル端末装置)を装着した状態を想定して図示している。
また、図3は、作業者が第1情報取得機器(ウェアラブル端末装置)を装着したときの作業者の顔の正面から見たようすを示し、同時に作業者の両目による視界を示す概念図である。そして、図4は図3で示す作業者の両目の視界をより詳細に示す概念図である。
本実施形態において、ウェアラブル端末装置20は、上記制御部21の制御下において単独で作用すると同時に、上記情報管理装置10との間で通信を行うことによって、当該情報管理装置10の制御部11の制御下においても作用する情報取得機器である。
なお、本実施形態におけるウェアラブル端末装置20は、主に動画像データ等の情報を取得する情報取得機器としているが、これに限られることはない。例えば、当該ウェアラブル端末装置20は、作業者による所定の操作、或いは所定の行為をトリガーとして、任意に若しくは自動的に静止画像データを動画像データと同時に又は静止画像データを単独で取得し得るような構成でもよい。
ウェアラブル端末装置20は、制御部21と、通信部22と、操作部23と、撮像部24(第1の撮像部)と、表示部25と、記録部26と、音声入力部27aと、音声出力部27bと、時計部28と、支持部29(図3参照)等を有して構成されている。
制御部21は、ウェアラブル端末装置20の全体を統括的に制御する制御回路等を含む構成部である。この制御部21は、例えば、CPU(Central Processing Unit)等を用いたプロセッサ(processor;処理装置)によって構成されている。そして、制御部21は、メモリ(不図示)に記憶されたプログラムにしたがって動作することにより、各構成部の制御を行う。
即ち制御部21は、通信部22を制御して情報管理装置10との間で各種の情報の送受信(通信)を行う。制御部21は、操作部23からの操作入力を受けて各構成部の制御を行う。制御部21は、撮像部24を制御して画像データ等の情報を取得する。制御部21は、表示部25を制御して表示パネル25b(後述する;図2,図3参照)の表示画面に各種の情報表示を行う。制御部21は、記録部26を制御して画像データ等の情報を記録する。制御部21は、音声入力部27aを制御して音声情報の入力を受ける。制御部21は、音声出力部27bを制御して音声情報の出力を行う。制御部21は、時計部28を制御して、時間情報や計時処理等を行う。制御部21は、これら各種の制御を実行する。
これらの制御に加えて、制御部21は、上記情報管理装置10の制御部11からの制御信号を受けて上記情報管理装置10と連携して当該ウェアラブル端末装置20を制御する。
制御部21は、例えば、画像判定部21bと、表示制御部21c等の複数の回路部等を有して構成されている。
画像判定部21bは、撮像部24によって取得された画像データに基づいて所定の判定を行う判定処理回路である。この画像判定部21bは、上述の情報管理装置10の制御部11に含まれる各種判定部(11a,11d,11e,11f)と同等若しくは簡易的な回路部である。また、この画像判定部21bに画像内の重要な部分を切り出す機能(画像切り出し部)を設けてもよい。
つまり、当該画像判定部21bは、第1画像データ(動画像)と第2画像データ(静止画像)とをデータベース40の作業情報に従って判定する作業判定部として機能する。したがって、情報管理装置10の制御部11に各種判定部(11a,11d,11e,11f)が設けられていれば、当該画像判定部21bは省略することも可能である。
ここで、ウェアラブル端末装置20側に画像判定部21bを設けて構成されている場合には、当該画像判定部21bによる判定結果のみを通信部(22,12)を介して情報管理装置10の制御部11へと送信すればよい。これを受けて、情報管理装置10の制御部11は、受信した判定結果情報に基づく制御を行う。したがって、この構成の場合、通信負荷を軽減させることができるという利点がある。
表示制御部21cは、表示部25を制御して表示パネル25b(図2参照)に所定の表示を行うための制御回路部である。
通信部22は、情報管理装置10との通信(情報の送受信)を司る制御回路等を含む送信部であり受信部である。通信部22は、無線若しくは有線による所定の通信手段が適用される。通信部22は、情報管理装置10を介して作業者100(又は第1情報取得機器であるウェアラブル端末装置20)とは異なる位置に設けられた第2情報取得機器(補助カメラ30)からの第2画像データを取得する通信部としても機能する。
さらに、通信部22は、情報管理装置10を介して若しくは直接データベース40との間で通信を行って、当該データベース40の作業情報を参照することもできる。なお、本実施形態においては、主に、通信部22とデータベース40とが直接通信を行うような構成としている。
操作部23は、当該ウェアラブル端末装置20を操作するための複数の操作部材と、これら複数の操作部材に対応し各所定の操作入力信号を発生させる複数の電気部品等によって構成される構成部である(その詳細構成は不図示)。
撮像部24は、複数の画像データ等の情報を取得する情報取得部である。この撮像部24は、撮像光学系24a(図2,図3参照)や図示しない撮像素子及びその駆動制御回路等を有して構成される構成部である。この撮像部24は、撮像光学系24aによって形成された撮像対象物の光学像を撮像素子によって順次光電変換し、これによって得られた画像データに基く画像を表示部25の表示パネル25bに順次表示する機能を有する。また、得られた画像信号に基づいて所定の形態の画像データ(例えば動画像データ若しくは静止画像データ)を形成し、これを記録部26の記録媒体(不図示)に記録したり、通信部22,12を介して情報管理装置10へと伝送する等の機能を有する。このような機能を有する撮像部24自体の構成は、従来一般的な情報取得機器における撮像部と略同様である。したがって、その詳細な構成及び図示は省略する。
なお、撮像素子としては、例えばCCD(Charge Coupled Device;電荷結合素子)イメージセンサーやCMOS(Complementary Metal Oxide Semiconductor;相補性金属酸化膜半導体)型イメージセンサー等の光電変換素子等が適用される。このような撮像部は、作業中の作業者目線(視界、視野)に近い画像が得られ、両手の間で行われる両手を使った詳細作業(目視チェックも含め)が確認しやすい。
表示部25は、撮像部24によって取得された画像データに基づいて画像を表示するほか、画像に重畳させて各種の警告表示若しくは各種所定のメッセージ表示又はガイド表示等を表示し得ると共に、適宜所定の動作モードの切り換えにより、当該ウェアラブル端末装置20における各種の設定等のためのメニュー表示等を行う表示制御回路等を含む構成部である。
表示部25は、図2に示すように、導光部25aと、表示パネル25b等を有して構成されている。表示パネル25bは、各種の表示を行うための表示画面と、その表示を実現するための表示制御回路等を含んで構成される構成部である。この表示パネル25bとしては、例えば、液晶表示ディスプレイ(LCD)や有機エレクトロルミネッセンス(EL)ディスプレイ等が適用される。導光部25aは、表示パネル25bに表示される画像を所定の表示面へと導く構成部である。
ここで、本実施形態のウェアラブル端末装置20における表示パネル25bは、図2に示すように、例えば作業者の視線方向(図2の矢印X1方向)に正対する正対面とは異なる方向に向けて設置されている。
具体的には、例えば、図2において、作業者の視線方向を矢印X1で示し、表示パネル25bの表示面の向く方向を矢印X2で示している。この場合において、導光部25aの長軸方向は、図2の矢印X2方向と一致するように設けている。したがって、表示パネル25bの表示面の画像を形成する光は、導光部25aによって矢印X2方向へと導かれる。
そして、導光部25aの内部において、一方の端部(符号25x参照)には、当該導光部25aによって上記矢印X2方向に導かれた光を、矢印X1方向へと折り曲げて導く光屈曲部材(プリズム等)が配設されている。したがって、表示パネル25bの表示面から発した光は、導光部25aを矢印X2方向へと導かれ、上記プリズム等を介して作業者の一方の眼によって視認可能な位置(図3の符号25c参照)に表示されるように構成されている。
記録部26は、ウェアラブル端末装置20(第1情報取得機器)によって取得された画像データ等の情報を記録する制御回路等及び記録媒体等を含む構成部である。記録部26自体は、従来一般に普及している電子機器に適用されているものと同様のものが適用される。したがって、その詳細構成の説明及び図示は省略する。
音声入力部27aは、音声情報を入力する電気部品と、これを駆動する駆動回路等を含んで構成される構成部である。音声入力部27aは、制御部21によって制御されて、所定のタイミングで周囲環境下における音声情報を収集する。音声入力部27aとしては、例えばマイクロフォン等が適用される。
音声入力部27aの配置としては、例えばウェアラブル端末装置20を作業者が装着したとき、作業者の口近傍に配置されているのが望ましい(図2参照)。このような配置とすることにより、作業者は、音声入力部27aへの音声入力を確実に行うことができる。
音声出力部27bは、音声情報を出力する電気部品と、これを駆動する駆動回路等を含んで構成される構成部である。音声出力部27bは、制御部21によって制御されて、所定のタイミングで音声情報(例えば警告,メッセージ等の音声情報や音声ガイド等)を出力する。音声出力部27bとしては、例えばスピーカ等の発音装置が適用される。
音声出力部27bの配置としては、例えばウェアラブル端末装置20を作業者が装着したとき、作業者の耳近傍に配置されているのが望ましい(図2参照)。このような配置とすることにより、作業者は、音声出力部27bからの音声出力を確実に聞き取ることができる。
時計部28は、上記時計部15と同様の内部時計回路である。この時計部28も、例えば出力データに付随させる日時情報を出力したり、制御処理中における所定の指示タイミング間の計時を行う等、時間制御等の際に利用される。
支持部29(図2参照)は、本ウェアラブル端末装置20の各構成部を組み付けると共に、作業者の身体の一部(例えば顔面近傍等)に装着し得るように構成されたフレーム部材である。図2に示す支持部29の構成例は、いわゆる眼鏡フレーム形状に構成した例示である。
なお、図示を省略しているが、本実施形態におけるウェアラブル端末装置20は、電源供給源となるバッテリを有している。このバッテリは、当該ウェアラブル端末装置20を駆動するために必要な電力を発生し、制御部21によって制御されることによって、各構成部への電力供給が行われる。
このように構成されたウェアラブル端末装置20を、作業者が装着したときの様子は、例えば図2,図3に示すようになる。
なお、図2において、作業者100の右眼を符号101Rで示し、左眼を符号101Lで示している。また、同図2において、右眼101Rによる右眼視野を符号110Rで示す点線で示し、左眼101Lによる左眼視野を符号110Lで示している。
この場合において、作業者100は、ウェアラブル端末装置20の支持部29を、例えば(作業者100自身にとっての)右耳近傍に装着するものとする。
このようにしてウェアラブル端末装置20を装着状態としたとき、撮像部24の撮像光学系24aは、作業者の視線方向(矢印X1方向)と略一致する方向に向けられる。そして、ウェアラブル端末装置20を装着した状態で、作業者100が頭を巡らせる等により視線方向を変更すると、撮像部24の撮像光学系24aが向く方向も、視線方向に追随して変更される。したがって、作業者100が当該ウェアラブル端末装置20を装着した状態で撮像部24によって取得される画像データは、作業者が見ている方向(視線方向)を含む所定の領域となる。
ここで、撮像部24によって取得される画像データの撮像領域を、図2,図3において示す符号24cの枠線とする。この撮像領域24cは、撮像光学系24aの画角によって任意に設定することができる。本実施形態においては、撮像領域24cは、作業者100の右眼視野110Rと左眼視野110Lとを含む領域となるように設定されている。
さらに、作業者100がウェアラブル端末装置20を装着した状態では、表示部25の表示パネル25bによる表示は、導光部25aを介して作業者100の右眼視野110R内において、図2,図3の符号25cで示す所定の領域に表示される。この表示領域25cは、作業者100の左右両眼の全視野(110R,110L)のうちの一部に視認可能な形態で、かつ作業者100の視野を阻害しない程度の領域である。作業者100は、通常状態では、左右両眼の全視野(110R,110L)を視認できると共に、視線移動を行うことで表示領域25cを中止して表示部25の表示内容を視認することができるように構成されている。
他方、複数の情報取得機器(20,30)のうち他方の第2情報取得機器は、補助カメラ30である。補助カメラ30は、一般的な形態の情報取得機器若しくは作業台(不図示)等の近傍の所定の位置に載置若しくは固設される情報取得機器である。
換言すると、補助カメラ30は、作業者の目線相当の作業情報とは異なる作業情報を取得することができる形態の情報取得機器である。
この補助カメラ30は、作業者目線の画像とは異なる視野からの、いわば客観的な見地の情報を持つことが好ましく(システムとして情報が豊富(リッチ)になる)、主に第2画像データである静止画像データを取得する。エビデンス用に用いる場合は、後で人間が検証できるような静止画であることが好ましいからである。しかしながら、もちろん、それを連続的に取得すれば動画となるので、消費エネルギーや記録容量さえ問題なければ、こうした応用があってもよい。
補助カメラ30の構成は、一般的な形態の情報取得機器と略同様である。例えば、補助カメラ30は、図1に示すように、少なくとも制御部31と、通信部32と、時計部33と、撮像部34(第2の撮像部)と、記録部35等を含んで構成されている。
制御部31は、補助カメラ30の全体を統括的に制御する制御回路等を含む構成部である。この制御部31は、例えば、CPU(Central Processing Unit)等を用いたプロセ
ッサ(processor;処理装置)によって構成されている。そして、制御部31は、メモリ
(不図示)に記憶されたプログラムにしたがって動作することにより、各構成部の制御を行う。
制御部31は、通信部32を制御して情報管理装置10との間で各種の情報の送受信(通信)を行い、撮像部34を制御して画像データ等を取得する等の各種の制御を実行する。これらの制御に加えて、制御部31は、上記情報管理装置10の制御部11からの制御信号を受けて上記情報管理装置10と連携して当該補助カメラ30を制御する。
通信部32は、情報管理装置10との通信(情報の送受信)を司る制御回路等を含む送信部であり受信部である。通信部32は、無線若しくは有線による所定の通信手段が適用される。
なお、通信部32は、情報管理装置10を介して若しくは直接データベース40との間で通信を行って、当該データベース40の作業情報を参照することもできる。ここで、本実施形態においては、主に、通信部32とデータベース40とが直接通信を行うような構成としている。
撮像部34は、複数の画像データ等の情報を取得する情報取得部である。この撮像部34は、不図示の撮像光学系,撮像素子及びその駆動制御回路等を有して構成される構成部である。この撮像部34は、撮像光学系によって形成された撮像対象物の光学像を撮像素子によって順次光電変換し、これによって得られた画像データを、通信部32を介して情報管理装置10へと伝送する等の機能を有する。また、同時に当該画像データに基く画像を表示部(不図示)を用いて順次表示する機能を有する。
このような機能を有する撮像部34自体の構成は、上記ウェアラブル端末装置20の撮像部24や従来一般的な情報取得機器における撮像部と略同様である。例えば、図1においては図示を省略しているが、従来一般的な形態の情報取得機器が具備する構成部材(操作部や表示部,バッテリ等)も有している。これらの構成部材については、従来一般的な形態の情報取得機器と同様の構成及び作用を有するものであるので、その詳細説明は省略する。
なお、補助カメラ30においても、制御部31に画像判定部(作業判定部)等の判定部を設けて構成してもよい。補助カメラ30の制御部31に画像判定部31bを設けて構成した場合には、上述のウェアラブル端末装置20の制御部21に画像判定部21bを設けた場合と同様に、当該補助カメラ30は画像判定部による判定結果のみを通信部(32,12)を介して情報管理装置10の制御部11へと送信すればよい。これを受けて、情報管理装置10の制御部11は、受信した判定結果情報に基づく制御を行う。したがって、この構成の場合、通信負荷を軽減させることができるという利点がある。
このように構成された補助カメラ30は、作業者が所定の作業をする際の作業場所の近傍に固定配置される。この場合において、補助カメラ30は、作業対象とする対象物とこれを扱う作業者の手元近傍が少なくとも撮像領域に含まれるような位置に配置される。またさらに、補助カメラ30は、作業者の作業中の様子をも確認することができるように、作業者の全体像が撮像領域に含まれるように配置されていればなおよい。こうして、作業目線とは異なる画像が得られる。
データベース40は、予め決められた各種の情報を蓄積するストレージ装置(補助記憶装置)である。本実施形態においては、データベース40を情報管理装置10や複数の情報取得機器20,30から独立した形態の外部ストレージ装置によって構成した例を示している。
しかしながら、データベース40の構成は、これらの形態に限られることはない。例えば、データベース40を情報管理装置10に含めて構成する例としてもよい。即ち、情報管理装置10の内部に固定式の記憶媒体(内蔵メモリ等)を設ける形態や、情報管理装置10に対して着脱式の記憶媒体(着脱カード式メモリ等))を設ける形態等としてもよい。
データベース40には、例えば作業情報データベース41aや画像データベース41b等が蓄積される。ここで、作業情報データベース41aは、複数の作業に関する各種の情報(対象物情報,使用ツール情報,作業種類情報等)等である。また、画像データベース41bは、複数の情報取得機器20,30によって取得される画像データ等の情報である。即ち、これらの情報は、作業情報データベース41aに記録される各種情報に関連する画像データである。具体的には、例えば複数の作業に関する複数の視野からの画像データ等の情報である。
なお、データベース40と情報管理装置10との間、またデータベース40と複数の情報取得機器20,30のそれぞれとの間は、無線若しくは有線による所定の接続手段によって各種データの送受信を行い得るように構成されている。
このように構成された本実施形態の情報管理システム1を用いて行われる作用を以下に説明する。
本実施形態の情報管理システム1を用いて行う作業としては、各種の分野における各種の作業を想定することができるが、以下の説明においては、作業の具体的な一例として、医療器具等を扱う作業のうちの所定の医療器具等の洗浄等に関するメンテナンス作業を例に上げて説明する。具体的には、使用済みの医療器具である手術用器具や処置具等(例えばハサミ形状の器具。以下、ハサミと略記する)を洗浄して滅菌する作業(以下、器具洗浄滅菌作業という)を例示する。
図5は、本実施形態の情報管理システムを使用して所定のメンテナンス作業(器具洗浄滅菌作業)を行っている様子を示す概念図である。
図5に示すように、本実施形態にて例示するメンテナンス作業(器具洗浄滅菌作業)を行う際には、作業者100は、所定の作業部屋内に設置された作業台150に向かって椅子151に座った状態で作業を行う。このとき、作業者100は、顔面近傍にウェアラブル端末装置20を装着した状態である。これにより、ウェアラブル端末装置20は、作業者100の視線方向を含む所定の領域の画像データ(主に動画像データ)を取得する。
また、作業台150の台上には、補助カメラ30が、作業者側に向けて載置されている。この補助カメラ30は、作業者100の少なくとも手元近傍を含む所定の領域の画像データを取得する。なお、補助カメラ30は、水回りでの使用を考慮して、防水機能を有するものが望ましい。
なお、図5においては、情報管理装置10の図示を省略している。これは、本実施形態にて例示する作業の作業場所が水回り近傍にあることから、情報管理装置10は、作業場所とは離れた場所に設置してあるためである。
ここで例示するメンテナンス作業(器具洗浄滅菌作業)は、使用済みの医療器具である手術用器具や処置具等であるハサミ200を洗浄して滅菌する作業である。したがって、作業台150には洗浄槽150aが備わっている。さらに、当該洗浄槽150aの上方には水道蛇口153が設置されている。この水道蛇口153のハンドル153aを開栓方向に回転操作すると、流水口153bより流水154が流れ出る。
作業者100は、洗浄槽150aに溜めた洗浄液(例えば水)にてメンテナンス対象の具器(ハサミ200)を所定のツール(洗浄用ブラシ300)を用いてブラッシング洗浄する。
この作業を行っているとき、ウェアラブル端末装置20によって取得される画像データ等の情報は、例えば図6に示すような画像となる。図6は、本実施形態の情報管理システムを用いたメンテナンス作業(器具洗浄滅菌作業)の作業中にウェアラブル端末装置によって取得される画像データに基く画像の表示例である。
図6に示す画像表示例では、作業者100が一方の手(左手100L)にメンテナンス対象具器(ハサミ200)を持ち、他方の手(右手100R)に持った所定のツール(洗浄用ブラシ300)を用いてブラッシング洗浄作業を行っているようすが示されている。このように、ウェアラブル端末装置20は、作業者100の手元近傍の領域を撮像している。
ここで、本例の器具洗浄滅菌作業の流れの概略は次に示すようなものとなる。即ち、
(1)作業者はメンテナンス作業の対象とする対象物(器具)の確認を行う。
(2)作業者は、メンテナンス環境の状態の確認を行う
ここで、メンテナンス環境とは、当該作業を行うための場所(部屋,台等)の環境である。また、環境の状態の確認とは、清潔な状態にあるか否か、即ち器具の洗浄滅菌作業に適した環境の状態であるか否かの確認である。通常の場合、専用のメンテナンス環境(部屋,台等)が用意されている。
(3)作業者は、メンテナンス作業のうちの第1工程における第1作業を行う
ここで、メンテナンス作業は、複数の作業をまとめた工程を複数行うことで成立する一連の作業として考えるものとする。即ち、一つの所定のメンテナンス作業は、複数の作業工程を所定の手順で実行していくことによって成立する。これら複数の作業工程のそれぞれには、さらに複数の具体的な作業行為が含まれており、これら複数の作業を所定の手順で実行することによって、個々の作業工程は成立する。
例えば、第1工程における第1作業として、メンテナンスツール(道具)の確認作業等がある。ここで、メンテナンスツールとは、例えば、器具を洗浄するための洗浄用のブラシ等である。このメンテナンスツールである洗浄用ブラシとしては、複数の作業に対応するために複数種類のものが用意されている。そこで、メンテナンスの対象とする器具毎に最適となるように(本例ではメンテナンス対象器具をハサミ200としている)、また、所定の器具における対象部位に応じて適するツールが用意されている。そして、メンテナンス作業の各工程,各作業毎に最適なツールが選択される必要がある。このことから、個々の作業前には、使用ツールの確認が必要になる。
(4)作業者は、第1工程における第2作業を行う。ここで、第1作業工程における第2作業としては、例えば、メンテナンス対象器具の所定の第1部位(例えばハサミの刃部等、具体的な部位)を洗浄する作業等であるものとする(その具体例は省略)。
(5)作業者は、第1工程における第3作業を行う。ここで、第1作業工程における第3作業としては、例えば、メンテナンス対象器具の第1部位とは異なる所定の第2部位(例えばハサミの連結(ジョイント)部等、具体的な部位)を洗浄する作業等であるものとする(その具体例は省略)。
(6)作業者は、第1工程で規定されている複数の作業が終了したか否かの確認を行う。なお、当該作業例としては、第1工程を第1作業〜第3作業で完了するものとしている。ここで、第1工程の全作業の終了が確認されると、次のエビデンス化処理に進む。
(7)作業者は、第1工程の各作業に関するエビデンス化処理を行う。ここで、エビデンス化処理とは、第1工程の各作業が確実に完了していることを証拠として記録する作業である。具体的には、例えば、各作業毎に予めリストアップされた確認すべき作業項目について、作業者が実行したか否かを確認し、記録するチェックリスト等の情報を作成する処理である。
(8)作業者は、実行しているメンテナンス作業(器具洗浄滅菌作業)における全ての作業工程が終了したか否かの確認を行う。ここで、作業工程が全て終了していない場合には、次の工程の作業に移行する。また、作業工程が全て終了している場合には、次の最終エビデンス化処理に進む。
(9)作業者は、当該メンテナンス作業(器具洗浄滅菌作業)についての最終的なエビデンス化処理を行う。ここで、最終的なエビデンス化処理とは、例えば、各工程毎に作成されたチェックリストをまとめると共に、総合的かつ最終的な作業のチェックリストを作成し、エビデンス情報としてまとめる作業等である。
また、エビデンス情報とは、例えば図7に示すような所定の形態で、複数の情報を纏めた一覧表形式の書類である。なお、エビデンス情報は、例えば紙面に印刷する形態の書類形式のものであってもよいし、電子的な形態のいわゆる電子ファイル形式のものであってもよい。ここで図7はメンテナンス作業で作成されるエビデンス情報の一例を示す図である。
エビデンス情報は、例えばメンテナンスの対象とする器具の情報(インデックス情報)と、このメンテナンス対象器具毎に決められている複数の作業工程と、各作業工程内で行われるべき複数の作業内容についての情報等と、各作業内容に応じた複数の確認項目等をリストアップした一覧表形式のデータ集である。
エビデンス情報に含まれる複数の確認項目は、例えば、図7に示すように、作業を行う周囲環境(例えば作業部屋,作業台等)や作業に使用するツール名,作業者名,作業時間(日時,開始終了時間)等である。これら複数の確認項目は、各作業工程の複数の作業毎に予め決められている。これらの確認項目リストに加えて、各作業中に取得される複数の画像(静止画像,動画像)データをエビデンス情報として記録し、各確認項目毎に対応する画像データ等の情報を関連付けて記録する。
従来においては、エビデンス情報として記録される画像データ等の情報は、一連の作業中において各作業が完了する都度、作業者のマニュアルオペレーションにより情報取得がなされていたものである。本実施形態の情報管理システム1では、これらの画像データ等の情報を含むエビデンス情報は、自動的に記録されるように構成している。
図7に示すように、各作業毎に適宜、エビデンス情報としての画像データ等の情報(図7において静止画像52a参照)が、複数(2つ)の情報取得機器20,30によって取得される。
ここで、本実施形態の情報管理システム1を使用して所定のメンテナンス作業(器具洗浄滅菌作業)を行う際の作用を、以下に説明する。
上述したように、本実施形態の情報管理システム1は、作業者100が所定の作業を行う際に、複数の情報取得機器(ウェアラブル端末装置20と補助カメラ30)と情報管理装置10とを連携させて作用するシステムである。
本実施形態の情報管理システム1において、複数の情報取得機器(20,30)は、作業者が順次行う複数の作業の状況を適宜撮像する。こうして取得された各画像データ等の情報は情報管理装置10へと送信される。
情報管理装置10は、上記複数の情報取得機器(20,30)が取得した画像データ等の情報を受信して、これら画像データ等の情報と、データベース40に予め蓄積された各種情報とに基づいて所定の判定処理を行う。ここで、情報管理装置10によって行われる判定処理は、例えば、対象とする作業内容に応じて規定されている複数の確認項目、例えばメンテナンス対象の器具の判定,使用ツールの種類等の判定,作業行為(ブラッシング,水洗,擦拭,薬剤噴霧等)等の判定等である。
そして、情報管理装置10は、上記判定処理結果に基づいて、各種の制御処理を行う。例えば、実行された作業行為が規定の作業に合致する(正しい作業である)との判定結果の場合には、確認チェック表の作成等を行い、加えてエビデンス記録を行う。このエビデンス記録は、例えば、図6で示すエビデンス情報に含める情報の記録処理等である。
また、例えば、実行された作業行為が規定の作業から外れている(作業ミスである)との判定結果の場合には、その旨の警告表示等を行うと共に、正しい作業のやり直しをさせる等のガイド表示等を行う。
次に、本実施形態の情報管理システム1を使用して所定のメンテナンス作業(器具洗浄滅菌作業)を行う際の作用を、図8〜図10のフローチャートを用いて以下に説明する。
図8は、本実施形態の情報管理システムにおける情報管理装置の作用を示すフローチャートである。図9は、本実施形態の情報管理システムにおけるウェアラブル端末装置(第1情報取得機器)の作用を示すフローチャートである。図10は、本実施形態の情報管理システムにおける補助カメラ(第2情報取得機器)の作用を示すフローチャートである。
まず、本実施形態の情報管理システム1において、各装置(情報管理装置10,ウェアラブル端末装置20,補助カメラ30)が電源オン状態とされているものとする。この状態において、作業者100は、図5で示す所定の環境下にあって、所定の作業を開始する。ここで説明する所定の作業は、医療器具のメンテナンス作業のうちの「ハサミ洗浄滅菌作業」を例示する。
即ち、情報管理装置10は、電源オン状態で、所定の指示信号を受信する待機状態にある。また、ウェアラブル端末装置20は、電源オン状態で、ライブビュー画像の撮像動作中であり、指示信号待機状態にある(図9のステップS201)。同様に、補助カメラ30も電源オン状態で、ライブビュー画像の撮像動作中であり、指示信号待機状態にある(図10のステップS301)。
この状態で、作業者100は、所定の作業場所にて、所定の「ハサミ洗浄滅菌作業」を開始する。まず、作業者100は、「ハサミ洗浄滅菌作業」においてメンテナンス対象とする器具(ハサミ200)を手に持って、これを補助カメラ30の前面(撮像範囲内)にかざす行為を行う。
すると、ウェアラブル端末装置20は、当該行為(ハサミ200を補助カメラ30の前面にかざす行為。以下、「かざす行為」と略記する)が行われたか否かの検出を行う(図9のステップS202)。この検出処理は、例えば、ウェアラブル端末装置20における制御部21の画像判定部21bにて行われる。ここで、器具を「かざす行為」が検出された場合には図9のステップS203の処理に進む。また、検出されない場合には引き続き当該検出処理を繰り返す。
図9のステップS203において、ウェアラブル端末装置20の制御部21は、上記器具を「かざす行為」が行われた旨の情報(以下、「かざした情報」と略記する)を情報管理装置10へと送信する。その後、ステップS204のライブビュー画像撮像動作を行いつつ待機状態となる。
ここで、既に待機状態にある情報管理装置10は、図8のステップS101にて、器具を「かざした情報」が受信されたか否かの確認を行う。ここで、器具を「かざした情報」の受信が確認された場合には、同図8の次のステップS102の処理に進む。なお、当該情報の受信が確認されない場合には、引き続き指示信号の受信を待機する。
図8のステップS102において、情報管理装置10の制御部11は、補助カメラ30に対して所定の撮像動作を実行する要求指示(撮像要求指示)を送信する。その後、補助カメラ30から撮像結果(ハサミ200の画像データ等の情報)が送信されてくるのを待機する。この時、撮像された画像の全部を送る必要はなく、特定の画像部分のみを切り出して送れば通信の負荷が軽くなる。ここでは、手の先とか器具とかツールが特定できる画像部分のみを切り出して送るようにしてもよい。
これを受けて、補助カメラ30は、図10のステップS302において、情報管理装置10からの撮像要求指示が受信されたか否かの確認を行う。ここで、撮像要求指示の受信が確認された場合には、所定の撮像動作を実行した後、図10の次のステップS303の処理に進む。
なお、ここで行われる撮像動作によって取得される画像データ等の情報は、例えばハサミ200の拡大画像データのほか、例えば作業者100自身を含めた周囲環境(例えば作業部屋,作業台等)の画像データ等の情報である。周囲環境データを取得することによって、当該作業が正しい(規定された)作業環境下においてなされているか、作業者100が正しい(規定された)装具、具体的には例えばマスク,手袋,顔面保護具等を着用しているか否かの確認ができる。
続いて、同図10のステップS303において、撮像動作の結果取得された画像データ(主に静止画像データ)等の情報を情報管理装置10へ向けて送信する。その後、ステップS301の処理に戻り、ライブビュー画像の撮像動作を継続して実行しながら、所定の指示信号の受信を待機する。
一方、情報管理装置10においては、補助カメラ30による撮像結果(の一部でもよい)(ハサミ200の画像データ等の情報)を受信する(図8のステップS102)。
なお、図10のステップS302において、撮像要求指示の受信が確認されない場合には、図10のステップS301の処理に戻り、ライブビュー画像の撮像動作を継続して実行しながら、所定の指示信号の受信を待機する。
図8に戻って、上述のステップS102の処理にて、情報管理装置10は、補助カメラ30からの撮像結果を受信したら、次のステップS102Aの処理に進む。
図8のステップS102Aにおいて、情報管理装置10の画像判定部11fは、補助カメラ30から受信した画像データやウェアラブル端末装置20からの画像データ等の情報が、特定の条件を満たしているか否か等の判定を行う。
ここで、図11のように、ウェアラブル端末装置20のユーザがかざしたことを示す画像と、図12のかざしたゆえに撮像すべき画像の関係が揃ってこそ、各画像の意味が明確になる。図11のようなかざしたエビデンスない状況で図12の画像や図13の画像を判定しても、それは、正しい作業の区切りとしての画像情報にはならない。つまり、複数の撮像装置がそれぞれ撮像した画像情報を無線通信で取得する情報取得部と、上記情報取得部が取得した上記複数の画像情報が、特定の条件を満たしているかによって特定のタイミングを判定することによって、意味のある画像が取得できる。そして、上記判定部の判定結果に従って上記特定の条件を満たす撮像を促すためのガイド情報を特定のタイミングにて作成することによって、正しく作業の内容や作業の結果を判定して作業ミスを防止することができる。
受信画像データ等の情報が特定の条件を満たしていると判定された場合には、次のステップS102Bの処理に進む。また、受信画像データ等の情報が特定の条件を満たしていないと判定された場合には、ステップS102Cの処理に進む。
なお、図11は、第2情報取得機器(補助カメラ30)の前面に向けて、手に持っている使用ツール(ここでは洗浄用ブラシ300を例示している)を「かざす行為」を行っている様子を示す概念図である。ウェアラブル端末装置20の表示部25には、このような光景がライブビュー表示されている。
また、図12は、図11に示す状態とした時(第2情報取得機器(補助カメラ30)の前面に使用ツール(洗浄用ブラシ300)をかざした時)に、補助カメラ30によって取得される画像データ等の情報に基づいて表示される画像の表示例である。この場合において、当該画像データ等の情報をエビデンス情報として採用されるためには、図12に示すように、使用ツール(ここでは洗浄用ブラシ300)が、判別可能な状態で、画面内に確実に写っており、さらに、当該画像の撮像動作に関する撮像条件(例えばピントや露出や構図等)に問題がないことが求められる。
例えば、図13は撮像ミス画像の例示である。図13に示す例では、使用ツール(ここでは洗浄用ブラシ300)が、一部しか写っていない。したがって、この図13の画像では、当該作業に適したツールが使用されているかどうかの判定ができないことになる。したがって、図13のような画像は、撮像ミスと判定される。
つまり、ガイド情報を出す特定のタイミングは、作業者が作業したつもりであって、それが正しく行われていないタイミングで行うのが作業者へのフィードバックがしやすく、図11のようなウエアラブルカメラの画像と、据え置きサブカメラの画像(かざした画像とかざした手先の画像)を比較するなり、複数の撮像装置の画像の比較によって決めればよい。
ステップS102Bにおいて、情報管理装置10は、当該受信画像データ等の情報を記録部26に記録する。同時に、同受信画像データ等の情報は、データベース40の画像データベース41bへ送られて記録される。その後、ステップS103の処理に進む。
ステップS102Cにおいて、情報管理装置10のガイド部11cは、受信画像データ等の情報が、例えば特定の条件を満たしていないと画像判定部11fによって判定された場合に、特定の条件を満たしていない旨の警告情報や、再度の撮像動作によって特定の条件を満たす情報を取得するための手順やアドバイス等を含むガイド情報等を作成する。その後、ステップS101の処理に戻る。
なお、図示されていないが、ここで作成された警告情報やガイド情報は、ウェアラブル端末装置20に向けて送信される。
これを受けて、ウェアラブル端末装置20は、受信した警告情報,ガイド情報を、表示部25に表示する。
作業者100は、この警告表示を見て、さきほどの「かざす行為」によって取得されたエビデンス情報としての画像データ等の情報が、特定の条件を満たしていない旨を知ることができる。また、同時に表示されるガイド情報を見て、作業者100は、特定の条件を満たす画像データ等の情報が取得できるように、ガイド情報に従った再度の「かざす行為」を行う。つまり、ステップS101の処理以降の処理が再度行われ、特定条件を満たす画像データが取得されるまで繰り返される。
図8のステップS103において、情報管理装置10は、制御部11の対象物判定部11d,大きさ判定部11e等を制御してメンテナンス対象器具の判定処理を実行する。この判定処理は、上記ステップS102で受信した撮像結果(ハサミ200の画像データ等の情報)と、データベース40に蓄積されているメンテナンス対象器具の画像データ等の情報を参照して行う処理である。
続いて、同図8のステップS104において、情報管理装置10は、同様に、制御部11の対象物判定部11d,大きさ判定部11e等を制御してメンテナンス環境の確認処理を行う。この確認処理は、ステップS103と同様に、上記ステップS102で受信した撮像結果(周囲環境や作業者の画像データ等の情報)と、データベース40に蓄積されている対応データ等を参照して行う処理である。その後、情報管理装置10は、所定の指示信号の受信待機状態となり、ステップS105の処理に進む。
続いて、同図8のステップS105において、情報管理装置10は、ツールを「かざした情報」が受信されたか否かの確認を行う。ここで、ツールを「かざした情報」の受信が確認された場合には、同図8の次のステップS111の処理に進む。なお、当該情報の受信が確認されない場合には、引き続き指示信号の受信を待機する(ステップS105のループ処理)。
ここで、作業者100は、第1工程の第1作業であるメンテナンスツールの確認作業を開始する。この場合において、作業者100が行う作業は、当該作業で使用する適切なツール(洗浄用ブラシ300)を手に持って、このツール(洗浄用ブラシ300)を補助カメラ30の前面(撮像範囲内)にかざす行為である。
すると、上述のステップS204の処理にて待機状態となっているウェアラブル端末装置20は、図9のステップS205において、当該行為(洗浄用ブラシ300を補助カメラ30の前面にかざす行為。以下、「かざす行為」と略記)が行われたか否かの検出を行う。この検出処理は、例えばウェアラブル端末装置20における制御部21の画像判定部21bにて行われる。ここで、ツールを「かざす行為」が検出された場合には図9のステップS206の処理に進む。また、検出されない場合には引き続き当該検出処理を繰り返す。
図9のステップS206において、ウェアラブル端末装置20の制御部21は、上記ツールを「かざす行為」についての情報(「かざした情報」と略記)を情報管理装置10へと送信する。
受信待機状態にある情報管理装置10は、図8のステップS105にて、ツールを「かざした情報」が受信されたか否かの確認を行う。ここで、ツールを「かざした情報」の受信が確認された場合には、同図8の次のステップS111の処理に進む。なお、当該情報の受信が確認されない場合には、引き続き指示信号の受信を待機する。
図8のステップS111において、情報管理装置10の制御部11は、作業判定部11a等を制御してメンテナンスツールの確認作業(第1作業)の処理を実行する。
続いて、同図8のステップS112において、情報管理装置10は、作業確認要求指示をウェアラブル端末装置20へ送信する。この作業確認要求指示は、ツールを「かざした情報」送信後のウェアラブル端末装置20により取得される動画像データを要求する指示信号である。
図9のステップS211において、ウェアラブル端末装置20は、作業確認要求指示を受信したか否かの確認を行う。ここで、作業確認要求指示を受信した場合には、次のステップS212の処理に進む。また、作業確認要求指示を受信しない場合は、ステップS221の処理に進む。
続いて、同図9のステップS212の処理にて、ウェアラブル端末装置20は、取得した動画像データを情報管理装置10へ送信する。その後ステップS221の処理に進む。
図8のステップS113において、情報管理装置10は、上述のステップS212の処理にてウェアラブル端末装置20から送信された動画像データを受信する。そして、情報管理装置10は、受信した動画像データと、データベース40に蓄積されている対応データとを比較する。そして、取得された動画像データに基づいて、作業者100が行った作業が正しい(規定された)作業であるか否かを確認する。
次のステップS114において、上記比較結果に問題が無ければ、即ち作業者100が行った作業(取得動画像)が正しい(規定された)作業であることが確認された場合(OKである場合)には、次のステップS116の処理に進む。また、OKではない場合には、ステップS115の処理に進む。
図8のステップS115において、情報管理装置10の制御部11のガイド部11cは、所定の警告表示やガイド表示等に関する所定の情報を、ウェアラブル端末装置20へ送信する。その後、ステップS116の処理に進む。
図9のステップS221において、ウェアラブル端末装置20は、警告表示やガイド表示等の情報を受信したか否かの確認を行う。ここで、当該情報の受信が確認された場合には、次のステップS222の処理に進む。また、確認されない場合には、上述のステップS201の処理に戻り、ライブビュー画像撮像動作を行いつつ待機状態となる。
ステップS222において、ウェアラブル端末装置20の制御部21は、表示部25,音声出力部28等を制御して、所定の形態の警告表示,ガイド表示等を実行する。
なお、ここで、警告表示やガイド表示等は、表示部25を用いた視覚的な情報表示のほか、音声出力部28を用いた音声情報表示等がある。その後、上述のステップS201の処理に戻り、ライブビュー画像撮像動作を行いつつ待機状態となる。
一方、情報管理装置10は、ステップS116において、工程が終了したか否かの確認を行う。この確認は、例えばデータベース40を参照する等による。ここで、工程が終了したことを確認すると、次のステップS117の処理に進む。また、工程終了が確認されない場合、即ち工程が終了しておらず、次の作業が存在する場合には、上述のステップS113の処理に戻る。
ステップS117において、情報管理装置10は、終了した工程についてのエビデンス化処理を実行する。このエビデンス化処理は、取得した画像データ等の情報を所定の形態で記録する等の処理である。その後、ステップS121の処理に進む。
続いて、ステップS121において、情報管理装置10は、当該作業の全ての工程が終了したか否かの確認を行う。ここで、全行程の終了を確認した場合には、次のステップS122の処理に進む。また、全行程終了が確認されない場合には、ステップS123の処理に進む。
ここで、当該作業の全行程が終了していない場合、作業者100は、手持ちのメンテナンスツール(前の作業で使用したツール)を、次の作業(例えば第2作業)で使用するメンテナンスツールに持ち替える(変更する)。
この場合において、情報管理装置10は、図8のステップS123において、メンテナンスツールの変更を確認する。その後、ステップS105の処理に戻り、以降同様の処理を繰り返す。
一方、上述のステップS121の処理にて、全行程の終了を確認して、ステップS122の処理に進むと、このステップS122において、情報管理装置10は、最終エビデンス化処理を実行する。この最終エビデンス化処理は、取得した複数の画像データ等の情報を所定の位置ファイルとしてファイル化すると共に、上記ステップS114の処理にて出力されるOK信号に基いて作成されるチェックリスト等の作成処理等である。その後、全ての処理を終了して、待機状態に戻る。
以上説明したように上記第1の実施形態によれば、情報管理システム1は、二つの情報取得機器(20,30)と情報管理装置10とを連携させて作用させることにより、複数の作業からなる所定の一連の作業を規定の作業手順及び作業手法に従って確実に実行するための情報管理を行うことができ、よって作業ミスを抑止することができる。
また、本実施形態の情報管理システム1においては、作業者が順次行う複数の作業の状況が、適宜自動的に撮像される。つまり、各作業毎に適宜、エビデンス情報としての画像データ等の情報(図7において静止画像52a参照)が、複数(2つ)の情報取得機器20,30によって取得される。
この場合において、複数(2つ)の情報取得機器20,30によって取得された画像データ等の情報は、データベース40に蓄積された画像データ等の情報を参照し、当該画像データ等の情報が、特定の条件を満たしているかの判定を行う。そして、その判定結果に従って、所定の警告表示やガイド表示等を出力(表示等)を行なう。
ここで、例えば2つの情報取得機器(20,30)によって取得された画像データ等の情報が、特定の条件を満たしていないと判定された場合には、その旨の警告表示や、再度の撮像動作を行う際に特定の条件を満たす情報を確実に取得することができるようにするためのガイド情報等を出力する(例えば表示部25等に表示する)。
これにより、作業中に撮像漏れや撮像ミス等の発生を知ることができると同時に、撮り直しを行うことができるので、確実にエビデンス情報としての画像データ等の情報を取得することができる。
さらに、撮り直しを行う際には、特定の条件を満たす画像データ等の情報が取得できるようにガイドするガイド情報が表示されるので、確実なエビデンス情報を取得することができるようになる。
[第2の実施形態]
次に、本発明の第2の実施形態の情報管理システムについて説明する。本実施形態は、例えば一般的な生活空間において、複数の情報取得機器を用いて複数の画像データ等の情報が取得されるような状況で利用される情報管理システムについての例示である。
以下、本発明の第2の実施形態の情報管理装置及び情報取得機器によって構成される情報管理システムについて詳述する。図14は、本発明の第2の実施形態の情報管理システムの概念を説明する図である。
まず、図14を用いて、本実施形態の情報管理システムを利用する状況について簡単に説明する。本実施形態は、例えば、複数人数からなる一般的な団体(グループ)が、所定の行事(例えばグループ旅行等)を行う際に、情報管理システムを利用する状況を想定している。
一般に、グループ旅行等の行事(イベント)では、複数の参加者(人物)のそれぞれが、個人所有の情報取得機器(例えば撮像機能付き電子機器(デジタルカメラ,スマートホン,タブレット端末等))を持参していることが多い。
そして、各参加者は、当該行事に参加したとき、自分の所有する情報取得機器を用いて画像データ等の情報を取得する。その際には、自分自身を含めて自分に近い人物(親しい人物)を主に撮影するのが普通である。
そうして、複数の参加者のそれぞれの情報取得機器によって取得された複数の画像データを、全て集めて各種の分析等を行った場合、特定の人物が写っている画像が極端に多くなったり、若しくは少なくなったりする場合がある。
例えば、図14に示す符号20Aa,20Ab,20Acは、参加者のそれぞれが所持する情報取得機器を示している。ここで、具体的には、情報取得機器20Aaは人物Aの所有機器(例えばデジタルカメラ)とする。同様に、情報取得機器20Abは人物Bの所有機器(例えばスマートホン)と、情報取得機器20Acは人物Cの所有機器(例えばデジタルカメラ)とする。ここで、当該グループ旅行の参加者は、人物A,B,Cの三名として例示するが、さらに多人数であっても同様である。
図14においては、各情報取得機器20Aa,20Ab,20Acの各表示画面に、各情報取得機器20Aa,20Ab,20Acによって取得された複数の画像データ等の情報のうちの一つを再生表示している状態を図示している。例えば、情報取得機器20Aaの表示画面には人物Aが一人で写っている画像が表示されている。情報取得機器20Abの表示画面には人物A,Bが並んで写っている画像が表示されている。情報取得機器20Acの表示画面には人物B,Cが並んで写っている画像が表示されている。
そして、これら三台の情報取得機器20Aa,20Ab,20Acによって取得された複数の画像データ等の情報は、例えば撮影動作毎に、若しくは所定のタイミングで、一台の情報管理装置10Aに対して送信されるようにしている。
ここで、一台の情報管理装置10Aは、当該行事(グループ旅行)のリーダー(幹事)が所有する機器であるものとする。この情報管理装置10Aは、具体的には、例えばスマートホン等の情報管理機能を有する電子機器である。
つまり、当該行事(グループ旅行)のリーダー(幹事)は、情報管理装置10Aを用いて、複数の参加者(人物A,B,C)が各所持する複数の情報取得機器20Aa,20Ab,20Acと連携し、当該行事(グループ旅行)で取得された複数の画像データ等の情報を、その行事の開催中に、その行事の現場で管理する。
そのために、当該情報管理装置10Aは、複数の情報取得機器20Aa,20Ab,20Acのそれぞれとの間で、画像データ等の情報の送受信を行ない得るように、予め相互の連携設定が必要になる。その連携設定の詳細は後述する。
このようにして、複数の情報取得機器20Aa,20Ab,20Acによって取得された複数の複数の画像データ等の情報は、情報管理装置10Aに集められる。これを受けて、当該情報管理装置10Aでは、これら複数の画像データ等の情報についての各種の分析等を行う。そのために、情報管理装置10Aは、画像分析集計アプリケーションソフトウエアを有している(詳細後述)。
情報管理装置10Aによる分析結果の例示を、図14の情報管理装置10Aの表示画面内に表示する形態で示している。図14の例示では、例えば、縦軸を画像数とし、横軸上段を被写体(人物)とし、横軸下段を撮影場所(X地点,Y地点)として示している。
図14に示す分析結果について詳述すると、X地点においては、人物Aの写っている画像は5枚、人物Bの写っている画像は3枚、人物Cの写っている画像は2枚あるという集計結果が示されている。また、Y地点においては、人物Aの写っている画像は3枚、人物Bの写っている画像は5枚、人物Cの写っている画像は2枚あるとの集計結果が示されている。つまり、X地点からY地点に移動する前に、X地点で撮るべき写真を撮り逃さないようにしたい。
なお、ここで例示する分析結果は、参加者(人物)の分類(顔画像認識技術を用いる分析処理)と、その分類結果に基づく画像集計を行っている。情報管理装置10Aの画像分析集計アプリケーションソフトウエアは、これ以外にも、さまざまな分析を行うことができる。例えば、眼つぶり等や露出不足等による撮影ミスの判定や、顔の状態(笑顔であるか、顔が正面を向いているか等)を判定して、取得された画像データ等の情報の評価を行う等ができる。
さらに、情報管理装置10Aは、上記分析結果に基づいて、撮影ミスを判定したり、特定の人物が写っている画像が極端に少ないか、若しくは特定の人物の写っている画像が無い等(撮影漏れ)の判定を行って、必要に応じて、その旨の警告情報やガイド情報を作成する。つまり、それらの情報は、特定の条件を満たす画像データ等の情報を確実に取得するための手順やアドバイス等を含む情報である。これらの警告情報やガイド情報は、対応する情報取得機器に対して送信される。
このように、複数の撮像装置がそれぞれ撮像した画像情報を無線通信で取得する情報取得部が、上記複数の画像情報が、特定の条件を満たしているかによってガイド情報を出すが、その撮影の機会を逃さないようなガイドであることが好ましい。撮影を逃しそうになっても、特定のやり直しが効くタイミングを判定する判定部を設けてもよく、これは、多くの人が集中的に撮影している状況か否かによって判断することができる。例えば、撮影タイミングを横軸に縦軸に撮影枚数をグラフにするなどによって、撮影枚数が多いタイミングがベストで、そのタイミングから離れていくにしたがって取り直しがきかなくなるといった考え方ができる。つまり、統計的な分布の解析手法で判定できるので、複数の撮像装置での単位時間当たりの撮影数の分析といった判定方法が有効である。
このように、本実施形態の情報管理システム1Aにおいては、一台の情報管理装置10Aと複数の情報取得機器20Aa,20Ab,20Acとを連携させて、複数の情報取得機器20Aa,20Ab,20Acによって取得された複数の画像データ等の情報を、一台の情報管理装置10Aへ送信する。これを受けて、情報管理装置10Aは、複数の画像データ等の情報についての各種の分析等を行なう。これと共に、当該情報管理装置10Aは、その分析結果に従って、撮影ミスや撮影漏れ等を補うための警告情報やガイド情報を作成する。そして、それらの警告情報やガイド情報を対応する情報取得機器へと送信する。これを受けた情報取得機器側では、その機器の所持者が、受信した警告情報やガイド情報に従って、撮り直しや追加撮影を行う。これにより、撮影ミスや撮影漏れ等の発生を抑止することができるようになる。つまり、撮影の状況を一括管理しているので、撮影が盛んにおこなわれたタイミングと、もう撮影をやめて、移動しようとするタイミングが情報管理装置では、統計的に把握ができる。
なお、こうした行事(イベント)では、複数の参加者とは別に、情報取得機器を持参した専門の記録担当者が随行する場合もある。この場合、当該記録担当者は、複数人が随行する場合もある。そして、当該記録担当者は、複数の参加者をまんべんなく撮影することが求められる。そのために、これらの記録担当者は、複数の情報取得機器を用いて大量の画像データ等の情報を取得する作業を強いられる。
このような場合にも、本実施形態の撮影管理システム1Aを利用すれば、記録担当者が複数の参加者をまんべんなく撮影する(特定の条件を満たす画像データ等の情報を確実に取得する)ための撮影管理を、現場でその都度行うことが容易にできる。
次に、本発明の第2の実施形態の情報管理システムの概略構成を、図15のブロック構成図によって説明する。本実施形態の情報管理システム1Aの基本的な構成は、上述の第1の実施形態と略同様である。したがって、上述の第1の実施形態と同様の構成部材には、同じ符号を付して、その詳細説明は省略する。
本実施形態の情報管理システム1Aは、一台の情報管理装置10Aと複数の情報取得機器20A等によって構成される点においては、上述の第1の実施形態と同様である。なお、本実施形態においては、ストレージ装置としてのデータベースの図示を省略しているが、本実施形態においても、上述の第1の実施形態と同様に、別体のデータベース若しくは情報管理装置10Aの内部にデータベース(ストレージ)を設けるようにしてもよい。
複数の情報取得機器20Aは、複数の画像データ等の情報を取得する電子機器である。なお、図15においては、情報取得機器20Aの内部構成を示すために、情報取得機器20Aは一台分のみを図示している。したがって、図15についての以下の説明では、「複数の」との文言を省略して説明する。
情報取得機器20Aは、制御部21と、通信部22と、操作部23と、タッチパネル23aと、撮像部24と、表示部25と、記録部26と、音声入力部であるマイクロホン27aと、音声出力部であるスピーカ27bと、時計部28等を有して構成されている。
制御部21は、当該情報取得機器20Aの全体を統括的に制御する制御回路等を含む構成部である。この制御部21自体は、上述の第1の実施形態の情報取得機器等におけるものと略同様である。
制御部21は、例えば、通信制御部21aと、画像分析部21bと、表示制御部21cと、画像処理部21dと、編集部21e等の複数の回路部等を有して構成されている。
通信制御部21aは、通信部22を制御して、当該情報取得機器20Aと情報管理装置10Aとの間の通信を行うための制御回路部等を含む構成部である。
画像分析部21bは、撮像部24によって取得された画像データに基づいて所定の画像分析処理、各種の分析処理等を行う回路部である。なお、画像分析部21bは、上述の第1の実施形態の第1情報取得機器20における画像判定部21bに相当するものである。
つまり、当該画像分析部21bは、撮像部24によって取得され画像処理部21dによって処理済みのデジタル画像データに基づいて、各種の画像分析処理を行う処理回路部出る。画像分析部21bによって行われる画像分析処理としては、例えば、画像データに含まれる顔画像を認識する顔認識処理等がある。このような機能によって画像処理部21dと連携して、画像の重要な部分のみ切り出す機能を実現してもよい。こうした画像切り出し部があれば、画像集計に必要な情報を含む画像部分のみを送信するような仕様にすることが可能である。
表示制御部21cは、表示部25を制御して表示パネルに所定の表示を行うための制御回路部である。
画像処理部21dは、撮像部24によって取得された画像信号を受けて各種の画像処理を施す信号処理回路部である。
編集部21eは、画像処理部21dによって処理済みのデジタル画像データに基づいて、各種の編集処理を行うデータ処理回路部である。この編集部21eにて行われる編集処理としては、例えば、情報管理装置10Aによって行われる画像分析処理に必要となる部分画像データを、撮像部24で取得された元の画像データから抽出若しくは切り出す編集処理等がある。具体的には、元の画像データに基づいて画像分析部21bの顔認識処理により検出される顔画像部分データを切り出す編集処理等である。
こうして切り出し編集された顔画像部分データは、通信部22を介して情報管理装置10Aへと送信されて、当該情報管理装置10Aにおいて画像分析処理に供せられる。したがって、この構成の場合、取得された画像データ等の情報を丸ごと送信する必要は無く、画像分析処理に必要となる部分画像データのみを送信するだけでよいので、通信負荷を軽減させることができるという利点がある。
通信部22は、情報管理装置10との通信(情報の送受信)を司る制御回路等を含む送信部であり受信部である。この通信部22は、上述の第1の実施形態と同様である。なお、情報取得機器20Aにおける通信部22としては、情報管理装置10との直接的な通信を行う機能に代えて、より簡易的な近距離通信手段を備えたものであってもよい。この構成の場合における通信部22は、既存の近距離通信手段を用いて、通信機能を備えたスマートホン等の電子機器を仲介として、情報管理装置10との通信を行うことができる。
操作部23は、各種の操作部材と、これら操作部材に対応するスイッチ等の電子部品等からなる構成部である。
なお、操作部23には、さらにタッチパネル23a等が含まれるものとする。このタッチパネル23aは、表示部25の表示パネルの表示画面上に配置される一般的な形態のものが適用されている。なお、図15においては、特に表示部25に付随する形態で図示している。
撮像部24は、複数の画像データ等の情報を取得する情報取得部である。この撮像部24は、光学系24aと、撮像素子24bと、変倍駆動部24fと、合焦駆動部24dと、絞り部24e等を有して構成されているのが一般的である。なお、撮像部24に含まれる構成部のうち、例えば変倍駆動部24fと、合焦駆動部24dと、絞り部24e等は必須の構成要素ではなく、これらを省略して構成しても、撮像部24は成り立つ。
表示部25は、撮像部24によって取得され画像処理部21dにて処理済みの画像データ等の情報や、その他各種の情報等を表示する表示用デバイスである。表示部25としては、例えば液晶表示ディスプレイ(LCD)や有機EL(エレクトロルミネッセンス)ディスプレイ等が適用される。
記録部26は、撮像部24によって取得され画像処理部21dにて処理済みの画像データ等の情報を記録する制御回路等及び記録媒体等を含む構成部である。
音声入力部であるマイクロホン27aと、音声情報を入力する電気部品と、これを駆動する駆動回路等を含んで構成される構成部である。
音声出力部であるスピーカ27bと、音声情報を出力する電気部品と、これを駆動する駆動回路等を含んで構成される構成部である。スピーカ27bは、制御部21によって制御されて、所定のタイミングで音声情報(例えば警告,メッセージ等の音声情報や音声ガイド等)を出力する。
時計部28は、リアルタイムクロック(Real-Time Clock;RTC)などと呼ばれる内部時計回路である。この時計部28は、例えば出力データに付随させる日時情報を出力したり、制御処理中における所定の指示タイミング間の計時を行う等、時間制御等の際に利用される。
このように構成される情報取得機器20Aの具体的な形態としては、例えば、デジタルカメラ等の撮像装置,撮像機能付きスマートホン,撮像機能付きタブレット端末等が相当する。
一方、情報管理装置10Aは、複数の情報取得機器20Aによって取得された複数の画像データ等の情報を取得する電子機器である。また、当該情報管理装置10Aは、複数の情報取得機器20Aによって取得された複数の画像データ等の情報を受けて、それらの画像データ等の情報が予め設定された特定の条件を満たしているかどうかを判定し、その判定結果に従って、特定の条件を満たす情報を確実に取得することができるよう管理する。この情報管理装置10Aの具体的な形態としては、例えば、スマートホン,タブレット端末等が相当する。
情報管理装置10Aは、制御部11と、通信部12と、表示部13と、記録部14と、時計部15と、操作部16等を有して構成されている。
制御部11は、本実施形態の情報管理システム1の全体を統括的に制御する複数の制御回路等を含む構成部である。この制御部11に含まれる複数の制御回路等としては、特に、表示制御部11bと、通信制御部11gと、画像分析部11fと、データ集計部11h等がある。
表示制御部11bは、当該情報管理装置10Aの表示部13を制御して、所定の表示(画像表示のほか警告表示やガイド表示等)を行わせるための制御回路等を含む構成部である。
通信制御部11gは、通信部12を制御して、当該情報管理装置10Aと複数の情報取得機器20Aとの間の通信を行うための制御回路等を含む構成部である。
画像分析部11fは、複数の情報取得機器20Aから送られてくる複数の画像データ等の情報に関する各種の画像分析処理等を行う回路部である。画像分析部11fによる画像分析処理としては、例えば、複数の情報取得機器20Aによって取得された画像データ等の情報が、特定の条件を満たしているか否か等の判定処理等がある。また、データ集計部11hによる集計結果等に基づいて、特定の条件を満たすようにするための種々の情報(警告情報,ガイド情報等)を作成する処理等も含むものとする。したがって、画像分析部11fは、特定の条件を満たしていない旨の警告情報や、特定の条件を満たす情報を取得するためのガイド情報等を作成するガイド情報作成部としても機能する。
ここで、特定の条件とは、
眼つぶり等や露出不足等による撮影ミスのない画像である、
顔の状態(笑顔であるか、顔が正面を向いているか等)が良好な画像である、
画面内における被写体(人物)の顔領域の専有面積が充分に大きく、かつ顔を識別できる程度に写っている画像である、
等の各条件をいう。これらの条件は、いわゆる「良い画像」であると認定し得るための各種の条件ともいえる。
また、特定の条件としては、グループ旅行等、参加者が多人数である場合に、全ての参加者がまんべんなく写っているかどうか等の条件がある。この条件を満たすかどうかは、、例えば複数の画像データ等の情報についての集計結果に基づいて判定することができる。
データ集計部11hは、複数の情報取得機器20Aから送られてくる複数の画像データ等の情報に基づいて、各種の分類や集計等の処理等を行う回路部である。
なお、本実施形態の情報管理装置10Aは、図15においては図示を省略しているが、上述した各構成要素のほかにも、例えば操作部や表示部等、一般的ないわゆるスマートホン等の情報管理装置が具備している各種の構成要素を有している。図示を省略したこれらの各種構成要素については、本発明に直接関連しない部分であるので、その詳細説明は省略する。
通信部12は、複数の情報取得機器20Aの通信部22との間でデータ通信(情報の送受信)を行う制御回路等を含む送受信部である。つまり、通信部12は、複数の情報取得機器20Aによって取得された画像データ等の情報を取得する情報取得部の一部として機能する。また、通信部12は、複数の情報取得機器20Aに対して、各種の情報(警告情報やガイド情報等)を送信する機能を有する。さらに、情報管理装置10Aの通信部12は、既存の電話回線網を介して電話通信を行ったり、インターネット等を利用するネットワーク通信を行うこともできる。なお、通信部12は、無線通信を用いる構成であってよいし、有線通信を用いる構成であってもよい。
表示部13は、複数の情報取得機器20A等から取得した画像データ等の情報や、その他各種の情報等のほか、各種アプリケーションの選択画面などを表示する表示用デバイスである。表示部13としては、例えば液晶表示ディスプレイ(LCD)や有機EL(エレクトロルミネッセンス)ディスプレイ等が適用される。
なお、図15に示すように、当該情報管理装置10Aにおいては、表示部13の表示面上に、例えばタッチパネル16aが設けられている。このタッチパネル16aは、操作部の一部として機能する操作用構成デバイスである。タッチパネル16a自体は、従来一般的な形態のものと同様のものが適用されているものとし、その詳細説明は省略する。
記録部14は、複数の情報取得機器20Aから送信されてきた画像データ等の情報や、当該情報管理装置10Aにおいて利用される各種のアプリケーションソフトウエア等を記録する制御回路等及び記録媒体等を含む構成部である。つまり、記録部14は、複数の情報取得機器20Aによって取得された画像データ等の情報を取得する情報取得部の一部として機能している。
図15の例示では、記録部14の形態として、各種のアプリケーションソフトウエア等の記録領域であるアプリ領域14aと、画像データ等の情報等の記録領域である画像領域14bとを有する構成を示している。
時計部15は、リアルタイムクロック(Real-Time Clock;RTC)などと呼ばれる内部時計回路である。この時計部15は、例えば出力データに付随させる日時情報を出力したり、制御処理中における所定の指示タイミング間の計時を行う等、時間制御等の際に利用される回路部である。
操作部16は、各種の操作部材と、これら操作部材に対応するスイッチ等の電子部品等からなる構成部である。この操作部16には、上述のタッチパネル16aも含まれるモノとする。
なお、図15においては図示を省略しているが、本実施形態における情報管理装置10A及び情報取得機器20Aのそれぞれは、電源供給源となるバッテリを有している。このバッテリは、これら情報管理装置10A及び情報取得機器20Aのそれぞれを駆動するために必要な電力を発生する。当該バッテリは、制御部11によって制御されることによって、情報管理装置10A及び情報取得機器20Aのそれぞれの各構成部に対して電力供給を行う。
このように構成された本実施形態の情報管理システム1Aの作用を、以下に説明する。図16〜図20は、本発明の第2の実施形態の情報管理システムの作用を説明するフローチャートである。このうち、図16は本実施形態の情報管理システム1Aにおける情報取得機器20Aの作用の流れを示すフローチャートである。図17は本実施形態の情報管理システム1Aにおける情報管理装置10Aの作用の流れを示すフローチャートである。図18は図17のステップS24の集計処理のサブルーチンである。図19は図18のステップS33の顔集計処理のサブルーチンである。図20は図19のステップS44の画像評価処理のサブルーチンである。
まず、本実施形態の情報管理システム1Aにおける情報取得機器20Aの作用を、図16のフローチャートによって説明する。
情報取得機器20Aは、電源状態がオン状態とされて起動している状態にあるものとする。この状態にあるとき、図16のステップS11において、制御部21は、現在の動作モードが撮影モードであるか否かの確認を行う。ここで、撮影モードであることが確認された場合には次のステップS12の処理に進む。また、撮影モードではないことが確認された場合にはステップS18の処理に進む。
ステップS18において、制御部21は、現在の動作モードが再生モードであるか否かの確認を行う。ここで、再生モードであることが確認された場合には次のステップS19の処理に進む。また、再生モードではないことが確認された場合にはステップS20の処理に進む。
ステップS20において、制御部21は、現在の動作モードが送信モードであるか否かの確認を行う。この送信モードとは、使用者(ユーザ)が手動操作にて、画像データ等の情報を、情報管理装置10Aに送信操作するための動作モードである。ここで、送信モードであることが確認された場合には次のステップS21の処理に進む。また、送信モードではないことが確認された場合にはステップS22の処理に進む。
ステップS21において、制御部21は、使用者(ユーザ)による操作部16またはタッチパネル16aからの操作指示を受けて、例えば、未送信分の画像データや位置情報等の情報の送信処理を実行する(詳細後述)。そして、この送信処理が完了したら、ステップS11の処理に戻る。
ステップS22において、制御部21は、現在の動作モードが設定モードであるか否かの確認を行う。この設定モードとは、当該情報取得機器20Aにおける各種の設定を行うための動作モードである。設定モードにおいては、表示部25の表示パネルに、設定項目を並べて表示する形態のメニュー表示等が表示される。使用者(ユーザ)は、このメニュー表示を見ながら操作部16若しくはタッチパネル16aを用いて手動操作にて、所望の操作を行う。
なお、この設定モードにおいて、当該情報取得機器20Aと、通信相手とする情報管理装置10Aとの通信を確立するための設定を行うことになる。その場合の通信設定の具体例については後述する。
このステップS22において、設定モードであることが確認された場合には次のステップS23の処理に進む。また、設定モードではないことが確認された場合には、ステップS11の処理に戻る。
なお、実際には、例えば、上述した以外の動作モードがある場合には、ステップS23の処理にてさらに分岐する処理ステップを設ければよい。本実施形態においては、上述した以外の動作モードは、本発明に直接関連しないので、その具体例は省略し、ステップS23の処理にて「N」の場合は、便宜的に、ステップS11の処理に戻るようにしている。
ステップS23において、制御部21は、所定の設定処理を実行する。この設定処理においては、上述したように、まず、メニュー表示が表示されるので、使用者(ユーザ)は、適宜所望の操作を行って、所望の設定を行う。
ここで、当該情報取得機器20Aと、通信相手とする情報管理装置10Aとの通信を確立するための設定を行う場合には、次のようにする。
まず、情報取得機器20Aと情報管理装置10Aとの双方とも電源オン状態にする。また、情報取得機器20Aは、上述した設定モードに設定しておく。そして、通信相手とする情報管理装置10Aは、当該情報取得機器20Aを含む他の電子機器との間で通信を行うための所定のアプリケーションソフトウエア(詳細は後述するが本実施形態においては例えば通信設定アプリ等と呼称する)を起動する。すると、情報管理装置10Aは、情報取得機器20Aの検知を開始する。やがて、情報管理装置10Aが情報取得機器20Aを検知すると、情報管理装置10Aの表示部13には、「名前」及び「パスワード」の入力画面が表示される。使用者(ユーザ)は、情報管理装置10Aの操作部16,タッチパネル16aを用いて「名前」及び「パスワード」を入力する。
続いて、例えば、情報取得装置20Aの本体に記載されたQRコード(登録商標)を、情報管理装置10Aの撮像機能を用いて読み取ると、自動的に両者間の通信が確立する。
なお、情報取得機器20Aと情報管理装置10Aとの通信確立設定の手順や手段は、上述した例に限られることはなく、他の方法を用いてもよい。電子機器間の通信確立設定の手段は、従来一般に実用化されており、それら従来の手段を適用すればよい。
一方、上述のステップS18の処理にて再生モードが確認されてステップS19の処理に進むと、このステップS19において、制御部21は、所定の再生処理を実行する。そして、この再生処理の一連の処理の終了が確認された場合にはステップS11の処理に戻る。なお、ここで、情報取得機器20Aにおいて実行される再生処理は、本発明に直接関連しない部分であるので、その詳細説明は省略する。
他方、上述のステップS11の処理にて撮影モードが確認されてステップS12の処理に進むと、このステップS12において、制御部21は、撮影モードに対応した各種の動作制御処理(以下、撮影モード処理という)を実行する。例えば、撮像部24を制御して画像信号を取得する。取得した画像信号について、画像処理部21dによって信号処理を施して所定の形態の画像データを生成する。生成した画像データに基く画像を表示部25の表示パネルに表示する。これらの処理を連続的に継続して行うライブビュー表示処理を実行する。このライブビュー表示処理を含む一連の処理を撮影モード処理というものとする。
ステップS13において、制御部21は、上述のライブビュー表示処理等の撮影モード処理を継続実行しながら、並行して、警告情報やガイド情報等の受信を待機する情報受信待機処理を実行する。つまり、この時点においては、撮影モード処理と情報受信待機処理とが並行して継続実行されている。
ここで、受信される情報は、情報管理装置10Aによる画像分析結果,画像分析結果に応じた警告情報又はガイド情報に含まれる情報である。具体的には、例えば、特定の人物が写っている画像が極端に少ないか、若しくは特定の人物の写っている画像が無い等の撮影漏れがあると判定された場合における「特定の人物」、即ち「写っている画像が少ない(又は無い)人物」に関する情報等である。この警告情報又はガイド情報は、情報管理装置10Aから随時送信されてくる情報である。
当該ステップS13の処理にて、警告情報又はガイド情報が受信された場合にはステップS14の処理に進む。
ステップS14において、制御部21は、受信した警告情報又はガイド情報を、表示部25の表示パネルに表示する。この表示は、例えばライブビュー表示に重畳させて行うようにすればよい。
こうして、撮影モード処理と情報受信待機処理とを並行して実行中に、次のステップS15において、制御部21は、所定の撮像操作が行われたか否かの確認を行う。ここで、所定の撮像操作とは、例えばレリーズ操作が相当する。このレリーズ操作が使用者(ユーザ)によって行われると、当該レリーズ操作を受けてレリーズ信号が発生し、所定の撮像動作が開始されることになる。ここで、レリーズ操作が確認された場合には、次のステップS16の処理に進む。また、レリーズ操作が確認されない場合には、ステップS11の処理に戻り、以降の処理を繰り返す。
ステップS16において、制御部21は、所定の撮像動作処理及び記録動作処理を実行する。ここで行われる所定の撮像動作処理及び記録動作処理は、従来一般的な撮像装置によってなされる通常の処理である。したがって、その詳細説明は省略する。
続いて、ステップS17において、制御部21は、取得済みの画像データ等の情報を情報管理装置10Aへと送信する送信処理を実行する。ここで、送信される情報は、例えば所得済みの画像データ等に加えて、当該画像データの取得時(即ち現時点での)位置情報等も含まれる。
また、送信する画像はリサイズや画像切り出しなどによる部分画像化によって通信する時の情報量を減らしてもよい。これによって省エネなどの効果が得られる。例えば、誰が写っているかの判定には顔画像部分だけを送信しても要求を満たすことができる。
この場合において、位置情報は、例えば情報取得機器20AにGPS(Global Positioning System;不図示)等を搭載することで取得する情報である。また、これとは別の構成として、例えば、当該情報取得機器20Aを所持する人物が別に所持しているスマートホン等の位置情報取得手段を有する電子機器から位置情報を取得するようにし、こうして取得した位置情報を、画像データ等と共に、情報管理装置10Aへと送信するようにしてもよい。
なお、画像データ等のほかに位置情報を含むその他の関連情報を送信する際には、それら複数の情報を関連付ける処理を施しておくのが望ましい。このように、画像データと共に送信する一連の情報を関連付けておけば、情報管理装置10Aへと送信された後に、当該情報管理装置10Aにて行われる各種の画像分析処理,画像分析処理の際に至便である。
なお、上述のステップS17の送信処理は、当該情報取得機器20Aと、送信相手となる情報管理装置10Aの置かれている周囲環境によっては、正常に送受信が確立しない場合もあり得る。
そのような場合を考慮して、当該ステップS17の送信処理においては、情報取得機器20Aと情報管理装置10Aとの間の通信が途絶えたり、送受信に時間がかかるような場合には、送信処理を中断して、次の撮影の待機状態となるようにしてもよい。このように、通信処理を一時中断した場合には、通信状況の回復を待機するモードとし、通信状況が回復し次第通信を再開するようにすればよい。また、これとは別に、通信処理を一時中断して未送信データが残っている場合、使用者(ユーザ)が手動操作にて送信モード等に移行させて、手動送信を行うようにしてもよい(ステップS20〜S21の処理)。
そうして、このステップS17の送信処理が完了し、若しくは一時中断されて一連の送信処理を終了した場合には、上述のステップS11の処理に戻り、以降の処理を繰り返す。
次に、本実施形態の情報管理システム1Aにおける情報管理装置10Aの作用を、図17のフローチャートによって説明する。
まず、情報管理装置10Aは、電源状態がオン状態とされて起動している状態にあるものとする。
この状態にあるとき、図17のステップS31において、制御部11は、画像分析集計アプリが起動されたか否かの確認を行う。ここで、画像分析集計アプリが起動されたことが確認された場合には次のステップS32の処理に進む。また、画像分析集計アプリが起動されたことが確認されない場合(例えば他のアプリが起動された場合など)にはステップS37の処理に進む。
なお、ここで、当該情報管理装置10Aが、通信相手とする情報取得機器20Aとの間で通信を確立するための設定が行われていない場合には、使用者(ユーザ)は、上記その他の処理のうちの通信設定アプリを起動することになる。したがって、この場合、上述のステップS31の処理にて「N」へと分岐して、ステップS37の処理にて、通信設定アプリの起動を確認し、当該通信設定アプリに応じた上述の処理を実行する。そして、当該通信設定アプリの終了後、上述のステップS31の処理に戻る。
一方、当該情報管理装置10Aが情報取得機器20Aとの間で既に通信が確立されている状態において、上述のステップS31の処理にて画像分析集計アプリが起動されると、当該情報管理装置10Aは、情報取得機器20Aからの画像データ等の情報を受信する待機状態となる。これと同時に、当該情報管理装置10Aは、複数の情報取得機器20Aによって取得された画像データ等の情報に関する各種の画像分析処理を実行し得る状態になる。そのために、当該情報管理装置10Aの表示部13の表示画面には、画像分析集計アプリのメニュー画面が表示される。
ここで、画像分析集計アプリのメニュー画面表示の具体的な一例を図22に図示する。なお、この図22に図示するメニュー画面は、単なる一表示例であり、この例に限られることはなく、さまざまな形態の表示が考えられる。
図22において、表示部13には、複数の情報取得機器20Aによって取得され当該情報管理装置10Aに送信されて収集された画像50が並べて一覧形式で表示されている。この状態で、表示部13のタッチパネル16aに対し上下方向にスワイプ操作すると、表示されていない他の画像50を出現させることができる。
また、表示部13の一部(図22の例示では画面上寄りの部位)に検索欄51が固定表示されている。この検索欄51内の一部には、プルダウン指示アイコン52が表示されている。このプルダウン指示アイコン52をタッチすると、プルダウンリスト53が表示される。なお、図22は、プルダウンリスト53が表示されている状態を示している。
この状態で、プルダウンリスト53の中から所望の項目をタッチそうさすると、その所望の項目を選択したことになる。そして、その選択項目が検索欄51内に表示される。これと同時に、複数の画像50の中から、選択項目に従って検索処理がなされる。そして、表示部13には、検索結果として、選択項目に応じた画像50が表示される。なお、プリダウンリスト53の中から選択項目を選択する際には、複数選択も可能である。
図17に戻って、ステップS32において、制御部11は、情報取得機器20Aから画像データ等の情報を送信するための画像受信要求信号が検出されたか否かの確認を行う。ここで、画像受信要求とは、情報取得機器20Aが画像データ等の情報の送信処理を実行するとき、実際に情報を送信するのに先だって、通信相手となる情報管理装置10Aに対して送る指示信号である。情報取得機器20Aが送信処理を開始しても、情報管理装置10A側の受信体勢が整っていなければ、データ受信はできないからである。したがって、情報取得機器20Aは、実際の情報送信をする前に画像受信要求信号を発信し、情報取得機器20Aがこれを受信すると共に、情報取得機器20Aが情報管理装置10Aに対して受信体勢にある旨の信号を返信する。これを受けて、情報取得機器20Aは送信処理を開始する。そして、情報管理装置10Aは当該情報を受信する。
こうしてステップS32において、画像受信要求信号が検出された場合には、ステップS33の処理に進む。また、画像受信要求信号が検出されない場合は、情報取得機器20Aからの画像データ等の情報の受信待機状態を維持しつつ、ステップS37の処理に進む。
ステップS37において、制御部11は、その他のアプリの起動待機状態となる。ここで、使用者(ユーザ)によって所定のアプリが起動されると、そのアプリに応じた処理を実行する。例えば、ここで、通信設定アプリが起動されると、当該情報管理装置10Aは、通信相手とする情報取得機器20Aとの間で通信を行うための設定を行う処理を実行する。使用者(ユーザ)は、表示部13の表示に従って所定の設定操作を行うことになる。
上述のステップS32の処理にて、画像受信要求信号が検出されてステップS33の処理に進むと、このステップS33において、制御部11は、所定の画像受信処理を実行する。この画像受信処理は、従来一般的な電子機器間で行われるデータ通信処理と同様の処理であるものとして、その詳細説明は省略する。画像受信処理が終了すると、次のステップS34の処理に進む。
続いて、ステップS34において、制御部11は、所定の集計処理を実行する。この集計処理のサブルーチンを図18に示す。
ここで、集計処理のサブルーチンを図18によって説明する。図18のステップS41において、制御部11は、新たに受信された画像の有無の確認を行う。ここで、新たな受信画像が確認されると、次のステップS42の処理にて、当該受信画像を集計表(後述)の画像管理行に追加する。その後、ステップS43の顔集計処理に進む。この顔集計処理のサブルーチンを図19に示す(詳細後述)。当該顔集計処理が完了したら、ステップS41の処理に戻り、受信画像がなくなるまで同じ処理を繰り返す。当該ステップS41の処理にて、新たな受信画像が無いことが確認されると、元の処理に戻り(リターン)、図17のステップS35の処理に進む。
ここで、顔集計処理のサブルーチンを図19によって説明する。図19のステップS51において、制御部11は、対象とする受信画像内に人間の顔が認識されたか否かの判定を行う。この判定は、通常の顔画像認識技術を用いるいわゆる顔認識処理である。ここで、人物の顔が認識された場合には、次のステップS52の処理に進む。また、人物の顔が認識されない場合には、一連の処理を終了して元の処理に戻り(リターン)、上述のステップS41の処理に進む。そして、以降の処理を繰り返す。
ステップS52において、制御部11は、認識された人物の顔が新規の顔であるか否かの判定を行う。この判定は、予め登録されている人物の顔以外の顔であるかの判定である。また、これ以外にも、今回のイベントで取得された複数の画像データ等の情報の範囲内での分析集計結果に基づいて、新規の顔であるかどうかを判定するようにしてもよい。ここで、新規の顔であると判定された場合には次のステップS53の処理に進む。また、新規の顔ではない(登録済みの顔か若しくは以前に認識済みの顔である)場合にはステップS51の処理に戻り、以降の処理を繰り返す。つまり、同一画像内で他の顔認識処理を行う。そして、同一画像内の全ての顔認識処理を終了したら、一連の処理を終了して元の処理に戻り(リターン)、上述のステップS41の処理に進む。そして、以降の処理を繰り返す。
ステップS53において、制御部11は、新規に認識された顔についての情報を集計表(後述)の情報管理列に追加する。その後、ステップS54の画像評価処理に進む。この画像評価処理を図20に示す(詳細後述)。その後、ステップS51の処理に戻り、以降の処理を繰り返す。
次いで、画像評価処理を図20によって説明する。図20のステップS61において、制御部11は、画像内の顔領域の露出は適正であるか否かの判定を行う。ここで、顔部分は適正露出であると判定されると次のステップS62の処理に進む。また、顔部分は適正露出ではないと判定されるとステップS65の処理に進む。
ステップS62において、制御部11は、画像内の顔領域の大きさは適切か否かの判定を行う。ここで、顔領域の大きさが適切か否かの判定基準としては、例えば顔を識別できる程度に写っているか否か、若しくは画面内における人物の顔領域が充分に大きい(例えば画面全体に対して顔領域が20%以上である等)か否か、又は顔が正面を向いているか否か等の特定の条件を基準とすればよい。
ここで、顔領域の大きさが適切であると判定された場合には、次のステップS63の処理に進む。また、顔領域の大きさが適切ではないと判定された場合には、ステップS65の処理に進む。
ステップS63において、制御部11は、画像内の顔が笑顔であるか否かの判定を行う。ここで、笑顔であるか否かの判定は、例えば、目尻や頬,口角等、顔を構成するパーツに着目して、各パーツの角度や状態を検出したり、口が開き歯が覗けている等、各種の条件を組み合わせて判定することができる。このような笑顔判定技術については、従来一般に実用化されている技術を応用すればよい。
ここで、笑顔であると判定された場合には、次のステップS64の処理に進む。また、笑顔ではないと判定された場合には、ステップS65の処理に進む。
ステップS64において、制御部11は、対象画像における対象とする顔の評価値として、「良好」である旨を表す「○」を付与する。その後、一連の処理を終了して元の処理に戻り(リターン)、図19のステップS51の処理に進む。そして、以降の処理を繰り返す。
一方、上述のステップS61,S62,S63の各処理からステップS65の処理に進んだ場合、このステップS65において、制御部11は、対象画像における対象とする顔の評価値として、「もう一歩」である旨を表す「△」を付与する。その後、一連の処理を終了して元の処理に戻り(リターン)、図19のステップS51の処理に進む。そして、以降の処理を繰り返す。
このようにして得られる集計結果や分析結果は、例えば、図23〜図26に示すような形態で表すことができる。これらの集計結果や分析結果は、情報管理装置10Aにおいて、画像分析集計アプリを起動させることで、表示部13に表示させることができる。
例えば、図23は特定の人物(Aさん,Bさん,Cさん,Dさん…)が写っている画像を分類した集計結果と、各画像の評価値を合わせて示す集計表の例示である。具体的には、例えば人物Aさんが写っている画像は画像番号1,3,4である。このうち、画像番号1は「良好(○)」の評価が付与され、画像番号3,4は「いま一歩(△)」の評価が付与されている。その他の人物についても同様である。
なお、図23の集計表では、人物Dさんは写っている画像が、現時点においては、存在していないことが示されている。写っている画像が存在しないのに、人物Dさんが登録されている理由は次のようなものである。例えば、人物Dさんは、予め情報管理装置10Aに対する操作により直接登録設定が行われた場合、若しくは、人物Dさんは、以前開催されたイベント時に既に登録されており、今回のイベントは、当該以前のイベントと同一のグループで開催されている場合等である。
このように、各画像に写っている人物別に集計して分類し、さらに画像評価値を明示することにより、人物毎の画像数や画像内容を一覧することができるので、写っている画像が少ない人物や、良好画像が少ない人物等を、特定の条件(画像数,良好評価数)を満たしていないものと判定することができる。
図24は、撮影状況(シーン)別に分類した集計結果と画像評価値を合わせて示す集計表の例示である。ここで、撮影状況(シーン)としては、ポートレート,風景,建物,夜景,接写,動画を例示しているが、これのみに限定されるモノではなく、これら以外にも各種のシーン種別は存在する。
このように、取得された複数の画像をシーン別に集計し分類することで、シーンの偏りを一覧することができる。したがって、少ないシーンを特定の条件を満たしていないものと判定することができる。
図25は、動画データを分類及び分析した場合の例示である。つまり、動画データ毎に写っている人物と、各人物毎に写っている秒時を集計し分類した集計結果を示す集計表の例示である。具体的には、例えば、動画番号1は全体で17秒の動画であり、そのうち人物「姉」が10秒、人物「妹」が5秒、「姉」と「妹」が同時に2秒写っているという集計結果が示されている。
この図25の動画データの集計結果については、さらに詳細な分析結果を示すことができる。図26は、図25の動画データの集計結果についてのさらに詳細な分析結果を示す集計表の例示である。
図26の分析結果を表示させるには、例えば、図25の集計表が表示されているときに、当該集計表のうちの動画番号(No.)の欄の複数の数字のうちから所望する数字をタッチ操作する等により実現できる。
図26に示す例では、一本の動画データ中において、特定の人物(「姉」と「妹」)が写っている時間軸状の位置と秒時を視覚的に判りやすく表示している。具体的に言うと、図26において、動画番号1の「開始時点(0秒時点)」から10秒間は人物「姉」が単独で写っている。これに続く5秒間は人物「妹」が単独で写っている。さらに、これに続く2秒間は人物「姉」と人物「妹」の二人が同時に写っていることが示されている。この場合において、撮影対象が当初人物「姉」であったものが、「10秒時点」で人物「姉」から人物「妹」に切り換わり、さらに、「15秒時点」で人物「姉」が画像内に入ってくるという状況が示されている。
図17に戻って、ステップS35において、制御部11は、今回のイベントにおいて複数の画像データ等の情報を取得するのに際して、現時点までに取得された画像データ等の情報は特定の条件を満たしているか否かの確認を行う。ここで、特定の条件(例えば、参加者全員がまんべんなく写っているかどうか、若しくは良好な画像が公平に取得されているかどうか等)をクリアしていると判定された場合には、ステップS31の処理に戻る。また、特定の条件をクリアしていないと判定された場合には、ステップS36の処理に進む。
特定の条件は、複数の情報取得機器20A等が、撮影した画像が、撮影のたびに受信されて、今まで画像が受信されなかったのに、急に単位時間当たりの撮影数が所定の枚数以上になった場合などは、多くの人が、このタイミングでしか撮影が出来ないと考えて画像を撮像したとして、撮ってない人に、その旨を通知すれば、気づかなかった人も撮影に参加でき、皆で楽しめる画像が多く集まることになる。
つまり、特定のタイミングとは、ユーザがあらかじめ決めた条件(ここでは、みんなが一斉に撮影しているなど)を満たすタイミングである。この時間と撮影枚数の関係を統計的に処理して、撮影チャンスの終了を予測してもよい。
ステップS36において、制御部11は、特定の条件をクリアしていない旨を表す情報(警告情報)や、特定の条件を満たすための情報(ガイド情報)を作成し、作成した各情報を、対応する特定の情報取得機器20Aへと送信する。その後、ステップS31の処理に戻る。
ここで、情報管理装置10Aから警告情報やガイド情報を送信する特定の機器としては、例えば、特定の条件を満たすためにクリアしていない(例えば写っている画像が少ない若しくは無い人物が所持する情報取得機器20A等が相当する。これを受けた情報取得機器20Aの所持者は、自分の画像が少ないか若しくは無いことを知ることができる。したがって、自分の所持する情報取得機器20Aや、近くにいる同イベント参加者が所持する情報取得機器20Aによって、自分の画像を撮ってもらうなどのことができる。そうして取得した画像データ等の情報を情報管理装置10Aに送信すれば、特定の条件を満たすことができるようになる。
以上説明したように上記第2の実施形態によれば、複数の情報取得機器20Aは、複数の画像データ等の情報を取得し、取得した画像データ等の情報を一台の情報管理装置10Aへと送信する。これを受けて、当該情報管理装置10Aは、受信した複数の画像データ等の情報に基づいて、各種の分析処理等を行う。そして、特定の条件を満たさない場合には、警告情報やガイド情報を作成し、これらの情報を特定の情報取得機器20Aへと送信するように構成している。そして、これらの送受信は、撮影現場において、ほぼリアルタイムで行われる。
したがって、これにより、例えばグループ旅行等の行事(イベント)の実行中に、その現場において、撮影漏れ(人物の撮り忘れ等)や撮影ミス(人物の眼つぶり等)のチェックを行うことができる。これと同時に、その旨の情報を、その場で取得することができるので、特定の条件をクリアするように、例えば撮影漏れや撮影ミスなどを抑止して、常に確実な撮影結果を残すことが容易にできる。
[変形例]
上述の第2の実施形態においては、複数の情報取得機器20Aによって取得された画像データ等の情報を、一台の情報管理装置10Aに送信し、これを受けた一台の情報管理装置10Aが、取得された複数の画像データ等の情報に基づいて、各種の集計や分析を行うようにした例を示している。
このような構成とする場合、情報管理装置10Aは、複数の画像データ等の情報を保持するためのストレージ装置(データベース)を内部に具備している必要がある。近年、画像データ等の情報は、撮像素子の多画素化等に起因して大容量化している。したがって、複数の画像データ等の情報の全てを保持するストレージ装置(データベース)に必要な記憶容量も大容量のものが要求されるようになっている。
さらに、複数の画像データ等の情報に基づいて各種の分析処理等を行うのに際しては、個々のファイル容量が大きくなるほど、より高性能な演算回路等が要求される。したがって、複数の画像データ等の情報に基づく各種の分析処理等を、据え置き型のコンピュータ等の演算回路を利用できれば至便である。
そこで、上述の各実施形態において、情報管理装置10Aが行う作用のうち、複数の情報取得機器が取得した複数の画像データ等の情報を受信して蓄積するデータベース機能と、これら複数の画像データ等の情報に基いて分析用データ等を作成する演算機能とを、情報管理装置10Aとは別体に設けられる外部機器によって行うようにし、当該外部機器と情報管理装置10Aとを連携させた情報管理システムを構築することもできる。なお、この場合、外部機器は、さらに情報管理装置と複数の情報取得機器とのそれぞれの間で通信を行う通信機能をも有する。
つまり、情報管理装置10Aは、外部機器にて作成された分析用データを受信して、これを用いることにより各種の分析処理を実行する。外部機器で作成される分析用データは、画像データ全体に比べてデータ容量がはるかに小さくて済むので、情報管理装置10Aにおける非力な演算機能によっても、高速な分析処理を行うことができることになる。
このような構成とする場合の作用の一例を、図21のフローチャートに示す。図21は、本発明の第2の実施形態の変形例の情報管理システムの作用を示すフローチャートである。
本変形例の基本的な構成は、上述の各実施形態と略同様である。本変形例においては、複数の情報取得機器によって取得された複数の画像データ等の情報を、外部機器のデータベース装置(ストレージ装置)へと送信し、このデータベースの所定の記録領域に記録蓄積するように構成した点が異なる。
また、本変形例においては、外部機器側に設けられる演算回路を含む制御部(以下、外部機器側制御部という)において、上記データベース装置に蓄積された複数の画像データ等の情報に基づいて、各種の分析処理等をおこなうようにしている点においても異なる。
まず、外部機器が電源オン状態で起動しており、かつ当該外部機器は、常に複数の情報取得機器からの画像データ等の情報の受信待機状態にあるものとする。
この状態にあるとき、図21のステップS71において、外部機器側制御部は、複数の情報取得機器からの画像受信要求があるか否かの確認を行う。ここで、画像受信要求が確認されると、次のステップS72の画像受信処理を実行する。また、画像受信要求が確認されない場合は当該ステップS71の処理を繰り返す。
ステップS72の画像受信処理により、一つの画像データ等の情報の受信が完了すると、次のステップS73の処理に進む。
ステップS73において、外部機器側制御部は、画像受信要求がまだあるか否かの確認を行う。ここで、画像受信要求が確認されると、ステップS72の処理に戻り、画像受信要求が確認されなくなるまで以降の処理を繰り返す。そうして、画像受信要求が確認されなくなると、ステップS74の処理に進む。
ステップS74において、外部機器側制御部は、複数の画像データ等の情報に基づいて、対象登録被写体の検索処理を実行する。この対象登録被写体とは、各種の分析処理の対象とする被写体(人物)であって、既に登録済みの被写体(人物)を、複数の画像データ等の情報から検索する処理である。
次に、ステップS75において、外部機器側制御部は、対象登録被写体を含む画像を選択する処理を実行する。
続いて、ステップS76において、外部機器側制御部は、対象登録被写体の検索対象とする画像がまだあるか否かの確認を行う。ここで、検索対象画像がまだある場合は、ステップS75の処理に戻る。そして、全ての検索対象画像の検索を終えると、次のステップS77の処理に進む。
次に、ステップS77において、外部機器側制御部は、切り出し条件取得処理を行う。ここで、切り出し条件とは、上述のステップS75の処理にて選択された画像(対象登録被写体を含む画像)から、所定の画像領域を切り出す画像処理を行うための設定条件である。当該切り出し条件としては、例えば一画像中に写っている人物の顔領域部分を切り出すための「人物顔」条件や、当該「人物顔」のうちでも主要となる主要顔(例えば2つのみ)を切り出すための「主要顔2つ」条件等のほか、顔領域が適正露出の場合の「適正顔」条件、笑顔のみを切り出す「笑顔条件」等さまざまな設定条件がある。この切り出し条件は、情報管理装置10Aの画像分析アプリ等から予め設定しておく。したがって、これらの切り出し条件は、情報管理装置10Aの記録部等に予め記録されている。外部機器は、情報管理装置10Aにアクセスして、この切り出し条件を取得する。
次に、ステップS78において、外部機器側制御部は、取得した切り出し条件に合致する画像データ等の情報を選択する処理を実行する。
続いて、ステップS80において、外部機器側制御部は、画像切り出し処理を実行する。
次に、ステップS81において、外部機器側制御部は、切り出し画像を記録する記録処理を実行する。
ステップS82において、外部機器側制御部は、切り出し画像を送信するための切り出し画像送信条件を取得する。ここで、切り出し画像送信条件は、情報管理装置側で行われる分析処理に応じた切り出し画像を送信するための設定条件である。
次に、ステップS83において、外部機器側制御部は、切り出し画像送信条件に応じた切り出し画像の送信処理を実行する。
そして、ステップS84において、外部機器側制御部は、送信処理の完了の確認を行って、送信完了を確認したら、一連の処理を終了し、元の処理に戻る。また、送信が完了していない場合には、ステップ83の処理に戻り、送信処理の完了するまで、当該送信処理を繰り返す。
以上説明したように、上記第2の実施形態の変形例によれば、情報管理装置とは別体で、データベース機能と分析用データ作成のための演算機能とを有する外部機器(データベース装置)を設けることで、情報管理装置の負荷を軽減することができる。
なお、上述の変形例とは別に、次のような別の変形例も考えられる。即ち、図21に示す処理シーケンスのうちステップS74〜ステップS84の処理を、情報取得機器20Aの制御部21(画像分析部21b,編集部21e等)において実行するようにしてもよい。
このような構成とすれば、情報取得機器20Aによって取得された複数の画像データは、当該情報取得機器20Aの記録部26に既に記録されているものであるから、大きなファイルサイズのデータ通信を行う必要がなく、分析に必要な分析用データのみを情報管理装置10Aへ送信すればよいので、通信負荷を軽減することができる。
また、分析用データを作成するための演算処理は、例えば既存の顔認識技術を用いた顔領域の切り出し処理等、比較的軽い処理で済む。したがって、これらの軽い演算処理であれば、情報取得機器20Aとしてデジタルカメラやスマートホン等のような小型の電子機器を適用している場合であっても、問題なく実行することが容易にできる。
さらに、分析用データを受けて各種の分析処理を実行する情報管理装置10Aも、通信負荷及び演算処理の負荷を軽減できる。また、取り扱うデータ容量が軽量化しているので、処理の高速化も期待できる。
また、以上の実施例では、特定の状況下で画像またはその一部を送信してチェックを行っているように説明したが、画像そのもの、あるいはその一部ではなく、画
像から得られた判定結果だけを送信してもよい。ただし、判定結果だけでは、証拠性に乏しいので、画像はそれぞれの機器、または、特定の機器に集中させて記録するようにしてもよい。この時には、証拠画像の送受信のタイミングは適宜行ってもよく、一括で行ってもよい。
なお、プログラムで構成した部分を適宜、回路に置き換えることも可能である。上述の一実施形態の説明中において、「部」(セクションやユニット)として記載した部分は、専用の回路や、複数の汎用の回路を組み合わせて構成してもよく、必要に応じて、予めプログラムされたソフトウェアに従って動作を行うマイコン、CPUなどのプロセッサ、あるいはFPGAなどシーケンサを組み合わせて構成されてもよい。また、その制御の一部または全部を外部の装置が引き受けるような設計も可能で、この場合、有線や無線の通信回路が介在する。通信は、ブルートゥース(登録商標)やWiFi、電話回線などで行えばよく、USBなどで行っても良い。専用の回路、汎用の回路や制御部を一体としてASICとして構成してもよい。機械的に位置制御される部位(例えば移動部など)は、様々なアクチュエータと、必要に応じて移動用の連結メカニズムによって構成されており、ドライバ回路によってアクチュエータが作動する。このドライブ回路もまた、特定のプログラムに従ってマイコンやASICなどが制御する。こうした制御は各種センサやその周辺回路が出力する情報によって、詳細な補正、調整などが行われても良い。
また、上述の各実施形態で説明した各処理シーケンスは、その性質に反しない限り、手順の変更を許容し得る。したがって、上述の処理シーケンスに対して、例えば各処理ステップの実行順序を変更したり、複数の処理ステップを同時に実行させたり、一連の処理シーケンスを実行する毎に、各処理ステップの順序が異なるようにしてもよい。即ち、特許請求の範囲,明細書及び図面中の動作フローに関して、便宜上「まず、」、「次に、」等を用いて説明したとしても、この順で実施することが必須であることを意味するものではない。また、これらの動作フローを構成する各ステップにおいては、発明の本質に影響しない部分について適宜省略することもできることは言うまでもない。
また、ここで説明した技術のうち、主にフローチャートで説明した制御や機能は、多くがソフトウエアプログラムにより設定できることが多くあり、そのソフトウエアプログラムをコンピュータが読み取り実行することで上述した制御や機能を実現することができる。そのソフトウエアプログラムは、コンピュータプログラム製品として、予め製品製造過程において上記記憶媒体や記憶部等、具体的には例えばフレキシブルディスク CD−ROM等 不揮発性メモリ等の可搬媒体やハードディスク 揮発性メモリ等の記憶媒体に、その全体あるいは一部を記憶又は記録されている電子データである。また、これとは別に、製品出荷時又は可搬媒体或いは通信回線を介して流通又は提供ができるものである。利用者は、製品出荷後であっても、自ら通信ネットワークやインターネット等を介して、それらのソフトウエアプログラムをダウンロードしてコンピュータにインストールしたり、あるいは記憶媒体からコンピュータにインストールすることで、動作させるようにすることができ、これによって容易に本実施形態の情報管理装置,情報取得機器,情報管理システムを実現することができる。
本発明は上述した実施形態に限定されるものではなく、発明の主旨を逸脱しない範囲内において種々の変形や応用を実施することができることは勿論である。さらに、上記実施形態には、種々の段階の発明が含まれており、開示される複数の構成要件における適宜な組み合わせによって、種々の発明が抽出され得る。例えば、上記一実施形態に示される全構成要件から幾つかの構成要件が削除されても、発明が解決しようとする課題が解決でき、発明の効果が得られる場合には、この構成要件が削除された構成が発明として抽出され得る。さらに、異なる実施形態にわたる構成要素を適宜組み合わせてもよい。この発明は、添付のクレームによって限定される以外にはそれの特定の実施態様によって制約されない。
[付記]
1. 複数の情報取得機器が取得した複数の情報を取得する情報取得部と、上記情報取得部が取得した上記複数の情報が特定の条件を満たしているか否かを判定する判定部と、上記判定部の判定結果に従って上記特定の条件を満たす情報をさらに取得するためのガイド情報を作成するガイド情報作成部とを具備する情報管理装置と、
情報を取得する情報取得部と、上記情報取得部により取得された上記情報を送信する通信部とを具備する複数の情報取得機器と、
を備えた情報管理システム。
2. 上記判定部は、上記複数の情報取得機器により取得された複数の情報に基づいて情報分析処理を行うことで上記判定結果を出力する付記1に記載の情報管理システム。
3. 上記複数の情報取得機器により取得された複数の情報を蓄積するデータベースと、上記データベースに蓄積された複数の情報に基づいて情報分析処理を行う演算部と、上記複数の情報取得機器と上記情報管理装置とのそれぞれの間で通信を行う通信部とを具備する外部機器を、
さらに有する付記1に記載の情報管理システム。
4. 情報取得機器は、
複数の画像データ情報を取得し、
取得した上記複数の画像データを送信し、
情報管理装置は、
複数の画像データを受信し、
受信した上記複数の画像データが特定の条件を満たしているか否かを判定し、
上記判定結果に従って上記特定の条件を満たす情報をさらに取得するためのガイド情報を作成し、
上記ガイド情報を送信する情報管理方法。
1,1A……情報管理システム
10,10A……情報管理装置
11……制御部
11a……作業判定部
11b……表示制御部
11c……ガイド部
11d……対象物判定部
11e……大きさ判定部
11f……画像判定部,画像分析部
11g……通信制御部
11h……データ集計部
12……通信部
13……表示部
14……エビデンス記録部
14……記録部
14a……アプリ領域
14b……画像領域
15……時計部
16……操作部
16a……タッチパネル
20……ウェアラブル端末装置
20A……情報取得機器
21……制御部
21a……通信制御部
21b……画像判定部,画像分析部
21c……表示制御部
21d……画像処理部
21e……編集部
22……通信部
23……操作部
23a……タッチパネル
24……撮像部
24a……撮像光学系
24b……撮像素子
24d……合焦駆動部
24e……絞り部
24f……変倍駆動部
25……表示部
25a……導光部
25b……表示パネル
26……記録部
27a……音声入力部,マイクロホン
27b……音声出力部,スピーカ
28……時計部
29……支持部
30……補助カメラ
31……制御部
31b……画像判定部
32……通信部
33……時計部
34……撮像部
35……記録部
36……表示部
40……データベース
41a……作業情報データベース
41b……画像データベース

Claims (7)

  1. 複数の情報取得機器が取得した複数の情報を取得する情報取得部と、
    上記情報取得部が取得した上記複数の情報が特定の条件を満たしているか否かを判定する判定部と、
    上記判定部の判定結果に従って上記特定の条件を満たす情報をさらに取得するためのガイド情報を作成するガイド情報作成部と、
    を具備することを特徴とする情報管理装置。
  2. 複数の撮像装置がそれぞれ撮像した画像情報を無線通信で取得する情報取得部と、
    上記情報取得部が取得した上記複数の画像情報が、特定の条件を満たしているかによってガイド情報を出すタイミングを判定する判定部と、
    を具備することを特徴とする情報管理装置。
  3. 上記ガイド情報を出す特定のタイミングとは、
    上記複数の撮像装置での単位時間当たりの撮影数で決まることを特徴とする請求項2に記載の情報管理装置。
  4. 上記ガイド情報を出す特定のタイミングとは、
    上記複数の撮像装置によって取得された上記複数の画像の比較によって決まることを特徴とする請求項2に記載の情報管理装置。
  5. 上記画像情報は、上記撮像装置によって取得された上記画像の特定部分の切り出し画像であることを特徴とする請求項2に記載の情報管理装置。
  6. 複数の撮像装置がそれぞれ撮像した画像情報を無線通信で取得する情報取得部と、上記情報取得部が取得した上記複数の画像情報が特定の条件を満たしているかによってガイド情報を出すタイミングを判定する判定部とを備えた情報管理装置と、
    複数の画像情報を取得する撮像部と、上記撮像部により取得された上記画像情報を送信する通信部とを備えた複数の撮像装置と、
    を具備することを特徴とする情報管理システム。
  7. 撮像装置は、
    複数の画像情報を取得し、
    取得した上記複数の画像情報を送信し、
    情報管理装置は、
    上記複数の画像情報を受信し、
    受信した上記複数の画像情報が特定の条件を満たしているかによってガイド情報を出すタイミングを判定することを特徴とする情報管理方法。
JP2018127779A 2018-07-04 2018-07-04 情報管理装置,情報管理システム,情報管理方法 Pending JP2020009020A (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2018127779A JP2020009020A (ja) 2018-07-04 2018-07-04 情報管理装置,情報管理システム,情報管理方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2018127779A JP2020009020A (ja) 2018-07-04 2018-07-04 情報管理装置,情報管理システム,情報管理方法

Publications (1)

Publication Number Publication Date
JP2020009020A true JP2020009020A (ja) 2020-01-16

Family

ID=69151604

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2018127779A Pending JP2020009020A (ja) 2018-07-04 2018-07-04 情報管理装置,情報管理システム,情報管理方法

Country Status (1)

Country Link
JP (1) JP2020009020A (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7034347B1 (ja) 2020-12-11 2022-03-11 クーパン コーポレイション 電子装置およびその情報提供方法

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7034347B1 (ja) 2020-12-11 2022-03-11 クーパン コーポレイション 電子装置およびその情報提供方法
JP2022093221A (ja) * 2020-12-11 2022-06-23 クーパン コーポレイション 電子装置およびその情報提供方法

Similar Documents

Publication Publication Date Title
JP5423716B2 (ja) ヘッドマウントディスプレイ
US7333718B2 (en) Work data collection method
JP2019079144A (ja) 作業支援システム,撮像装置,ウェアラブル装置,作業支援方法
KR20160000741A (ko) 글래스 타입 단말기 및 이의 제어방법
JP2008003781A (ja) 作業監視システム
JP6105180B1 (ja) 作業支援装置、作業支援方法及びプログラム
WO2013126532A1 (en) Wireless intra-oral imaging system and method
JP2019036132A (ja) 作業支援システム,ウェアラブル装置,撮像装置,作業支援方法
CN108243302A (zh) 传感器信息取得装置、传感器信息取得方法及记录介质
JP2020009020A (ja) 情報管理装置,情報管理システム,情報管理方法
JP2008269411A (ja) 画像キーワード編集システム、画像キーワード提供サーバおよび画像キーワード編集装置
US20190281183A1 (en) Image file creation apparatus, image file creation method, recording medium storing image file creation program, and content creation system
JP4095537B2 (ja) 体験表示装置、体験表示方法及び体験表示プログラム
JP6982656B2 (ja) 眼で操作するアイポインティングシステム
JP2019047234A (ja) 情報処理装置、情報処理方法、およびプログラム
JP2001352507A (ja) 作業データ収集方法
JP7094759B2 (ja) システム、情報処理方法及びプログラム
JP5967422B2 (ja) 撮像装置及び撮像処理方法並びにプログラム
JP6700849B2 (ja) 測定システム
JP6874082B2 (ja) 装置、装置の制御方法、システム、及びプログラム
WO2023119526A1 (ja) ウェアラブルデバイスおよび行動評価システム
JP7278010B1 (ja) 複数の作業者が連携して業務を行うことを支援する方法、プログラム及び業務支援装置
JP4027267B2 (ja) 体験表示装置、体験表示方法及び体験表示プログラム
JP7333971B2 (ja) 機能実行システム
WO2022196093A1 (ja) 情報処理装置、視線検出方法、プログラム

Legal Events

Date Code Title Description
A711 Notification of change in applicant

Free format text: JAPANESE INTERMEDIATE CODE: A711

Effective date: 20210205