JP2023024160A - プログラム、方法、情報処理装置、およびシステム - Google Patents

プログラム、方法、情報処理装置、およびシステム Download PDF

Info

Publication number
JP2023024160A
JP2023024160A JP2021130282A JP2021130282A JP2023024160A JP 2023024160 A JP2023024160 A JP 2023024160A JP 2021130282 A JP2021130282 A JP 2021130282A JP 2021130282 A JP2021130282 A JP 2021130282A JP 2023024160 A JP2023024160 A JP 2023024160A
Authority
JP
Japan
Prior art keywords
image data
information
target
party
identify
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2021130282A
Other languages
English (en)
Inventor
俊二 菅谷
Shunji Sugaya
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Optim Corp
Original Assignee
Optim Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Optim Corp filed Critical Optim Corp
Priority to JP2021130282A priority Critical patent/JP2023024160A/ja
Priority to JP2022062248A priority patent/JP2023024263A/ja
Publication of JP2023024160A publication Critical patent/JP2023024160A/ja
Pending legal-status Critical Current

Links

Images

Landscapes

  • Closed-Circuit Television Systems (AREA)
  • Alarm Systems (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

【課題】本開示の目的は、プライバシー情報に配慮しつつ、監視カメラ等のカメラで撮影された画像の活用の幅を広げる。【解決手段】 プロセッサとメモリとを備えるコンピュータに実行させるためのプログラムであって、プログラムはプロセッサに、撮影装置が撮影した画像データを取得するステップと、画像データに基づいて、画像データに含まれる対象を推定するステップと、推定した対象を、第三者が特定可能な情報を取得するステップと、対象の特定が不可能であり、対象の動作の特定が不可能である程度に画像データを加工するステップと、加工された画像データと、第三者が対象を特定可能な情報と、を併せて提示するステップと、を実行させる、プログラム。【選択図】図1

Description

本開示は、プログラム、方法、情報処理装置、およびシステムに関する。
近年、監視カメラの小型化、および低価格化が進み、設置されるエリアが増加している。また、端末装置に内蔵されたカメラを利用して対象エリアを監視することが可能である。
このようなカメラで撮影された画像は、一般に公開されることがあり得る。この場合、特許文献1のように、画像に写り込んだ人を特定できないように、画像を加工することがある。
特開2018-137560号
カメラで撮影された画像では、プライバシー情報に配慮する必要があるが、プライバシー情報に配慮しすぎると活用の幅が制限されるおそれがある。
本開示の目的は、プライバシー情報に配慮しつつ、監視カメラ等のカメラで撮影された画像の活用の幅を広げることである。
プロセッサとメモリとを備えるコンピュータに実行させるためのプログラムであって、プログラムはプロセッサに、撮影装置が撮影した画像データを取得するステップと、画像データに基づいて、画像データに含まれる対象を推定するステップと、推定した対象を、第三者が特定可能な情報を取得するステップと、対象の特定が不可能であり、対象の動作の特定が不可能である程度に画像データを加工するステップと、加工された画像データと、第三者が対象を特定可能な情報と、を併せて提示するステップと、を実行させる、プログラム。
本開示によれば、対象のプライバシーに配慮しつつ、監視カメラ等のカメラで撮影された画像の活用の幅を広げることができる。
システムの全体の構成を示す図である。 端末装置のブロック図である。 サーバの機能的な構成を示す図である。 データベースのデータ構造を示す図である。 データベースのデータ構造を示す図である。 データベースのデータ構造を示す図である。 データベースのデータ構造を示す図である。 データベースのデータ構造を示す図である。 本実施形態に係るシステムを利用した際の構成を表す図である。 システムにおける処理流れの一例を示すフローチャートである。 本実施形態に係る画像データの一例を示す図である。 本実施形態に係る加工画像データ及び提示画像データの一例を示す図である。 本実施形態に係る加工画像データ及び提示画像データの一例を示す図である。 モニター装置32で表示される画面の別の一例を表す模式図である。
以下、図面を参照しつつ、本開示の実施形態について説明する。以下の説明では、同一の部品には同一の符号を付してある。それらの名称および機能も同じである。したがって、それらについての詳細な説明は繰り返さない。
<概略>
本実施形態に係るシステム1は、撮影装置31によって撮影された画像データを取得する。システム1は、サーバ20によって、画像データのうち対象が含まれる所定の領域を、対象の特定が不可能であり、対象の動作の特定が不可能である程度に加工する。本実施形態において、対象は、例えば、人を表す。システム1は、例えば、モニター装置で加工した画像を表示する際、第三者が対象を特定可能な情報を画像に付加する。これによって、システム1は、対象のプライバシーに配慮しつつ、対象を監視または管理することが可能となる。
<1 システム全体の構成図>
図1は、システム1の全体構成の例を示すブロック図である。図1に示すシステム1は、例えば、端末装置10、サーバ20、エッジサーバ30、撮影装置31、およびモニター装置32を含む。端末装置10、サーバ20、エッジサーバ30、およびモニター装置32は、例えば、ネットワーク80を介して通信接続する。
図1において、システム1が端末装置10を2台含む例を示しているが、システム1に含まれる端末装置10の数は、2台に限定されない。端末装置10は、サーバ20に登録された対象等が所持する端末である。システム1に含まれる端末装置10は、3台未満であってもよいし、3台以上であってもよい。
本実施形態において、複数の装置の集合体を1つのサーバとしてもよい。1つまたは複数のハードウェアに対して本実施形態に係るサーバ20を実現することに要する複数の機能の配分の仕方は、各ハードウェアの処理能力および/またはサーバ20に求められる仕様等に鑑みて適宜決定することができる。
図1に示す端末装置10は、例えば、ユーザが使用する情報処理装置である。端末装置10は、据え置き型のPC(Personal Computer)、ラップトップPCでもよいし、スマートフォン、タブレット等の携帯端末であってもよい。また、HMD(Head Mount Display)、腕時計型端末等のウェアラブル端末であってもよい。ユーザは、例えば、PCまたは携帯端末を所持するか、ウェアラブル端末を装着している。
端末装置10は、通信IF(Interface)12と、入力装置13と、出力装置14と、メモリ15と、ストレージ16と、プロセッサ19とを備える。
通信IF12は、端末装置10が、例えば、サーバ20等のシステム1内の装置と通信するため、信号を入出力するためのインタフェースである。
入力装置13は、ユーザからの入力操作を受け付けるための装置(例えば、マウス等のポインティングデバイス、キーボード、タッチパネル、タッチパッド等)である。
出力装置14は、ユーザに対して情報を提示するための装置(ディスプレイ、スピーカー等)である。
メモリ15は、プログラム、およびプログラム等で処理されるデータ等一時的に記憶するためのものであり、例えばDRAM(Dynamic Random Access Memory)等の揮発性のメモリである。
ストレージ16は、データを保存するためのものであり、例えばフラッシュメモリ、HDD(Hard Disc Drive)である。
プロセッサ19は、プログラムに記述された命令セットを実行するためのハードウェアであり、演算装置、レジスタ、周辺回路等により構成される。
サーバ20は、例えば、撮影装置31または端末装置10から取得した情報を管理する。サーバ20は、撮影装置から取得した情報を管理することで、登録された対象に関する情報、対象の所在に関する情報、対象の業務に関する情報を管理する。本実施形態において、所在に関する情報は、例えば、対象の所在が確認されたエリアについての情報を表す。所在に関する情報は、例えば、対象が存在したエリアの履歴と換言してもよい。具体的には、所在に関する情報は、例えば、対象の勤務エリアや滞在エリアを含む。所在に関する情報は、例えば、所在情報DB2022bに記憶される。対象の所在に関する情報の管理には、例えば、所定のエリアまたは所定のエリアの設備の活用状況等を確認すること等が含まれてもよい。
本実施形態において、業務に関する情報は、例えば、対象が従事していた業務の内容等に関する情報を表す。業務に関する情報は、例えば、対象が従事していた業務の履歴と換言してもよい。業務に関する情報は、例えば、業務情報DB2022cに記憶される。対象の業務に関する情報の管理には、例えば、対象の業務内容に問題があるか否か確認すること等が含まれてもよい。
サーバ20は、例えば、ネットワーク80に接続されたコンピュータにより実現される。図1に示すように、サーバ20は、通信IF22と、入出力IF23と、メモリ25と、ストレージ26と、プロセッサ29とを備える。
通信IF22は、サーバ20が、例えば、端末装置10等のシステム1内の装置と通信するため、信号を入出力するためのインタフェースである。
入出力IF23は、ユーザからの入力操作を受け付けるための入力装置、および、ユーザに対して情報を提示するための出力装置とのインタフェースとして機能する。
メモリ25は、プログラム、および、プログラム等で処理されるデータ等を一時的に記憶するためのものであり、例えばDRAM等の揮発性のメモリである。
ストレージ26は、データを保存するためのものであり、例えばフラッシュメモリ、HDDである。
プロセッサ29は、プログラムに記述された命令セットを実行するためのハードウェアであり、演算装置、レジスタ、周辺回路等により構成される。
エッジサーバ30は、撮影装置31から送信される情報を受信し、受信した情報を、サーバ20に送信する。また、エッジサーバ30は、サーバ20から取得した情報を撮影装置31へ送信する。サーバ20から取得する情報には、例えば、撮影装置31の設定を更新するための情報等が含まれる。
撮影装置31は、受光素子により光を受光し、画像データとして出力するためのデバイスである。撮影装置31は、例えば、全周360度の広範囲映像を撮影可能なカメラである。撮影装置31は、例えば、超広角レンズ、または魚眼レンズ付きカメラ等により実現される。
撮影装置31は、例えば、建物等の室内に設置された監視カメラであって、監視対象エリアを撮影する。具体的には、例えば、撮影装置31は、オフィス、シェアオフィス、スポーツジム、病院、リハビリ施設、介護施設、教育施設、または託児施設等の天井に設置されている。例えば、監視対象エリアは、上述した施設の一室、又は一室のうちの所定の領域である。撮影装置31は、1台で監視対象エリアの全体の様子を捉えきれない場合には、複数台設置される。撮影装置31が複数台設置される場合、例えば、1台の撮影装置31で撮影される区画が予め設定されている。撮影装置31は、取得した撮影信号をエッジサーバ30へ出力する。
また、撮影装置31は、他の装置に取り付けられたカメラであってもよい。具体的に、例えば、撮影装置31は、端末装置10に含まれるカメラ161であってもよい。撮影装置31は、他の装置として、建物等の室内に設置された空調装置に含まれるカメラ、ドローンに取り付けられたカメラ等であってもよい。なお、監視対象エリアは屋外であってもよいし、撮影装置31の動きに合わせて監視対象エリアが変化してもよい。
モニター装置32は、ユーザに対して情報を提示するための装置であって、ディスプレイ、スピーカー等を備える。例えば、モニター装置32は、撮影装置31が設置された建物等の室内に設置される。
<1.1 端末装置の構成>
図2は、図1に示す端末装置10の構成例を表すブロック図である。図2に示す端末装置10は、例えば、PC、携帯端末、またはウェアラブル端末により実現される。図2に示すように、端末装置10は、通信部120と、入力装置13と、出力装置14と、音声処理部17と、マイク171と、スピーカー172と、カメラ161と、位置情報センサ150と、記憶部180と、制御部190とを備える。端末装置10に含まれる各ブロックは、例えば、バス等により電気的に接続される。
通信部120は、端末装置10が他の装置と通信するための変復調処理等の処理を行う。通信部120は、制御部190で生成された信号に送信処理を施し、外部(例えば、サーバ20)へ送信する。通信部120は、外部から受信した信号に受信処理を施し、制御部190へ出力する。
入力装置13は、端末装置10を操作するユーザが指示、または情報を入力するための装置である。入力装置13は、例えば、キーボード、マウス、リーダー等により実現されてもよい。端末装置10が携帯端末等である場合には、操作面へ触れることで指示が入力されるタッチ・センシティブ・デバイス131等により実現される。入力装置13は、ユーザから入力される指示を電気信号へ変換し、電気信号を制御部190へ出力する。なお、入力装置13には、例えば、外部の入力機器から入力される電気信号を受け付ける受信ポートが含まれてもよい。
出力装置14は、端末装置10を操作するユーザへ情報を提示するための装置である。出力装置14は、例えば、ディスプレイ141等により実現される。ディスプレイ141は、制御部190の制御に応じたデータを表示する。ディスプレイ141は、例えば、LCD(Liquid Crystal Display)、または有機EL(Electro-Luminescence)ディスプレイ等によって実現される。
音声処理部17は、例えば、音声信号のデジタル-アナログ変換処理を行う。音声処理部17は、マイク171から与えられる信号をデジタル信号に変換して、変換後の信号を制御部190へ与える。また、音声処理部17は、音声信号をスピーカー172へ与える。音声処理部17は、例えば音声処理用のプロセッサによって実現される。マイク171は、音声入力を受け付けて、当該音声入力に対応する音声信号を音声処理部17へ与える。スピーカー172は、音声処理部17から与えられる音声信号を音声に変換して当該音声を端末装置10の外部へ出力する。
カメラ161は、受光素子により光を受光し、撮影信号として出力するためのデバイスである。カメラ161は、撮影装置31として使用されてもよい。
位置情報センサ150は、端末装置10の位置を検出するセンサであり、例えばGPS(Global Positioning System)モジュールである。GPSモジュールは、衛星測位システムで用いられる受信装置である。衛星測位システムでは、少なくとも3個または4個の衛星からの信号を受信し、受信した信号に基づいて、GPSモジュールが搭載される端末装置10の現在位置を検出する。位置情報センサ150は、端末装置10が接続する無線基地局の位置から、端末装置10の現在の位置を検出してもよい。
記憶部180は、例えば、メモリ15、およびストレージ16等により実現され、端末装置10が使用するデータ、およびプログラムを記憶する。記憶部180は、例えば、ユーザ情報181を記憶する。
ユーザ情報181は、例えば、端末装置10を使用するユーザについての情報を含む。ユーザについての情報には、例えば、ユーザを識別する情報としてユーザの氏名、年齢、住所、生年月日、電話番号、emailアドレス等が含まれる。また、ユーザについての情報には、例えば、ユーザを認証するための情報としてパスワード、顔認証や指紋認証等の生体認証情報等が含まれる。
制御部190は、プロセッサ19が記憶部180に記憶されるプログラムを読み込み、プログラムに含まれる命令を実行することにより実現される。制御部190は、端末装置10の動作を制御する。制御部190は、プログラムに従って動作することにより、操作受付部191と、送受信部192と、提示制御部193としての機能を発揮する。
操作受付部191は、入力装置13から入力される指示、または情報を受け付けるための処理を行う。具体的には、例えば、操作受付部191は、キーボード、マウス等から入力される指示に基づく情報を受け付ける。キーボード、マウス等を介して入力される指示は、例えば、以下である。
・ユーザの業務内容の入力
・端末装置10により提示される情報に対する応答の入力
また、操作受付部191は、マイク171から入力される音声指示を受け付ける。具体的には、例えば、操作受付部191は、マイク171から入力され、音声処理部17でデジタル信号に変換された音声信号を受信する。操作受付部191は、例えば、受信した音声信号を分析して所定の名詞を抽出することで、ユーザからの指示を取得する。
送受信部192は、端末装置10が、サーバ20等の外部の装置と、通信プロトコルに従ってデータを送受信するための処理を行う。具体的には、例えば、送受信部192は、ユーザから入力された業務内容をサーバ20へ送信する。また、送受信部192は、ユーザに関する情報を、サーバ20から受信する。
提示制御部193は、サーバ20から提供された情報をユーザに対して提示するため、出力装置14を制御する。具体的には、例えば、提示制御部193は、サーバ20から送信される情報をディスプレイ141に表示させる。また、提示制御部193は、サーバ20から送信される情報をスピーカー172から出力させる。
<1.2 サーバの機能的な構成>
図3は、サーバ20の機能的な構成の例を示す図である。図3に示すように、サーバ20は、通信部201と、記憶部202と、制御部203としての機能を発揮する。
通信部201は、サーバ20が外部の装置と通信するための処理を行う。
記憶部202は、例えば、カメラ情報データベース(DB)2021と、第1情報DB2022と、画像データ情報DB2023と、学習済みモデル2024等とを有する。
カメラ情報DB2021は、撮影装置に関する情報を保持するためのデータベースである。詳細は後述する。
第1情報DB2022は、例えば、あらかじめシステム1の管理者等によって登録された対象を特定するための情報と、画像データに基づいて取得する対象の所在または業務に関する情報等を保持するためのデータベースである。対象を特定するための情報は、例えば、対象の氏名等の第三者が対象を特定可能な情報を含む。第1情報DB2022は、対象情報DB2022a、所在情報DB2022b、および業務情報DB2022cを含む。
対象情報DB2022aは、対象に関する情報を保持するためのデータベースである。対象に関する情報は、対象を特定するための情報等を含む。詳細は後述する。
所在情報DB2022bは、対象の所在に関する情報を保持するためのデータベースである。詳細は後述する。
業務情報DB2022cは、対象の業務に関する情報を保持する。詳細は後述する。
画像データ情報DB2023は、画像データに関する情報を保持するためのデータベースである。詳細は後述する。
学習済みモデル2024は、モデル学習プログラムに従い、機械学習モデルに機械学習を行わせることで生成されるモデルである。学習済みモデル2024は、例えば、入力されるデータに基づき、所定の推論を実施する、複数の関数が合成されたパラメータ付き合成関数である。パラメータ付き合成関数は、複数の調整可能な関数およびパラメータの組合せにより定義される。本実施形態に係る学習済みモデルは、上記の要請を満たす如何なるパラメータ付き合成関数であってもよい。
例えば、学習済みモデル2024が順伝播型の多層化ネットワークを用いて生成される場合、パラメータ付き合成関数は、例えば、重み行列を用いた各層間の線形関係、各層における活性化関数を用いた非線形関係(または線形関係)、およびバイアスの組み合わせとして定義される。重み付行列、およびバイアスは、多層化ネットワークのパラメータと呼ばれる。パラメータ付き合成関数は、パラメータをどのように選ぶかで、関数としての形を変える。多層化ネットワークでは、構成するパラメータを適切に設定することで、出力層から好ましい結果を出力することが可能な関数を定義することができる。
本実施形態に係る多層化ネットワークとしては、例えば、深層学習(Deep Learning)の対象となる多層ニューラルネットワークである深層ニューラルネットワーク(Deep Neural Network:DNN)が用いられ得る。DNNとしては、例えば、画像を対象とする畳み込みニューラルネットワーク(Convolution Neural Network:CNN)を用いてもよい。
学習済みモデル2024は、画像データが入力されると、入力された画像データに基づき、所定の情報を出力するように学習されたモデルである。学習済みモデル2024は、例えば、出力する情報に応じ、それぞれ別々の学習用データによりトレーニングされた別々の学習済みモデルである。
例えば、学習済みモデル2024は、画像データが入力されると、対象を含む所定の領域の画像を抽出するように学習される。具体的には、本実施形態では、学習済みモデル2024は、例えば、人物を含む画像を入力データとし、当該画像内の人物の位置を正解出力データとして学習されている。つまり、対象としての人物を含む画像が入力されると、その内容が含まれる画像内の位置を特定し、対象を含む所定の領域の画像を抽出画像データとして出力するように学習されている。なお、学習済みモデル2024は、対象として人物以外の対象を含む所定の領域を正解出力データとして学習されてもよい。
また、例えば、学習済みモデル2024は、抽出画像データが入力されると、対象を推定した情報を出力するように学習される。具体的には、本実施形態では、学習済みモデル2024は、例えば、対象を特定可能な画像を入力データとし、当該画像から特定される対象を指定する情報を正解出力データとして学習されている。
制御部203は、プロセッサ29が記憶部202に記憶されるプログラムを読み込み、プログラムに含まれる命令を実行することにより実現される。制御部203は、プログラムに従って動作することにより、受信制御モジュール2031、送信制御モジュール2032、画像データ取得モジュール2033、対象抽出モジュール2034、対象推定モジュール2035、第1情報取得モジュール2036、画像データ加工モジュール2037、提示画像作成モジュール2038、および、提示モジュール2039として示す機能を発揮する。
受信制御モジュール2031は、サーバ20が外部の装置から通信プロトコルに従って信号を受信する処理を制御する。
送信制御モジュール2032は、サーバ20が外部の装置に対し通信プロトコルに従って信号を送信する処理を制御する。
画像データ取得モジュール2033は、撮影装置31または端末装置10で撮影された撮影信号に基づく画像を、直接またはエッジサーバ30を介して取得する。例えば、画像データ取得モジュール2033は、複数の撮影装置31で撮影された撮影信号に基づく画像を結合した結合画像を画像データとして取得してもよい。
対象抽出モジュール2034は、画像データ取得モジュール2033が取得した画像データを解析し、対象を含む所定の領域の画像を抽出画像データとして出力する。抽出画像データは、例えば、画像データにおける領域の位置を表すデータであり、例えば、ピクセルの位置情報等により表される。対象を含む所定の領域は、あらかじめシステム1の管理者によって設定されてもよい。対象を含む所定の領域は、適宜変更してもよい。具体的には、例えば、対象抽出モジュール2034は、画像データを学習済みモデル2024に入力する。学習済みモデル2024は、入力された画像データに応じ、抽出画像データを出力する。対象抽出モジュール2034は、学習済みモデル2024が出力した抽出画像データを、対象推定モジュール2035へ出力する。
対象推定モジュール2035は、対象抽出モジュール2034が出力した抽出画像データを解析し、対象を特定する情報を出力する。具体的には、例えば、対象推定モジュール2035は、対象抽出モジュール2034が出力した抽出画像データを取得する。対象推定モジュール2035は、抽出画像データを学習済みモデル2024に入力する。学習済みモデル2024は、入力された抽出画像データに応じ、対象を推定する。このとき、対象推定モジュール2035は、学習済みモデル2024が対象を推定できない場合、該当する対象がいない旨の出力をする。対象推定モジュール2035は、学習済みモデル2024が推定した対象を特定する情報を第1情報取得モジュール2036へ出力する。
第1情報取得モジュール2036は、対象推定モジュール2035が出力した対象を特定する情報を取得し、取得した情報に基づき、対象についての種々の情報である第1情報を取得する。具体的には、例えば、第1情報取得モジュール2036は、対象推定モジュール2035が出力した対象を特定する情報を取得する。第1情報取得モジュール2036は、対象を特定する情報に基づいて、記憶部202に記憶されている対象に関する情報(例えば、氏名)を第1情報として取得する。第1情報取得モジュール2036は、所在に関する情報、又は業務に関する情報を、対象に関する情報とともに第1情報として取得してもよい。第1情報取得モジュール2036は、推定した対象について、対象に関する情報、所在に関する情報、業務に関する情報が記憶されていない場合、第1情報を取得しなくてもよい。第1情報取得モジュール2036は、対象について取得した第1情報を提示画像作成モジュール2038へ出力する。
第1情報取得モジュール2036は、対象の所在に関する情報に基づいて、例えば、以下に示す、所定エリアの利用に関する情報を第1情報として取得してもよい。時間、及び回数は、1日分の累積であっても、所定の期間中の累積であってもよい。
・対象が所定のエリアに滞在した時間
・対象が所定のエリアを利用した回数又は対象が所定のエリアに滞在した回数
・利用頻度
・利用者ランキング
・エリア遷移の履歴
第1情報取得モジュール2036は、対象の業務に関する情報に基づいて、例えば、以下に示す、実行している業務に関する情報を第1情報として取得してもよい。時間、及び回数は、1日分の累積であっても、所定の期間中の累積であってもよい。
・対象が所定の業務を行った時間
・対象が所定の業務を行った回数
・業務遷移の履歴
画像データ加工モジュール2037は、加工画像データを作成して出力する。具体的には、例えば、画像データ加工モジュール2037は、画像データ取得モジュール2033が出力した画像データと、対象抽出モジュール2034が出力した抽出画像データとを取得する。画像データ加工モジュール2037は、抽出画像データにより表される領域に係る画像を、対象の特定が不可能であり、対象の動作の特定が不可能である程度に加工する。画像データ加工モジュール2037は、当該加工された画像を画像データに合成することによって、加工画像データを作成する。加工画像データは、存在を把握することは可能であるが、特定することが不可能な対象が、動きは把握することは可能であるが、動作を特定することが不可能に表示される画像データと換言可能である。画像データ加工モジュール2037は、作成した加工画像データを提示画像作成モジュール2038へ出力する。
対象の特定が不可能である程度の加工とは、例えば、対象の体の要素は把握可能であるが、対象の顔の細部、及び表情等が認識できない程度の加工を表す。対象の動作の特定が不可能である程度の加工とは、例えば、第三者が対象の細かな動作を特定することが不可能である程度の加工を表す。具体的には、例えば、画像データの所定の領域に対象が存在し、歩く、立つ、または座る等の大きな動作は特定可能であるが、話す、飲み物を飲む、顔に触れる、スマートフォンを操作する、くしゃみをする、咳をする、あくびをする、伸びをする等の細かい固有の動作は特定できない程度の加工である。
具体的には、例えば、画像データ加工モジュール2037は、対象抽出モジュール2034により抽出した領域にモザイク加工処理をすることによって、対象の特定が不可能であり、対象の動作の特定が不可能である程度に加工してもよい。
また、例えば、画像データ加工モジュール2037は、対象抽出モジュール2034により抽出した領域に含まれる対象に基づいて匿名化モデル画像を作成してもよい。匿名化モデル画像は、例えば、人体を模ったデッサン用の人形のようなモデルを表す画像である。画像データ加工モジュール2037は、例えば、対象の特定が不可能であるように匿名化モデル画像を作成する。画像データ加工モジュール2037は、作成した匿名化モデル画像が、画像データにおける対象の代わりに表示されるように画像データを加工する。例えば、画像データ加工モジュール2037は、作成した匿名化モデル画像を、画像データにおける対象と置き換える。また、画像データ加工モジュール2037は、作成した匿名化モデル画像を、画像データにおける対象に重畳する。画像データ加工モジュール2037は、対象の動作を、当該動作の特定が不可能である程度に模して、匿名化モデル画像を動かす。
また、例えば、画像データ加工モジュール2037は、対象抽出モジュール2034により抽出した領域に含まれる対象に基づいてアバターを作成してもよい。アバターは、対象が自由に設定してもよいし、予め設定されていてもよい。対象が設定する場合、アバターに関する情報は、例えば、対象情報DB2022aに記憶される。画像データ加工モジュール2037は、作成したアバターが、画像データにおける対象の代わりに表示されるように画像データを加工する。例えば、画像データ加工モジュール2037は、作成したアバターを、画像データにおける対象と置き換える。また、画像データ加工モジュール2037は、作成したアバターを、画像データにおける対象に重畳する。画像データ加工モジュール2037は、対象の動作を、当該動作の特定が不可能である程度に模して、アバターを動かす。
提示画像作成モジュール2038は、提示画像データを作成して出力する。具体的には、例えば、提示画像作成モジュール2038は、第1情報取得モジュール2036が出力した対象の第1情報と、画像データ加工モジュール2037が出力した加工画像データとを取得する。提示画像作成モジュール2038は、加工画像データに第1情報を合成し、提示画像データを作成する。提示画像作成モジュール2038は、作成した提示画像データを提示モジュール2039へ出力する。
ここで、提示画像作成モジュール2038は、第1情報取得モジュール2036が出力した複数の対象の第1情報から、システム1の管理者等によって選択された対象の第1情報のみを選択し、加工画像データに合成してもよい。
提示モジュール2039は、提示画像データを入出力IF23(出力装置)に出力する。または、提示モジュール2039は、通信IF22からネットワーク80を介して、提示画像データをモニター装置32に出力する。または、提示モジュール2039は、通信IF22からネットワーク80を介して、提示画像データを端末装置10に出力する。
<2 データ構造>
図4~図8は、サーバ20が記憶するデータベースのデータ構造を示す図である。なお、図4~図8は一例であり、記載されていないデータを除外するものではない。
図4は、カメラ情報DB2021のデータ構造を示す図である。図4に示すように、カメラ情報DB2021のレコードの各々は、例えば、項目「機器ID」と、項目「所属」と、項目「監視エリア」とを含む。カメラ情報DB2021に記憶された情報は、システム1の管理者等によってあらかじめ登録された情報である。カメラ情報DB2021が記憶する情報は、適宜変更・更新することが可能である。
項目「機器ID」は、撮影装置31を識別するための情報を示す。項目「所属」は、撮影装置31が所属する任意のグループ名を示す。項目「監視エリア」は、撮影装置31が撮影するエリアである監視対象エリアを示す。
図5は、第1情報DB2022に含まれる対象情報DB2022aのデータ構造を示す図である。図5に示すように、対象情報DB2022aのレコードの各々は、例えば、項目「対象ID」と、項目「氏名」と、項目「所属」と、項目「部署」と、項目「推定情報」とを含む。対象情報DB2022aに記憶された情報は、システム1の管理者等によってあらかじめ登録された情報である。対象情報DB2022aが記憶する情報は、適宜変更・更新することが可能である。対象情報DB2022aに情報が記憶される対象は、従業員、管理者、又は来客等を含む。
項目「対象ID」は、対象を識別するための情報を示す。項目「氏名」は、対象の名称を示す。例えば、項目「氏名」は、第三者が対象を特定可能な情報である。項目「所属」は、対象が所属する任意のグループ名を示す。項目「部署」は、対象が従事する業務に関する任意のグループ名を示す。項目「推定情報」は、学習済みモデル2024が対象を推定ための学習データを示す。推定情報は、例えば、対象の顔認証を行うための学習データセットである。推定情報は、例えば、対象の顔の画像を含む。
図6は、第1情報DB2022に含まれる所在情報DB2022bのデータ構造を示す図である。図6に示すように、所在情報DB2022bのレコードの各々は、例えば、項目「対象ID」と、項目「日時」と、項目「所在」とを含む。所在情報DB2022bが記憶する情報は、サーバ20が撮影装置31から取得した画像データに基づいて取得される。所在情報DB2022bが記憶する情報は、適宜更新される。
項目「対象ID」は、対象を識別するための情報を示す。具体的には、例えば、項目「対象ID」は、画像データに基づいて、対象推定モジュール2035が推定した対象を識別する情報を示す。項目「日時」は、対象が所定の撮影装置31が撮影する監視対象エリアに滞在した日時を示す。具体的には、例えば、項目「日時」は、画像データに基づいて、対象推定モジュール2035が対象を推定した日時を示す。項目「所在」は、対象が滞在したエリア(監視エリア)を示す。具体的には、例えば、項目「所在」は、画像データに基づいて、対象推定モジュール2035が対象を推定したエリアを示す。項目「所在」は、画像データを取得した撮影装置31の設置エリアに基づいて取得されてもよい。
図7は、第1情報DB2022に含まれる業務情報DB2022cのデータ構造を示す図である。図7に示すように、業務情報DB2022cのレコードの各々は、例えば、項目「対象ID」と、項目「日時」と、項目「業務内容」とを含む。業務情報DB2022cが記憶する情報は、例えば、サーバ20が撮影装置31から取得した画像データに基づいて取得される。または、業務情報DB2022cが記憶する情報は、サーバ20が端末装置10等から取得した情報に基づいて取得する。業務情報DB2022cが記憶する情報は、適宜更新される。
項目「対象ID」は、対象を識別するための情報を示す。項目「日時」は、対象が勤務に従事した日時を示す。具体的には、例えば、項目「日時」は、画像データに基づいて、対象推定モジュール2035が対象の業務を推定した日時を示す。また、項目「日時」は、勤怠管理システム等の外部システムに対して対象が操作を入力した日時であってもよい。
項目「業務内容」は、対象が従事していた勤務の内容を示す。具体的には、例えば、項目「業務内容」は、対象が端末装置10等に対して行った操作に基づいて取得した情報を示す。より具体的には、例えば、項目「業務内容」は、対象が端末装置10を操作して起動したアプリケーションに基づいて推定される。また、例えば、項目「業務内容」は、対象が端末装置10の入力装置13を操作したログに基づいて推定される。または、例えば、項目「業務内容」は、勤怠管理システム等の外部システムに対して対象が入力した実績に関する情報を示してもよい。
図8は、画像データ情報DB2023のデータ構造を示す図である。図8に示すように、画像データ情報DB2023のレコードの各々は、例えば、項目「機器ID」と、項目「日時」と、項目「提示画像」とを含む。画像データ情報DB2023が記憶する情報は、サーバ20が撮影装置31から取得した画像データに基づいて取得される。画像データ情報DB2023が記憶する情報は、適宜更新される。
項目「機器ID」は、撮影装置31を識別するための情報を示す。項目「日時」は、撮影装置31が画像データを取得した日時を示す。または、項目「日時」は、サーバ20が撮影装置31から画像データを取得した日時を示してもよい。項目「提示画像」は、提示モジュール2039が提示する提示画像データを示す。
<3 動作例>
以下、サーバ20の動作の一例について説明する。
図9は、本実施形態に係るシステム1の構成の例を表す模式図である。以下の説明では、図9に示すように、建物内の天井に設置された撮影装置31を用い、サーバ20の出力装置に提示画像データを提示する場合について説明する。サーバ20は、撮影装置31が設置された建物と同一の建物内に設けられてもよいし、建物外に設けられてもよい。
図10は、図9に示すサーバ20の動作の一例を表すフローチャートである。図10は、撮影装置31で撮影された画像に基づき、サーバ20の出力装置に提示画像データを提示する際の動作の例を表すフローチャートである。
まず、撮影装置31は、例えば、動画として一連の動きを認識可能な程度のフレームレートで監視対象エリアとしての建物内の一室を撮影している。動画として一連の動きを認識可能程度のフレームレートは、例えば、30fps程度である。撮影装置31は、画像データを、エッジサーバ30を介してサーバ20へ送信する。なお、撮影装置31は、画像データを、サーバ20へ直接送信してもよい。
ステップS11において、制御部203は、撮影装置31により撮影された画像データを取得する処理を行う。具体的には、例えば、制御部203は、画像データ取得モジュール2033により、画像データを取得する。画像データ取得モジュール2033により取得された画像データは、記憶部202等において記憶される。制御部203は、画像データを対象抽出モジュール2034へ出力する。
図11Aは、画像データ取得モジュール2033が取得する画像データの一例を表す模式図である。図11Aに示す例では、監視対象エリアとしての建物内の一室が1枚の画像に収められており、対象としての人物が複数(2人)含まれている。
ステップS12において、制御部203は、画像データを解析し、対象を含む所定の領域の画像を抽出画像データとして出力する処理を行う。具体的には、例えば、制御部203は、対象抽出モジュール2034により画像データを解析し、対象を含む所定の領域に関するデータを、抽出画像データとして取得する。抽出画像データは、例えば、画像データにおける領域の位置を表すデータであり、例えば、ピクセルの位置情報等により表される。対象抽出モジュール2034は、抽出画像データを記憶部202等に記憶する。対象抽出モジュール2034は、抽出画像データを対象推定モジュール2035へ出力する。
図11Bは、対象抽出モジュール2034が取得する抽出画像データの一例を表す模式図である。なお、図11Bにおいて、抽出画像データは、実線で示された対象を含む所定の領域に関するデータである。ここで、対象抽出モジュール2034が取得した画像データに複数の対象が含まれている場合、対象抽出モジュール2034は複数の抽出画像データを出力する。
ステップS13において、制御部203は、画像データにおいて、抽出画像データにより表される領域を解析し、対象を推定する処理を行う。具体的には、例えば、制御部203は、対象推定モジュール2035により、抽出画像データにより表される、画像データにおける領域を解析し、領域に含まれる対象が誰であるかを推定する。学習済みモデル2024は、例えば、対象者の顔の画像を含む推定情報を用いて学習されている。対象推定モジュール2035は、学習済みモデル2024に、抽出した領域についての画像を入力する。学習済みモデル2024は、入力された領域に含まれる対象を特定する情報、例えば、対象IDを出力する。対象推定モジュール2035は、学習済みモデル2024から出力された対象IDを、記憶部202等に記憶する。対象推定モジュール2035は、対象IDを第1情報取得モジュール2036へ出力する。
ステップS14において、制御部203は、対象IDに基づいて、対象の第1情報を取得する処理を行う。具体的には、例えば、制御部203は、第1情報取得モジュール2036により、対象IDに基づき、対象を特定可能な情報を第1情報DB2022から取得する。例えば、第1情報取得モジュール2036は、対象情報DB2022aから対象IDに応じた「氏名」を第1情報として取得する。
また、第1情報取得モジュール2036は、対象IDに基づき、対象の動作を推定可能な情報を第1情報DB2022から取得する。例えば、第1情報取得モジュール2036は、所在情報DB2022bから、対象が現在のエリアに滞在した時間、又は当日において対象が現在のエリアを利用した回数等の情報を、第1情報として取得する。また、例えば、第1情報取得モジュール2036は、業務情報DB2022cから、対象が現在の業務を行っている時間、又は当日において対象が所定の業務を実施した回数等の情報を、第1情報として取得する。制御部203は、第1情報を提示画像作成モジュール2038へ出力する。
ステップS15において、制御部203は、加工画像データを作成する処理を行う。具体的には、例えば、制御部203は、画像データ加工モジュール2037により、画像データを、対象の特定が不可能であり、対象の動作の特定が不可能である程度に加工し、加工画像データを作成する。画像データ加工モジュール2037は、作成された加工画像データを、記憶部202等に記憶する。画像データ加工モジュール2037は、加工画像データを提示画像作成モジュール2038へ出力する。
図12Aは、画像データ加工モジュール2037が作成する加工画像データの一例を表す模式図である。ここでは、画像データ加工モジュール2037は、画像データに含まれる対象にモザイク処理を施すことによって、対象の特定が不可能であり、対象の動作の特定が不可能である程度に加工する処理を行っている。
また、図13Aは、画像データ加工モジュール2037が作成する加工画像データの別の一例を表す模式図である。ここでは、画像データ加工モジュール2037は、画像データに含まれる対象をアバターに置き換えることにより、対象の特定が不可能であり、対象の動作の特定が不可能である程度に加工する処理を行っている。
ステップS16において、制御部203は、提示画像データを作成する処理を行う。具体的には、例えば、制御部203は、提示画像作成モジュール2038によって、ステップS14において取得した第1情報と、ステップS15において作成した加工画像データとを合成し、提示画像データを作成する。具体的には、例えば、提示画像作成モジュール2038は、対象ID:ID001と推定された対象を表す画像に、対象ID:ID001について取得した第1情報を関連付ける。例えば、提示画像作成モジュール2038は、対象ID:ID001と推定された対象を表す画像に、対象ID:ID001について取得した第1情報を重畳する。また、例えば、提示画像作成モジュール2038は、対象ID:ID001と推定された対象を表す画像に、対象ID:ID001について取得した第1情報を吹き出しとして付加する。提示画像作成モジュール2038は、作成した提示画像データを、記憶部202等に記憶する。提示画像作成モジュール2038は、作成した提示画像データを、提示モジュール2039に出力する。
ステップS17において、制御部203は、提示画像データを出力装置に出力する。具体的には、例えば、制御部203は、提示モジュール2039により、提示画像データを端末装置10、又はモニター装置32に提示させる。これによって、制御部203は、対象の特定が不可能であり、対象の動作の特定が不可能である程度に加工された画像に、対象を特定可能な情報が付された画像を、端末装置10、又はモニター装置32に表示させることが可能となる。
図12Bは、モニター装置32で表示される画面の一例を表す模式図である。ここでは、提示モジュール2039は、モザイク処理を施した画像データと、第三者が対象を特定可能な情報である「氏名」とを併せて提示している。また、図12Bにおいて、提示モジュール2039は、第三者が対象を特定可能な情報と併せて、対象の行動の詳細を表す情報である、対象が所定の監視対象エリアに滞在した時間に関する情報と、当該監視対象エリアを利用した利用回数に関する情報とを提示している。
また、図13Bは、モニター装置32で表示される画面の別の一例を表す模式図である。ここでは、提示モジュール2039は、アバターが表示される画像データと、第三者が対象を特定可能な情報である「氏名」とを併せて提示している。また、図12Bにおいて、提示モジュール2039は、第三者が対象を特定可能な情報と併せて、対象の行動の詳細を表す情報である、対象が所定の監視対象エリアに滞在した時間に関する情報と、当該監視対象エリアを利用した利用回数に関する情報とを提示している。
なお、図12Bまたは図13Bに示される対象が所定の監視対象エリアに滞在した時間に関する情報と、当該監視対象エリアを利用した利用回数に関する情報とは、当該情報に基づくグラフとして表示されてもよい。例えば、対象が所定の監視対象エリアに滞在した時間に関する情報は、複数の監視対象エリアに滞在した合計時間を集計し、各監視対象エリアに滞在した時間の割合(%)を示してもよい。例えば、対象が所定の監視対象エリアを利用した利用回数に関する情報は、各監視対象エリアの利用回数の割合(%)を示してもよい。
図14は、モニター装置32で表示される画面の別の一例を表す模式図である。ここでは、提示モジュール2039は、モザイク処理を施した画像データと、第三者が対象を特定可能な情報である「氏名」とを併せて提示している。また、図14において、提示モジュール2039は、第三者が対象を特定可能な情報と併せて、対象が実施する業務の詳細を表す情報である、対象が実施する業務内容、当該業務を行った時間に関する情報と、当該業務を行った回数に関する情報とを提示している。
なお、図14に示される、対象が実施する業務内容、当該業務を行った時間に関する情報と、当該業務を行った回数に関する情報とは、当該情報に基づくグラフとして表示されてもよい。例えば、業務を行った時間に関する情報は、実施した他の業務を行った時間との合計時間を集計し、従事した割合(%)を業務ごとに示してもよい。例えば、業務を行った回数に関する情報は、業務の実施回数の割合(%)を示してもよい。
<4 変形例>
(1)画像データの取得:上記実施形態においては、サーバ20が、撮影装置31により撮影された画像データを取得する処理(ステップS11)を行う例について説明した。しかしながら、サーバ20は、撮影装置31とは異なる装置において取得された画像データを取得してもよい。具体的に、例えば、サーバ20は、撮影装置31とは異なる装置として端末装置10に含まれるカメラ161により撮影された画像データを取得してもよい。
サーバ20は、撮影装置31、または、撮影装置31とは異なる装置から取得した画像データを直接取得してもよいし、エッジサーバ30を介して取得してもよい。
(2)処理の分担:上記実施形態においては、サーバ20が、撮影装置31により撮影された画像データを取得し(ステップS11)、対象を含む所定の領域の画像を抽出画像データとして出力する処理(ステップS12)を行う例について説明した。しかしながら、これらの処理は、サーバ20とは異なる装置において行われてもよい。具体的に、例えば、サーバ20は、撮影装置31によって出力された抽出画像データを取得してもよい。また、例えば、サーバ20は、エッジサーバ30によって出力された抽出画像データを取得してもよい。サーバ20が異なる装置から取得した抽出画像データは、対象推定モジュール2035へ出力される。これによって、サーバ20による処理の負担が軽減される。
(3)対象の推定:上記実施形態においては、サーバ20が、対象推定モジュール2035によって、抽出画像データに基づいて対象を推定する処理を行う例について説明した。しかしながら、この処理は、抽出画像データとは異なる他の情報に基づいて行われてもよい。
(4)第1情報の選択:上記実施形態においては、サーバ20が、第1情報取得モジュール2036によって対象の第1情報を取得する処理を行う例について説明した。このとき、サーバ20は、あらかじめシステム1の管理者等によって選択された情報のみを、第1情報取得モジュール2036によって取得してもよい。具体的に、例えば、あらかじめシステム1の管理者等によって選択される情報は、対象情報DB2022aの項目「氏名」等、項目ごとに選択することが可能である。提示画像作成モジュール2038は、加工画像データに、第1情報取得モジュール2036によって取得された対象の第1情報を合成し、提示画像データを作成する。
(5)背景固定:上記実施形態においては、サーバ20は、第1情報と加工画像データとを合成することによって提示画像データを作成した(ステップS16)。しかしながら、サーバ20は、対象が映っていない背景画像データに、対象を置き換えたアバター等と第1情報とを合成することによって提示画像データを作成してもよい。具体的に、背景画像データは、サーバ20の管理者等によって任意に選択可能な画像データである。例えば背景画像データは、撮影装置31により撮影された、対象を含まない監視エリアの画像データであってもよい。背景画像データ上のアバター等の位置と、監視エリアにおける対象の位置とは関連性を持っていてもよい。例えば、監視エリアにおいて窓際の位置に対象が存在する場合、背景画像データ上においてアバターが窓際の位置に配置されてもよい。
(6)登録されていない対象の表示:上記実施形態においては、サーバ20が、対象推定モジュール2035によって、抽出画像データに基づいて対象を推定する処理を行う例について説明した。当該処理において、対象の推定が不可能である場合、サーバ20は提示画像データに推定不可能である対象の第1情報を付加しない。
具体的に、例えば、対象推定モジュール2035は、学習済みモデル2024により画像データにおける領域を解析し、領域に含まれる対象が誰であるかを推定し対象IDを出力する。ここで、学習済みモデル2024が当該対象について学習していない場合(すなわち、当該対象者の顔の画像を含む推定情報が対象情報DB2022aに記憶されていない場合)、対象推定モジュール2035は対象の推定が不可能である旨の情報を出力する(ステップS13)。対象の推定が不可能である場合、ステップS14において、第1情報取得モジュール2036は当該対象者の第1情報を取得しない。ステップS16において、提示画像作成モジュール2038は、加工画像データ上において、推定不可能な対象には第1データを付加しない。
ここで、例えば、提示画像データに推定不可能な対象が含まれる場合、サーバ20の制御部203は、推定可能な対象と推定不可能な対象とを区別して表示してもよい。例えば、加工画像データ上において、推定可能な対象と推定不可能な対象とは、異なるアバターを合成してもよい。また、提示画像データに推定不可能な対象が含まれる場合、サーバ20の制御部203は、提示画像データを出力する(ステップS17)際に、推定不可能な対象が含まれる旨の情報を出力してもよい。推定不可能な対象が含まれる旨の情報は、例えば、サーバ20または端末装置10の管理者等にアラートとして提供されてもよい。当該アラートは、管理者等に対してセキュリティに注意すべきである旨の情報を提供してもよい。例えば、サーバ20または端末装置10は、「推定不可能な対象が存在します」「セキュリティに注意してください」等のアラートを表示画面に出力、またはスピーカーに出力する。
以上のように、推定可能な対象と推定不可能な対象とを区別して表示することで、登録されていない対象が明確になるため、把握されていない者の侵入が明らかとなる。そのため、システムが設置されるエリアのセキュリティが向上することになる。
<5 活用例>
(1)従業員等を対象とする活用例:上記実施形態においては、システム1は対象としての従業員等が勤務するオフィス等の空間において活用されてもよい。具体的に、例えば、端末装置10は、従業員等が使用するPCまたは携帯端末等である。撮影装置31は、オフィスの天井等に設置されている。モニター装置32は、オフィスの内またはシステム1の管理者等が滞在する建物内に設置される。
サーバ20は、撮影装置31が取得した画像データを、従業員等の特定が不可能であり、従業員等の動作の特定が不可能である程度に加工し、当該画像データと、画像データに含まれる従業員等の第1情報(第三者が対象を特定可能な情報を含む)とを併せて提示する。これによって、システム1の管理者等は、従業員等のプライバシーに配慮しつつ、従業員等の勤務状態を監視・管理することができる。具体的には、例えば、撮影装置31が取得した画像データが加工されていることによって、従業員等の動作の特定が不可能であるためプライバシーに配慮することができる。一方で、加工された画像データと、第三者が対象を特定可能な情報とを併せて提示することによって、従業員等の所在、および、ある程度の行動等を監視・管理することができる。
また、制御部203は、従業員等が使用する端末装置10等に入力された操作指示信号を、ネットワーク80を介して取得することで、従業員等が現在携わっている業務の内容を監視・管理する。制御部203は、加工画像データに、業務内容も含めた第1情報を付加してもよい。これにより、制御部203は、従業員等の画像に、対象の特定が不可能であり、対象の動作の特定が不可能である程度の加工を施す一方で、従業員等が携わっている業務の内容を付加することになる。このため、システム1の管理者等は、従業員等の業務内容まで監視・管理することが可能となる。また、従業員等の業務内容のログは、記憶部202等において記憶され、従業員の人事評価等に活用することが可能である。
また、従業員等がオフィスの外部で勤務する場合であっても、サーバ20は、端末装置10から画像データを取得し、従業員等の所在を監視・管理することができる。例えば、端末装置10は、監視エリアとして、出張先のオフィス等を撮影し、画像データを取得する。なお、端末装置10は、従業員の他、出張先のオフィス等において勤務する従業員が携帯するものであってもよい。サーバ20は、端末装置10が取得した画像データを、従業員等の特定が不可能であり、従業員等の動作の特定が不可能である程度に加工し、当該画像データと、画像データに含まれる従業員等の第1情報(第三者が対象を特定可能な情報を含む)とを併せて提示する。これにより、システム1の管理者等は、出張先での従業員等の所在、および、ある程度の行動等を監視・管理することができる。
また、例えば、端末装置10は、リモートワーク環境として従業員の自宅を撮影し、画像データを取得する。サーバ20は、端末装置10が取得した画像データを、従業員等の特定が不可能であり、従業員等の動作の特定が不可能である程度に加工し、当該画像データと、画像データに含まれる従業員等の第1情報(第三者が対象を特定可能な情報を含む)とを併せて提示する。これにより、システム1の管理者等は、リモートワーク環境での従業員等の所在、および、ある程度の行動等を監視・管理することができる。
また、例えば、端末装置10は、宅配ビジネスにおけるサービスの配送先のエリアを撮影し、画像データを取得する。なお、端末装置10は、宅配ビジネスに従事する従業員の他、宅配サービスを利用する顧客が携帯するものであってもよい。サーバ20は、端末装置10が取得した画像データを、従業員等の特定が不可能であり、従業員等の動作の特定が不可能である程度に加工し、当該画像データと、画像データに含まれる従業員等の第1情報(第三者が対象を特定可能な情報を含む)とを併せて提示する。これにより、システム1の管理者等は、配送先のエリアでの従業員等の所在を監視・管理することができる。
(2)会員等を対象とする活用例:上記実施形態においては、システム1は対象としての会員等が入会するスポーツジム、シェアオフィス等の空間において活用されてもよい。具体的に、例えば、端末装置10は、会員等が使用するPCまたは携帯端末等である。撮影装置31は、スポーツジム、シェアオフィス等の天井等に設置されている。モニター装置32は、スポーツジム、シェアオフィス等の管理者等が滞在する建物内に設置される。
サーバ20は、撮影装置31が取得した画像データを、会員等の特定が不可能であり、会員等の動作の特定が不可能である程度に加工し、当該画像データと、画像データに含まれる会員等の第1情報(第三者が対象を特定可能な情報を含む)とを併せて提示する。これによって、システム1の管理者等は、会員等のプライバシーに配慮しつつ、会員等の所在、および、ある程度の行動等を監視・管理することができる。具体的には、例えば、撮影装置31が取得した画像データが加工されていることによって、会員等の動作の特定が不可能であるためプライバシーに配慮することができる。一方で、加工された画像データと第三者が対象を特定可能な情報とを併せて提示することによって、会員等の所在、および、ある程度の行動や使用した設備等を監視・管理することができる。
また、会員等が使用する端末装置10等に入力された操作指示信号を、ネットワーク80を介して取得することで、会員等の利用実績を監視・管理することができる。また、例えば、スポーツジムにおいて活用されるシステム1において、サーバ20は、画像データから、会員によるトレーニング機器の利用状況を取得してもよい。また、例えば、シェアオフィスにおいて活用されるシステム1において、サーバ20は、画像データから、会員による共用設備の利用状況を取得してもよい。サーバ20は、取得した会員等の利用状況に関する情報を記憶部202等に記憶する。サーバ20は、画像データから推定した会員等の利用状況に関する情報を第1情報として画像データと併せて提示する。会員等の利用実績は、スポーツジム、シェアオフィス等の業務改善に活用することが可能である。
(3)特定の人物等を対象とする活用例: 上記実施形態においては、システム1は対象としての特定の人物が滞在する病院、リハビリ施設、介護施設、教育施設、または託児施設の空間において活用されてもよい。具体的に、例えば、端末装置10は、特定の人物としての施設利用者、または、施設利用者に関連する人物としての家族等が使用するPCまたは携帯端末等である。撮影装置31は、施設等の天井等に設置されている。モニター装置32は、施設等の管理者等が滞在する建物内、または施設利用者に関連する人物が滞在する建物内に設置される。
サーバ20は、撮影装置31が取得した画像データを、施設利用者の特定が不可能であり、施設利用者の動作の特定が不可能である程度に加工し、当該画像データと、画像データに含まれる施設利用者の第1情報(第三者が対象を特定可能な情報を含む)とを併せて提示する。これによって、システム1の管理者等は、施設利用者等のプライバシーに配慮しつつ、施設利用者等の所在、および、ある程度の行動等を監視・管理することができる。具体的には、例えば、撮影装置31が取得した画像データが加工されていることによって、施設の利用者等の動作の特定が不可能であるためプライバシーに配慮することができる。一方で、加工された画像データと第三者が対象を特定可能な情報とを併せて提示することによって、施設利用者等の所在、および、ある程度の行動や使用した設備等を監視・管理することができる。
また、サーバ20は、施設利用者のみの第1情報が含まれる提示画像データを、施設利用者または施設利用者に関連する人物に対して提示することが可能である。
具体的に例えば、サーバ20は、介護施設等の施設において、特定の介護対象者のみの第1情報が含まれる提示画像データを、当該介護対象者の家族等に対して提示することが可能である。
例えば、サーバ20は、施設利用者、施設利用者に関連する人物、または、施設の管理者等によって選択された特定の人物の情報と、施設利用者または施設利用者に関連する人物の使用する端末装置10の機器IDと紐づけて記憶部202等に記憶する。
サーバ20の制御部203は、記憶部202等において記憶された提示画像データから、特定の施設利用者が含まれる提示画像データを選択する。制御部203は、画像データと特定の施設利用者の第1情報とを併せて、提示画像データとして出力する。制御部203は、出力された提示画像データを、施設利用者または施設利用者に関連する人物の使用する端末装置10へ出力する。
サーバ20は、撮影装置31が取得した画像データを、対象の特定が不可能であり、対象の動作の特定が不可能である程度に加工し、当該画像データと画像データに含まれる選択された対象の第1情報とを併せて提示する。これにより、対象のプライバシーを配慮することが可能である。
上述した処理により、サーバ20は、指定した対象に関連する提示画像データを端末装置10に出力することができる。サーバ20は、画像データと、指定した対象の第1情報とを併せて、端末装置10に出力する。これにより、例えば、介護対象者の家族等が介護対象者の所在等を確認することが可能である。また、提示画像データには、指定した対象以外の対象(例えば、他の施設利用者や施設従業員)を特定可能な情報が含まれていないため、指定した対象以外の対象のプライバシーにより配慮することが可能である。
制御部203は、施設利用者または施設利用者に関連する人物の使用する端末装置10から、画像データの要求があった場合、画像データと、対応する人物の第1情報とが表示された提示画像データを表示させてもよい。具体的には、制御部203は、端末装置10から要求があると、端末装置10と関連付けられた人物についての情報を取得する。制御部203は、取得した人物の第1情報を取得する。制御部203は、画像データを要求した端末装置10に、画像データと、対応する人物の第1情報とが表示された提示画像データを表示させる。これにより、サーバ20は、指定した対象に関連する提示画像データを端末装置10に出力することができる。
以上、本開示のいくつかの実施形態を説明したが、これら実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれると同様に、特許請求の範囲に記載された発明とその均等の範囲に含まれるものとする。
<付記>
以上の各実施形態で説明した事項を以下に付記する。
(付記1)
プロセッサ(203)とメモリ(202)とを備えるコンピュータ(20)に実行させるためのプログラムであって、プログラムはプロセッサ(203)に、撮影装置(31)が撮影した画像データを取得するステップ(S11)と、画像データに基づいて、画像データに含まれる対象を推定するステップ(S13)と、推定した対象を、第三者が特定可能な情報を取得するステップ(S14)と、対象の特定が不可能であり、対象の動作の特定が不可能である程度に画像データを加工するステップ(S15)と、加工された画像データと、第三者が対象を特定可能な情報と、を併せて提示するステップ(S17)と、実行させる、プログラム。
(付記2)
提示するステップ(S17)において、第三者が対象を特定可能な情報を、対象が含まれる領域の近傍に表示させる、(付記1)に記載のプログラム。
(付記3)
第三者が対象を特定可能な情報は、対象の氏名である、(付記1)または(付記2)に記載のプログラム。
(付記4)
取得するステップ(S11)において、対象が存在するエリアの、対象による利用に関する情報を取得し、提示するステップ(S17)において、エリアの利用に関する情報を併せて提示する、(付記1)から(付記3)のいずれかに記載のプログラム。
(付記5)
エリアの利用に関する情報は、エリアに滞在した時間に関する情報を含む、(付記4)に記載のプログラム。
(付記6)
エリアの利用に関する情報は、エリアに滞在した回数に関する情報を含む、(付記4)または5に記載のプログラム。
(付記7)
取得するステップ(S11)において、対象が実行する業務に関する情報を取得し、提示するステップ(S17)において、対象が実行する業務に関する情報を併せて提示する、(付記1)から(付記6)のいずれかに記載のプログラム。
(付記8)
対象が実行する業務に関する情報は、業務内容、実行時間、又は実行回数に関する情報を含む、(付記7)に記載のプログラム。
(付記9)
取得するステップ(S11)において、被監視者が勤務するエリアを撮影した画像データを取得する、(付記1)から(付記8)のいずれかに記載のプログラム。
(付記10)
取得するステップ(S11)において、被監視者が利用するエリアを撮影した画像データを取得する、(付記1)から(付記8)のいずれかに記載のプログラム。
(付記11)
取得するステップ(S11)において、宅配ビジネスにおけるサービスの配送先のエリアを撮影した画像データを取得する、(付記1)から(付記8)のいずれかに記載のプログラム。
(付記12)
取得するステップ(S11)において、家の中のエリアを撮影した画像データを取得する、請求項(付記1)から(付記8)のいずれかに記載のプログラム。
(付記13)
提示するステップ(S17)において、選択した対象以外の対象の第三者が対象を特定可能な情報を提示しない、(付記1)から(付記12)のいずれかに記載のプログラム。
(付記14)
提示するステップ(S17)において、画像データに含まれる対象を推定するステップにおいて推定可能な対象と推定不可能な対象とを区別して提示する、(付記1)から(付記13)のいずれかに記載のプログラム。
(付記15)
プロセッサと、メモリとを備えるコンピュータに実行される方法であって、プロセッサが、撮影装置(31)が撮影した画像データを取得するステップ(S11)と、画像データに基づいて、画像データに含まれる対象を推定するステップ(S13)と、推定した対象を、第三者が特定可能な情報を取得するステップ(S14)と、対象の特定が不可能であり、対象の動作の特定が不可能である程度に画像データを加工するステップ(S15)と、加工された画像データと、第三者が対象を特定可能な情報と、を併せて提示するステップ(S17)と、を実行する、方法。
(付記16)
制御部と、記憶部とを備える情報処理装置であって、制御部が、撮影装置(31)が撮影した画像データを取得するステップと、画像データに基づいて、画像データに含まれる対象を推定するステップと、推定した対象を、第三者が特定可能な情報を取得するステップと、対象の特定が不可能であり、対象の動作の特定が不可能である程度に画像データを加工するステップと、加工された画像データと、第三者が対象を特定可能な情報と、を併せて提示するステップと、を実行する、情報処理装置(20)。
(付記17)
画像データを撮影する撮影装置(31)と、撮影装置が撮影した画像データを取得する手段と、画像データに基づいて、画像データに含まれる対象を推定する手段と、推定した対象を第三者が特定可能な情報を取得する手段と、対象の特定が不可能であり対象の動作の特定が不可能である程度に画像データを加工し、加工された画像データと第三者が対象を特定可能な情報とを併せて提示する手段と、を具備する、システム(1)。
1…システム
10…端末装置
12…通信IF
120…通信部
13…入力装置
14…出力装置
141…ディスプレイ
15…メモリ
150…位置情報センサ
16…ストレージ
161…カメラ
17…音声処理部
171…マイク
172…スピーカー
180…記憶部
181…ユーザ情報
19…プロセッサ
190…制御部
191…操作受付部
192…送受信部
193…提示制御部
20…サーバ
201…通信部
202…記憶部
2021…カメラ情報DB
2022…第1情報DB
2022a…対象情報DB
2022b…所在情報DB
2022c…業務情報DB
2023…画像データ情報DB
2024…学習済みモデル
203…制御部
2031…受信制御モジュール
2032…送信制御モジュール
2033…画像データ取得モジュール
2034…対象抽出モジュール
2035…対象推定モジュール
2036…第1情報取得モジュール
2037…画像データ加工モジュール
2038…提示画像作成モジュール
2039…提示モジュール
22…通信IF
23…入出力IF
25…メモリ
26…ストレージ
29…プロセッサ
30…エッジサーバ
31…撮影装置
32…モニター装置
80…ネットワーク

Claims (17)

  1. プロセッサとメモリとを備えるコンピュータに実行させるためのプログラムであって、前記プログラムは前記プロセッサに、
    撮影装置が撮影した画像データを取得するステップと、
    前記画像データに基づいて、前記画像データに含まれる対象を推定するステップと、
    推定した前記対象を、第三者が特定可能な情報を取得するステップと、
    前記対象の特定が不可能であり、前記対象の動作の特定が不可能である程度に前記画像データを加工するステップと、
    加工された前記画像データと、前記第三者が対象を特定可能な情報と、を併せて提示するステップと、
    を実行させる、プログラム。
  2. 前記提示するステップにおいて、前記第三者が対象を特定可能な情報を、前記対象が含まれる領域の近傍に表示させる、請求項1に記載のプログラム。
    プログラム。
  3. 前記第三者が対象を特定可能な情報は、前記対象の氏名である、請求項1または2に記載のプログラム。
  4. 前記取得するステップにおいて、前記対象が存在するエリアの、前記対象による利用に関する情報を取得し、
    前記提示するステップにおいて、前記エリアの利用に関する情報を併せて提示する、請求項1から3のいずれかに記載のプログラム。
  5. 前記エリアの利用に関する情報は、前記エリアに滞在した時間に関する情報を含む、請求項4に記載のプログラム。
  6. 前記エリアの利用に関する情報は、前記エリアに滞在した回数に関する情報を含む、請求項4または5に記載のプログラム。
  7. 前記取得するステップにおいて、前記対象が実行する業務に関する情報を取得し、
    前記提示するステップにおいて、前記対象が実行する業務に関する情報を併せて提示する、請求項1から6のいずれかに記載のプログラム。
  8. 前記対象が実行する業務に関する情報は、業務内容、実行時間、又は実行回数に関する情報を含む、請求項7に記載のプログラム。
  9. 前記取得するステップにおいて、被監視者が勤務するエリアを撮影した画像データを取得する、請求項1から8のいずれかに記載のプログラム。
  10. 前記取得するステップにおいて、被監視者が利用するエリアを撮影した画像データを取得する、請求項1から8のいずれかに記載のプログラム。
  11. 前記取得するステップにおいて、宅配ビジネスにおけるサービスの配送先のエリアを撮影した画像データを取得する、請求項1から8のいずれかに記載のプログラム。
  12. 前記取得するステップにおいて、家の中のエリアを撮影した画像データを取得する、請求項1から8のいずれかに記載のプログラム。
  13. 前記提示するステップにおいて、選択した対象以外の対象の前記第三者が対象を特定可能な情報を提示しない、請求項1から12のいずれかに記載のプログラム。
  14. 前記提示するステップにおいて、前記画像データに含まれる対象を推定するステップにおいて推定可能な対象と推定不可能な対象とを区別して提示する、請求項1から13のいずれかに記載のプログラム。
  15. プロセッサと、メモリとを備えるコンピュータに実行される方法であって、前記プロセッサが、
    撮影装置が撮影した画像データを取得するステップと、
    前記画像データに基づいて、前記画像データに含まれる対象を推定するステップと、
    推定した前記対象を、第三者が特定可能な情報を取得するステップと、
    前記対象の特定が不可能であり、前記対象の動作の特定が不可能である程度に前記画像データを加工するステップと、
    加工された前記画像データと、前記第三者が対象を特定可能な情報と、を併せて提示するステップと、
    を実行する、方法。
  16. 制御部と、記憶部とを備える情報処理装置であって、前記制御部が、
    撮影装置が撮影した画像データを取得するステップと、
    前記画像データに基づいて、前記画像データに含まれる対象を推定するステップと、
    推定した前記対象を、第三者が特定可能な情報を取得するステップと、
    前記対象の特定が不可能であり、前記対象の動作の特定が不可能である程度に前記画像データを加工するステップと、
    加工された前記画像データと、前記第三者が対象を特定可能な情報と、を併せて提示するステップと、
    を実行する、情報処理装置。
  17. 画像データを撮影する撮影装置と、
    撮影装置が撮影した画像データを取得する手段と、
    前記画像データに基づいて、前記画像データに含まれる対象を推定する手段と、
    推定した前記対象を、第三者が特定可能な情報を取得する手段と、
    前記対象の特定が不可能であり、前記対象の動作の特定が不可能である程度に前記画像データを加工する手段と、
    加工された前記画像データと、前記第三者が対象を特定可能な情報と、を併せて提示する手段と、
    を具備する、システム。

JP2021130282A 2021-08-06 2021-08-06 プログラム、方法、情報処理装置、およびシステム Pending JP2023024160A (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2021130282A JP2023024160A (ja) 2021-08-06 2021-08-06 プログラム、方法、情報処理装置、およびシステム
JP2022062248A JP2023024263A (ja) 2021-08-06 2022-04-04 プログラム、方法、情報処理装置、およびシステム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2021130282A JP2023024160A (ja) 2021-08-06 2021-08-06 プログラム、方法、情報処理装置、およびシステム

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2022062248A Division JP2023024263A (ja) 2021-08-06 2022-04-04 プログラム、方法、情報処理装置、およびシステム

Publications (1)

Publication Number Publication Date
JP2023024160A true JP2023024160A (ja) 2023-02-16

Family

ID=85204146

Family Applications (2)

Application Number Title Priority Date Filing Date
JP2021130282A Pending JP2023024160A (ja) 2021-08-06 2021-08-06 プログラム、方法、情報処理装置、およびシステム
JP2022062248A Pending JP2023024263A (ja) 2021-08-06 2022-04-04 プログラム、方法、情報処理装置、およびシステム

Family Applications After (1)

Application Number Title Priority Date Filing Date
JP2022062248A Pending JP2023024263A (ja) 2021-08-06 2022-04-04 プログラム、方法、情報処理装置、およびシステム

Country Status (1)

Country Link
JP (2) JP2023024160A (ja)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000048078A (ja) * 1998-07-30 2000-02-18 Hitachi Ltd 遠隔作業状況監視システム
JP2016115958A (ja) * 2014-12-11 2016-06-23 三菱電機株式会社 作業監視システム
JP2018097843A (ja) * 2016-12-08 2018-06-21 キヤノンマーケティングジャパン株式会社 情報処理装置、情報処理装置の制御方法、およびプログラム
JP6888854B1 (ja) * 2020-09-02 2021-06-16 シンメトリー・ディメンションズ・インク 遠隔勤務支援システム及び遠隔勤務支援方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000048078A (ja) * 1998-07-30 2000-02-18 Hitachi Ltd 遠隔作業状況監視システム
JP2016115958A (ja) * 2014-12-11 2016-06-23 三菱電機株式会社 作業監視システム
JP2018097843A (ja) * 2016-12-08 2018-06-21 キヤノンマーケティングジャパン株式会社 情報処理装置、情報処理装置の制御方法、およびプログラム
JP6888854B1 (ja) * 2020-09-02 2021-06-16 シンメトリー・ディメンションズ・インク 遠隔勤務支援システム及び遠隔勤務支援方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
スリヨン タンスリヤボン TANSURIYAVONG SURIYON: "状況映像における顔認識を用いた選択的人物隠蔽 Concealment of Persons Using Face Recognition in Circu", 映像情報メディア学会誌 第56巻 第12号 THE JOURNAL OF THE INSTITUTE OF IMAGE INFORMATION AND TE, vol. 第56巻, JPN6021043341, 1 December 2002 (2002-12-01), JP, ISSN: 0004789879 *

Also Published As

Publication number Publication date
JP2023024263A (ja) 2023-02-16

Similar Documents

Publication Publication Date Title
CN105320404B (zh) 用于执行功能的设备和方法
CN101055561B (zh) 电子会议辅助方法以及电子会议系统中的信息终端设备
US9781106B1 (en) Method for modeling user possession of mobile device for user authentication framework
CN101535973B (zh) 用于在协作对话期间动态共享显示器的一部分的方法和设备
US20200380299A1 (en) Recognizing People by Combining Face and Body Cues
JP2019121360A (ja) 機械学習に基づくコンテキスト認識会話型エージェントのためのシステム及び方法、コンテキスト認識ジャーナリングの方法、システム、プログラム、コンピュータ装置
JP5813829B1 (ja) 防犯システム
CN116762125A (zh) 环境协作智能系统和方法
US11216704B2 (en) Recognition system using multimodality dataset
CN108470131A (zh) 用于生成提示信息的方法和装置
US11334679B2 (en) System and method for optimizing a user experience based on patient context, user roles, current workflow, and display proximity
JP2023024160A (ja) プログラム、方法、情報処理装置、およびシステム
Kim et al. Development of real-time Internet of Things motion detection platform applying non-contact sensor based on open source hardware
JP2015162149A (ja) 情報提供装置、情報提供プログラム
WO2022091493A1 (ja) プログラム、情報処理装置及び方法
US20220394098A1 (en) Information processing system, system, and information processing method
Bazhenov et al. Smartphone-oriented development of video data based services
US11356734B1 (en) Methods and systems for counseling a user with respect to supervised content
EP2787712A1 (en) Presence-aware information system
Engström Telepresence as a forensic visualization tool
Sakib et al. Augmented reality-based lifelogging system for reminiscence
JP2020177471A (ja) 情報共有のためのシステム、ボット、及び方法
KR20150004952A (ko) 행동기반 실감영상환경 제어 시스템
CN115714877B (zh) 一种多媒体信息处理方法、装置、电子设备和存储介质
JP7321664B2 (ja) 情報処理装置、業務依頼システム、業務依頼方法、及び業務依頼プログラム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20210806

A871 Explanation of circumstances concerning accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A871

Effective date: 20210806

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20211101

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20211221

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20220104

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220404

C60 Trial request (containing other claim documents, opposition documents)

Free format text: JAPANESE INTERMEDIATE CODE: C60

Effective date: 20220404

A911 Transfer to examiner for re-examination before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20220413

C21 Notice of transfer of a case for reconsideration by examiners before appeal proceedings

Free format text: JAPANESE INTERMEDIATE CODE: C21

Effective date: 20220414

A912 Re-examination (zenchi) completed and case transferred to appeal board

Free format text: JAPANESE INTERMEDIATE CODE: A912

Effective date: 20220603

C211 Notice of termination of reconsideration by examiners before appeal proceedings

Free format text: JAPANESE INTERMEDIATE CODE: C211

Effective date: 20220607

C22 Notice of designation (change) of administrative judge

Free format text: JAPANESE INTERMEDIATE CODE: C22

Effective date: 20220801

C22 Notice of designation (change) of administrative judge

Free format text: JAPANESE INTERMEDIATE CODE: C22

Effective date: 20220901

C13 Notice of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: C13

Effective date: 20220916

C23 Notice of termination of proceedings

Free format text: JAPANESE INTERMEDIATE CODE: C23

Effective date: 20221213

C03 Trial/appeal decision taken

Free format text: JAPANESE INTERMEDIATE CODE: C03

Effective date: 20230117

C30A Notification sent

Free format text: JAPANESE INTERMEDIATE CODE: C3012

Effective date: 20230117