JP2021197035A - 情報処理装置 - Google Patents
情報処理装置 Download PDFInfo
- Publication number
- JP2021197035A JP2021197035A JP2020104824A JP2020104824A JP2021197035A JP 2021197035 A JP2021197035 A JP 2021197035A JP 2020104824 A JP2020104824 A JP 2020104824A JP 2020104824 A JP2020104824 A JP 2020104824A JP 2021197035 A JP2021197035 A JP 2021197035A
- Authority
- JP
- Japan
- Prior art keywords
- inspection
- image
- unit
- instruction
- facility
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000007689 inspection Methods 0.000 claims abstract description 461
- 235000013305 food Nutrition 0.000 claims abstract description 44
- 238000011156 evaluation Methods 0.000 claims abstract description 40
- 230000005540 biological transmission Effects 0.000 claims description 24
- 230000010365 information processing Effects 0.000 claims description 16
- 238000003384 imaging method Methods 0.000 claims description 4
- 238000012546 transfer Methods 0.000 abstract description 11
- 238000012545 processing Methods 0.000 description 37
- 238000000034 method Methods 0.000 description 29
- 238000003860 storage Methods 0.000 description 26
- 238000010586 diagram Methods 0.000 description 17
- 230000008569 process Effects 0.000 description 16
- 238000007639 printing Methods 0.000 description 11
- 238000004891 communication Methods 0.000 description 10
- 238000005406 washing Methods 0.000 description 7
- 238000004220 aggregation Methods 0.000 description 6
- 230000002776 aggregation Effects 0.000 description 6
- 230000006870 function Effects 0.000 description 6
- 238000012360 testing method Methods 0.000 description 5
- 230000007423 decrease Effects 0.000 description 4
- 238000006243 chemical reaction Methods 0.000 description 3
- 238000012986 modification Methods 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 238000013473 artificial intelligence Methods 0.000 description 2
- 238000004851 dishwashing Methods 0.000 description 2
- 235000013410 fast food Nutrition 0.000 description 2
- 230000006872 improvement Effects 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 238000003825 pressing Methods 0.000 description 2
- 206010016952 Food poisoning Diseases 0.000 description 1
- 208000019331 Foodborne disease Diseases 0.000 description 1
- 125000002066 L-histidyl group Chemical group [H]N1C([H])=NC(C([H])([H])[C@](C(=O)[*])([H])N([H])[H])=C1[H] 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000012790 confirmation Methods 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 238000009826 distribution Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 239000004615 ingredient Substances 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000010295 mobile communication Methods 0.000 description 1
- 230000006855 networking Effects 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 238000002360 preparation method Methods 0.000 description 1
- 238000003672 processing method Methods 0.000 description 1
- 238000013441 quality evaluation Methods 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 238000010079 rubber tapping Methods 0.000 description 1
- 239000000725 suspension Substances 0.000 description 1
- 238000011179 visual inspection Methods 0.000 description 1
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
- G06Q50/04—Manufacturing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
- G06Q50/10—Services
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
- G06Q50/10—Services
- G06Q50/26—Government or public services
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
- Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
- Y02P90/30—Computing systems specially adapted for manufacturing
Landscapes
- Business, Economics & Management (AREA)
- Tourism & Hospitality (AREA)
- Engineering & Computer Science (AREA)
- Marketing (AREA)
- Strategic Management (AREA)
- Economics (AREA)
- General Health & Medical Sciences (AREA)
- Human Resources & Organizations (AREA)
- Theoretical Computer Science (AREA)
- Primary Health Care (AREA)
- Health & Medical Sciences (AREA)
- Physics & Mathematics (AREA)
- General Business, Economics & Management (AREA)
- General Physics & Mathematics (AREA)
- Development Economics (AREA)
- Educational Administration (AREA)
- Manufacturing & Machinery (AREA)
- Investigating Materials By The Use Of Optical Means Adapted For Particular Applications (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Abstract
【課題】食品衛生の検査への遠隔からの関与を可能にすること。【解決手段】検査画像評価部112は、取得された検査画像の特徴量に基づきその検査画像の検査用の画像としての品質を評価する。再撮影指示部113は、取得された検査画像が所定の品質と評価された場合に、その評価に用いた検査画像に写る検査対象の再撮影の指示を示す指示データをユーザ端末20に送信する。機械判定部121は、取得された検査画像の特徴量に基づきその検査画像に写る検査対象に対する検査の判定を行う。機械判定部121は、判定が所定の結果である場合に、その判定に用いた検査画像を指導員端末30に送信し、判定に用いた検査画像を指導員に提示する。検査指示転送部122は、機械判定部121により提示された検査画像に基づき指導者が行う指示を示す指示データを、ユーザ端末20に対して転送(送信)する。【選択図】図4
Description
本発明は食品衛生管理に関する。
食品衛生管理に関する技術として、特許文献1には、食品を取り扱う事業所及びその従業者の衛生管理の状態の検査結果が、重要度に応じて決められている所定の基準値と比較して悪い結果である場合に、所定の通知先にアラートを通知する技術が開示されている。
食品を扱う施設における食品衛生の検査においては、例えば食品衛生についての専門的な知識又は経験に裏付けされた検査の技量を持たない者(例えば店舗の店員)が検査を行うこともある。そのような場合、専門の検査員が遠隔から検査を行ったり現地の検査員を支援したりして遠隔から検査に関与できるとよいが、そうではなくて検査員が常に現地に行くとなると、移動に時間がかかるため検査可能な施設数が少なくなる。
そこで、本発明は、食品衛生の検査への遠隔からの関与を可能にすることを目的とする。
そこで、本発明は、食品衛生の検査への遠隔からの関与を可能にすることを目的とする。
上記目的を達成するために、本発明は、食品を扱う施設における食品衛生の検査の対象の画像を取得する画像取得部と、取得された前記画像を前記検査の指導者に提示する提示部と、提示された前記画像に基づき前記指導者が行う指示を示す第1指示データを前記施設に対応付けられた宛先に送信する第1送信部とを備える情報処理装置を提供する。
また、取得された前記画像の特徴量に基づき当該画像に写る前記検査の対象に対する検査の判定を行う判定部を備え、前記提示部は、前記判定が所定の結果である場合に、当該判定に用いた画像を前記検査の指導者に提示してもよい。
また、取得された前記画像の特徴量に基づき当該画像の検査用の画像としての品質を評価する評価部と、取得された前記画像が所定の品質と評価された場合に、当該評価に用いた画像に写る検査対象の再撮影の指示を示す第2指示データを前記宛先に送信する第2送信部とを備えてもよい。
また、前記第2送信部は、前記検査の対象の撮影用のサンプル画像を表示させるためのデータを前記第2指示データとして送信してもよい。
また、前記第2送信部は、前記施設の種類に応じた前記サンプル画像を表示させるためのデータを前記第2指示データとして送信してもよい。
また、前記提示部は、前記判定がされた前記検査の対象に関する検査の実績が少ないほど、当該検査の対象の検査結果を前記所定の結果として判断しやすくしてもよい。
また、前記画像取得部は、前記施設に設置された広角カメラの画像を取得し、前記提示部は、前記判定に用いた画像に写っている前記検査の対象の歪みを補正した画像を前記指導者に提示してもよい。
また、前記第1送信部は、前記検査の対象の撮影用のサンプル画像を表示させるためのデータを前記第1指示データとして送信してもよい。
本発明によれば、食品衛生の検査への遠隔からの関与を可能にすることができる。
[1]第1実施例
図1は実施例に係る検査支援システム1の全体構成の一例を表す。検査支援システム1は、食品を扱う施設における食品の衛生管理に関する業務の1つである検査業務を支援するシステムである。検査業務とは、施設内の食品衛生の状態が安全のために求められる基準(例えばHACCP(Hazard Analysis and Critical Control Point)で定められた基準)を満たしているか否かを検査する業務である。
図1は実施例に係る検査支援システム1の全体構成の一例を表す。検査支援システム1は、食品を扱う施設における食品の衛生管理に関する業務の1つである検査業務を支援するシステムである。検査業務とは、施設内の食品衛生の状態が安全のために求められる基準(例えばHACCP(Hazard Analysis and Critical Control Point)で定められた基準)を満たしているか否かを検査する業務である。
食品を扱う施設とは、例えば飲食店、飲食品の販売店、飲食品の倉庫及び飲食品の製造工場等であり、食品衛生の検査が行われる施設でもある。これらの施設においては、食品衛生の検査を行う担当者が決められているが、検査業務の担当者は、必ずしも食品衛生の検査の専門的な知識や経験を持つ者とは限らない。
例えば、食品販売のイベントに出店している店舗、ショッピングモールに出店している飲食店又は商店街の自営業の飲食店等においては、専門の検査員がいないので、食品衛生の検査に詳しくない従業員が検査を行うことになる。検査支援システム1は、特に、そのように食品衛生の検査の専門的な知識や経験を持たない担当者しかいない施設における検査業務を支援する。
検査支援システム1は、ネットワーク2と、サーバ装置10と、ユーザ端末20と、指導員端末30と、印刷装置3とを備える。ネットワーク2は、移動体通信網及びインターネット等を含む通信システムであり、自システムにアクセスする装置同士のデータのやり取りを中継する。ネットワーク2には、サーバ装置10が有線通信で(無線通信でもよい)、ユーザ端末20及び指導員端末30が無線通信でアクセスしている。
ユーザ端末20は、食品を扱う施設において検査業務を行う検査担当者が利用する端末であり、スマートフォン及びタブレット端末のように持ち運び可能ないわゆるモバイル端末である。検査担当者は、例えば食品を扱う施設の従業員のうち、検査業務を担当する従業員である。ユーザ端末20は、検査を行う項目を記憶し、記憶した項目を表示する。検査担当者は、表示された項目について検査を行い、検査結果をユーザ端末20に入力する。
図1では、ユーザ端末20を1台しか表していないが、検査対象となる施設が多く存在する場合は、複数のユーザ端末20を複数の検査担当者がそれぞれ利用して複数の検査が並行して行われる。指導員端末30は、検査担当者を遠隔地から支援する指導員が利用する端末であり、例えばスマートフォン等のモバイル端末である。なお、本実施例では、説明を簡潔にするため指導員は一人だけであるものとする。
サーバ装置10は、複数のユーザ端末20及び指導員端末30による検査に関する情報を管理する処理等を行う。サーバ装置10は本発明の「情報処理装置」の一例である。検査に関する情報とは、先に述べた検査項目及び各検査項目に対する検査結果等である。サーバ装置10が行う処理については後程詳しく説明する。
図2はサーバ装置10のハードウェア構成の一例を表す。サーバ装置10は、プロセッサ11と、メモリ12と、ストレージ13と、通信装置14と、バス15とを備えるコンピュータである。プロセッサ11は、例えば、オペレーティングシステムを動作させてコンピュータ全体を制御する。プロセッサ11は、周辺装置とのインターフェース、制御装置、演算装置、レジスタなどを含む中央処理装置(CPU:Central Processing Unit)を備える。
プロセッサ11は、プログラム及びデータ等をストレージ13及び通信装置14の少なくとも一方からメモリ12に読み出し、読み出したプログラム等に従って各種の処理を実行する。メモリ12は、例えばROM(Read Only Memory)及びRAM(Random Access Memory)等のコンピュータで読み取り可能な記録媒体である。ストレージ13は、ハードディスクドライブ等のコンピュータで読み取り可能な記録媒体である。
通信装置14は、有線ネットワーク及び無線ネットワークの少なくとも一方を介してコンピュータ間の通信を行うためのハードウェア(送受信デバイス)である。プロセッサ11及びメモリ12等の各装置は、情報を通信するためのバス15によって接続される。バス15は、単一のバスを用いて構成されてもよいし、装置間ごとに異なるバスを用いて構成されてもよい。
図3はユーザ端末20及び指導員端末30のハードウェア構成の一例を表す。ユーザ端末20及び指導員端末30は、プロセッサ21と、メモリ22と、ストレージ23と、通信装置24と、入力装置25と、出力装置26と、撮像装置27と、バス28とを備えるコンピュータである。図2に同名のハードウェアが表されているプロセッサ21等は、性能及び仕様等の違いはあるが図2と同種のハードウェアである。
入力装置25は、外部からの入力を受け付ける入力デバイス(例えばスイッチ、ボタン、センサなど)である。入力装置25は、写真を撮影する撮像装置(デジタルカメラなど)を含んでいる。出力装置26は、外部への出力を実施する出力デバイス(例えば、ディスプレイ、スピーカ、LEDランプなど)である。ユーザ端末20においては、入力装置25及び出力装置26は、一体となった構成(ディスプレイ及びタッチパネルが一体となったタッチスクリーン)を含む。撮像装置27は、レンズ、光学系及びイメージセンサ等を備え、イメージセンサに到達する光が表す画像を撮影する。
検査支援システム1が備える各装置における各機能は、各々のプロセッサ、メモリなどのハードウェア上に所定のソフトウェア(プログラム)を読み込ませることによって、プロセッサが演算を行い、各々の通信装置による通信を制御したり、メモリ及びストレージにおけるデータの読み出し及び書き込みの少なくとも一方を制御したりすることによって実現される。
図4は各装置が実現する機能構成を表す。サーバ装置10は、施設情報記憶部101と、印刷制御部102と、読取情報取得部103と、検査情報出力部104と、検査画像取得部111と、検査画像評価部112と、再撮影指示部113と、機械判定部121と、検査指示転送部122とを備える。ユーザ端末20は、コード読取部201と、検査情報記憶部202と、検査処理部203とを備える。指導員端末30は、機械判定表示部301と、指示操作受付部302と、検査指示伝達部303とを備える。
施設情報記憶部101は、食品衛生の検査が行われる施設に関する情報である施設情報を記憶する。具体的には、施設情報記憶部101は、食品衛生の検査が行われる施設とその施設について定められた検査方法を示す検査情報とを対応付けた情報を施設情報として記憶する。食品衛生の検査は、業種、事業形態、施設の設備環境、施設の規模及び扱う食材の種類等の要素に応じて適切な方法が定められる。
図5は施設情報の一例を表す。図5の例では、施設情報記憶部101は、施設A、B、Cに対して「大項目」、「中項目」、「検査項目」、「検査時期」及び「合格基準」をそれぞれ対応付けた情報を施設情報として記憶している。大項目としては、「従業員」、「食材」等が定められている。中項目としては、「手洗い」、「服装」等が定められている。検査項目は、図5では記号で表されているが、実際には検査の内容を説明する文章で表されているものとする。
例えば検査項目K−1は、例えば「手洗いを所定の時間以上行うこと」という検査の内容であるものとする。検査項目K−1に対する合格基準としては、例えばこの「所定の時間」が定められている。図5の例では、検査項目K−1に対する合格基準として、施設毎に異なる合格基準(施設Aは基準a、施設Bは基準b、施設Cは基準c)が対応付けられている。
また、例えば施設Aの手洗いには検査項目K−1、K−2、K−3が対応付けられているが、施設Bの手洗いには検査項目K−1、K−3だけが、施設Cの手洗いには検査項目K−1、K−2だけが対応付けられている。このように、施設情報記憶部101は、施設によって異なる検査項目を対応付けた施設情報を記憶している。
印刷制御部102は、施設に対応付けられた情報(以下「対応情報」と言う)を印刷する印刷データを出力する。対応情報とは、例えば、施設毎に個別に割り当てられた識別情報であり、具体的には施設ID(Identification)である。また、印刷制御部102は、本実施例では、コード化された対応情報を印刷する印刷データを出力する。
印刷制御部102は、例えば、施設IDを示す2次元コードを印刷する印刷データを、各施設についてそれぞれ出力する。図5の例では、施設情報記憶部101が、施設Aには「ID001」、施設Bには「ID002」、施設Cには「ID003」という施設ID(Identification)を識別情報として記憶している。そのため、これらの識別情報は、施設に対応付けられた情報となっている。
印刷制御部102は、例えば施設Aについては、「ID001」を示す2次元コードを印刷する印刷データを出力し、施設Bについては、「ID002」を示す2次元コードを印刷する印刷データを出力する。印刷制御部102は、上述した印刷装置3に対して印刷データを出力する。なお、コード化された対応情報は、2次元コードに限らず、1次元コードでもよいし、識別情報を所定のアルゴリズムで変換した記号の羅列等であってもよい。印刷装置3は、出力されてきた印刷データが示す対応情報を用紙等の媒体に印刷する。
図6は印刷された対応情報の一例を表す。図6の例では、「施設A」に対応付けられた対応情報である2次元コード5が用紙4に印刷されている。また、用紙4には、「施設A向け 食品衛生検査の支援情報」及び「検査アプリを起動し、以下の2次元コードを読み取ってください。」という文字列が印刷されている。このように、印刷制御部102は、対応情報を用いて食品衛生の検査を支援するための手順も示す印刷データを出力する。
コード読取部201は、印刷された対応情報である2次元コードを読み取る。コード読取部201は、自装置の撮像装置27が撮影した画像を解析して2次元コードが含まれている場合には、その2次元コードが示す情報を読み取る。コード読取部201は、図6の2次元コード5を読み取った場合には、施設Aの「ID001」という施設IDを読み取る。
コード読取部201は、読み取った情報(以下「読取情報」と言う)をサーバ装置10に送信する。サーバ装置10の読取情報取得部103は、送信されてきた読取情報を取得する。読取情報取得部103は、取得した読取情報を検査情報出力部104に供給する。こうして供給される読取情報は、前述したようにユーザ端末20が読み取った施設IDである。
検査情報出力部104は、上記のとおり読取情報(施設ID)が供給された場合、すなわち、対応情報を読み取り可能なユーザ端末20からそのユーザ端末20により読み取られた対応情報が送信されてきた場合に、その対応情報が対応付けられた施設と同じ施設に対応付けられた検査情報をそのユーザ端末20に対して出力する。
検査情報出力部104は、まず、供給された読取情報(施設ID)に対応付けて記憶されている検査情報を施設情報記憶部101から読み出す。そして、検査情報出力部104は、読み出した検査情報を、読取情報の送信元であるユーザ端末20に対して出力する。出力された検査情報は、ユーザ端末20の検査情報記憶部202に供給される。検査情報記憶部202には、コード読取部201が読み取った施設IDも供給される。
検査情報記憶部202は、供給された検査情報を、供給された施設IDに対応付けて記憶する。
図7は記憶された検査情報の一例を表す。図7(a)の例では、施設Aにおける検査情報が記憶されている。この場合の検査情報記憶部202を備えるユーザ端末20は、施設A向けに印刷された対応情報を読み取ったユーザ端末20である。
図7は記憶された検査情報の一例を表す。図7(a)の例では、施設Aにおける検査情報が記憶されている。この場合の検査情報記憶部202を備えるユーザ端末20は、施設A向けに印刷された対応情報を読み取ったユーザ端末20である。
また、図7(b)の例では、検査情報記憶部202を備えるユーザ端末20は、施設Bにおける検査情報が施設B向けに印刷された対応情報を読み取ったユーザ端末20である。以上のとおり検査情報が記憶されることで、食品衛生の検査の準備が整ったことになる。検査処理部203は、記憶された検査情報に基づいて、食品衛生の検査に関する処理を行う。検査処理部203は、まず、該当する施設向けの検査画面を表示する。
図8は表示された検査画面の一例を表す。図8の例では、検査処理部203は、大項目である「従業員」のタブT1、「食材」のタブT2、「器具・食器」のタブT3、「保管状況」のタブT4及び「環境」のタブT5と、後述する「判定」のタブT6を含む検査リストを、タブT1を開いた状態で表示している。「従業員」の表示領域C1には、中項目の「手洗い」の表示領域D1、「服装」の表示領域D2及び「手指目視検査」の表示領域D3等が含まれている。
以降の表示も検査処理部203によって行われるものとする。各中項目の表示領域には、検査項目「K−1」及び「K−2」等が表示されている。表示領域C1をスクロールさせると、表示されていない中項目の表示領域及び検査項目が表示される。検査項目の左側には、NGボタンE1、写真ボタンE2、コメントボタンE3及びOKボタンE4が表示されている。検査担当者が検査の結果を入力しようとする検査項目をタップ等の操作により選択すると、検査処理部203は、選択された検査項目だけを拡大して表示する。
図9は選択された検査項目の拡大表示の一例を表す。図9の例では、検査項目K−4が拡大して表示されている。拡大表示がされた状態で、NGボタンE1が押されると、「×」マーク(検査結果がNG、すなわち不合格であることを示すマーク)が表示され、OKボタンE4が押されると、「〇」マーク(検査結果がOKであることを示すマーク)が表示される。写真入力欄E5をタップすると、例えばユーザ端末20の撮像装置が起動されてユーザの操作により写真を撮影し、撮影された写真が写真入力欄E5に表示される。
なお、写真入力欄E5をタップした場合にユーザ端末20に記憶されている撮影済みの写真を取り込めるようにしてもよい。コメント入力欄E6には、手入力でコメントを入力してもよいし、コメント例文一覧E7に含まれている例文を選択することでコメントを入力してもよい。検査処理部203は、検査結果の入力操作を受け付けると、受け付けた入力操作の結果を表示する。
検査処理部203は、一時中断ボタンB1がタップされると、拡大表示した検査項目K−4への入力を一時中断するものと判断して、図8の検査画面に戻って検査項目の一覧を表示する。また、検査処理部203は、入力完了ボタンB2がタップされると、拡大表示した検査項目K−4への入力が完了したものと判断して、図8の検査画面に戻って検査項目の一覧を表示する。
また、検査処理部203は、検査結果テーブルを記憶しておき、入力完了ボタンB2がタップされた場合に、その時点までの入力操作の結果を検査結果として検査結果テーブルに反映する。
図10は検査結果テーブルの一例を表す。検査結果テーブルには、「施設ID」、「検査回数」、「検査項目」、「NG」、「OK」、「写真」、「コメント」及び「入力日時」がそれぞれ対応付けて格納されている。
図10は検査結果テーブルの一例を表す。検査結果テーブルには、「施設ID」、「検査回数」、「検査項目」、「NG」、「OK」、「写真」、「コメント」及び「入力日時」がそれぞれ対応付けて格納されている。
「施設ID」及び「検査回数」は、検査処理部203が検査結果テーブルを生成する際に格納されている。図10の例では、該当する施設IDの検査結果テーブルを初めて生成したので、「1」回が「検査回数」として格納されている。「NG」は検査が不合格であったことを意味し、「OK」は検査が合格であったことを意味する。「NG」の入力は「×」、「OK」の入力は「〇」で表されている。
写真は画像データのファイル名で、コメントはテキストデータのファイル名で表されている。入力日時は年月日で表されているが、詳細な時刻まで表されていてもよい。検査処理部203は、検査結果テーブルに格納された検査結果を参照して、検査結果の集計処理を行う。集計処理とは、共通の検査結果(例えばOKの検査結果)の件数を合計した値を集計値として算出する処理である。
また、集計処理には、算出した集計値に基づいてさらに別の値を算出する処理も含まれる。具体的には、検査処理部203は、OKの検査結果を集計し、検査項目の全体数に対するOKの集計値の割合(以下「評価率」と言う)を大項目毎及び全体について算出する処理を行う。評価率は、この値が高いほど衛生管理のために実施すべき作業が実施されていることを意味する値であり、より安全な食品の供給が期待できることを示す指標として利用可能である。
検査処理部203は、評価率の算出において、各検査項目の検査結果を一律ではなく重みを付けて扱う。例えば検査項目が50個ある場合、一律に扱うと1つのNGにつき評価率が2%減少する。これに対し、各検査項目に重みを付けることで、例えば重要度が高い検査項目がNGだと3%減少し、重要度が低い検査項目だと1%減少するというように評価率が算出される。
重要度とは、例えば、食品衛生に対する影響が大きい検査項目ほど重要度が高いという意味である。重要度を加味した重み付けをすることで、重要度を加味しない場合に比べて、評価率の上記指標としての信頼性を高めることができる。検査処理部203は、図8に表す「判定」のタブT6を押す操作が行われると、先に行った集計の結果を表示する。
図11は表示された集計結果の一例を表す。検査処理部203は、大項目毎の評価率を示す結果表F1と、大項目毎の評価率を示すレーダーチャートF2とを表示している。また、検査処理部203は、全体の評価率を「総合評価」として示し、総合評価に応じて決まる呼称である「優秀店」及び総合評価に応じて決まる評価ランクの「S」という文字列を表示している。
これらの呼称及び評価ランクは、総合評価の値に応じて例えば「優秀店」及び「S」、「優良店」及び「A」、「良店」及び「B」、「要改善点」及び「C」というように定められる。検査画面に表示されている入力完了ボタンB2を押す操作が行われると、検査処理部203は、検査結果テーブルを更新して記憶する。記憶された検査結果には、施設ID及び検査回数が含まれているため、どの施設の何回目の検査結果であるかが分かるようになっている。
検査処理部203は、ユーザによって入力されて検査に用いられた画像(以下「検査画像」と言う)をサーバ装置10に送信する。検査画像は、例えば、シンク、手洗い場、床及び冷蔵庫等の検査対象を撮影した写真である。検査画像取得部111は、送信されてきた検査画像を受信し、その検査画像、すなわち、食品を扱う施設における食品衛生の検査対象の画像を取得する。検査画像取得部111は本発明の「画像取得部」の一例である。
検査画像取得部111は、取得した検査画像を検査画像評価部112に供給する。検査画像評価部112は、検査画像取得部111により取得された検査画像の特徴量に基づきその検査画像の検査用の画像としての品質を評価する。検査画像評価部112は本発明の「評価部」の一例である。検査画像評価部112は、例えば、検査対象が共通する様々な施設のサンプルの検査画像の特徴量とその検査画像の検査用の画像としての品質の高さとを対応付けた検査画像テーブルを記憶しておく。
検査画像評価部112は、取得された検査画像の特徴量を算出すると、算出した特徴量と検査画像テーブルに格納されている特徴量とを比較して取得された検査画像との類似度を各サンプルの検査画像について算出する。検査画像評価部112は、類似度が最も高いサンプルの検査画像に対応付けられている品質を、取得された検査画像の品質として評価する。
検査画像評価部112は、品質の評価結果を再撮影指示部113に供給する。再撮影指示部113は、取得された検査画像が所定の品質と評価された場合に、その評価に用いた検査画像に写る検査対象の再撮影の指示を示す指示データを前述した宛先(本実施例ではユーザ端末20)に送信する。この場合の指示データは本発明の「第2指示データ」の一例であり、再撮影指示部113は本発明の「第2送信部」の一例である。
また、再撮影指示部113は、検査対象の撮影用のサンプル画像をユーザ端末20に表示させるためのデータを指示データとして送信する。再撮影指示部113は、例えば、所定の品質と評価された検査画像に写る検査対象について、検査画像テーブルにおいて最も品質が高いと評価されているサンプルの検査画像をサンプル画像として送信する。本実施例では、検査対象が同じであれば、どの施設で用いられるユーザ端末20に対しても同じサンプル画像が送信される。
ユーザ端末20の検査処理部203は、送信されてきた指示データが示すサンプル画像を含む検査画面を表示する。なお、再撮影指示部113は、サンプル画像そのものを示すデータを送信するものに限らず、例えばサンプル画像の保存先及びファイル名を示すデータを、前述した表示させるためのデータとして送信してもよい。
図12は表示された検査画面の一例を表す。図12の例では、検査処理部203が、図15に表す判定結果等に加えて、指示内容の隣にサンプル画像F1を表示している。検査員は、表示されたサンプル画像F1を参考にして、検査対象を再度撮影し、2回目の検査画像として入力する。以降は、図8、図9の説明で述べたように検査の入力が行われる。
再撮影指示部113は、取得された検査画像が所定の品質ではないと評価された場合には、その旨を検査画像取得部111に通知する。検査画像取得部111は、この通知を受け取ると、取得した検査画像を機械判定部121に供給する。機械判定部121は、検査画像を受け取った場合、すなわち検査画像が所定の品質ではないと評価された場合に、次の判定を行う。
機械判定部121は、検査画像取得部111により取得された検査画像の特徴量に基づきその検査画像に写る検査対象に対する検査の判定を行う。機械判定部121は本発明の「判定部」の一例である。機械判定部121は、例えば過去の検査で用いられた検査画像と、その検査画像に基づき人が行った検査結果とを教師データとして、検査画像の特徴量と正しい検査結果との関係を学習する。
検査画像の特徴量としては、例えば、SIFT(Scaled Invariance. Feature Transform)特徴量、SURF(Speeded-Up Robust Features)特徴量又はHOG(Histograms of Oriented Gradients)特徴量等のうち1以上の特徴量が用いられればよい。機械判定部121は、取得された検査画像の特徴量に対して学習した関係が成り立つ検査結果を判定する。
なお、機械判定部121は、いわゆるAI(Artificial Intelligence)技術を用いて検査の判定を行ってもよいし、又は、技術者等が研究して定めたアルゴリズムを用いて検査の判定を行ってもよい。要するに、機械判定部121は、人の手を煩わせることなく検査の判定を行うものであればよく、その判定の精度が高いほど(検査の熟練者の判断と一致する程)望ましい。
機械判定部121は、判定が所定の結果である場合に、その判定に用いた検査画像を指導員端末30に送信する。所定の結果としては、本実施例では、図8に表すNGボタンE1を押した場合の結果と同じく、検査が不合格という結果が用いられる。なお、所定の結果としては、例えば検査が合格であっても食中毒のリスク低減に重大な影響がある検査項目の判定結果が用いられてもよい。機械判定部121は、不合格と判定した検査項目について入力された検査画像を指導員端末30に送信する。
指導員端末30の機械判定表示部301は、サーバ装置10から送信されてきた判定結果を表示する。
図13は表示された判定結果の一例を表す。図13の例では、機械判定表示部301が、検査項目「K1−3」のNGの判定結果、検査画像及びコメントと、検査項目「K1−8」のNGの判定結果、検査画像及びコメントとを表示している。
図13は表示された判定結果の一例を表す。図13の例では、機械判定表示部301が、検査項目「K1−3」のNGの判定結果、検査画像及びコメントと、検査項目「K1−8」のNGの判定結果、検査画像及びコメントとを表示している。
表示された検査画像は、指導員端末30を利用する指導員によって閲覧される。このように、機械判定部121は、判定に用いた検査画像を送信することで、その判定に用いた検査画像を指導員に提示する。機械判定部121は本発明の「提示部」の一例である。機械判定表示部301は、検査項目の指示を作成する指示画面を表示するための指示作成ボタンB3を表示している。
指導員は、提示された検査画像及びコメントを見て、判定結果が妥当であるか否かを判断する。指導員は、或る検査項目の判定結果が妥当でない場合、その検査項目の指示作成ボタンB3を押す操作を行い、指示画面を表示させる。
図14は表示された指示画面の一例を表す。図14の例では、機械判定表示部301が、図13に表す検査項目「K1−3」のNGの判定結果、検査画像及びコメントの下に、指導員が指示を入力するための指示入力欄E8を表示している。
図14は表示された指示画面の一例を表す。図14の例では、機械判定表示部301が、図13に表す検査項目「K1−3」のNGの判定結果、検査画像及びコメントの下に、指導員が指示を入力するための指示入力欄E8を表示している。
指導員が指示入力欄E8に指示内容を入力して指示確定ボタンB4を押す操作を行うと、指示操作受付部302は、これらの操作、すなわち指導員による指示操作を受け付ける。指示操作受付部302は、受け付けた指示操作により入力された指示を示す指示データを検査指示伝達部303に供給する。検査指示伝達部303は、供給された指示データが示す指示を、ユーザ端末20を利用する検査担当者に伝達する。検査指示伝達部303は、本実施例では、供給された指示データをサーバ装置10に送信する。
サーバ装置10の検査指示転送部122は、送信されてきた指示データ、すなわち、機械判定部121により提示された検査画像に基づき指導者が行う指示を示す指示データを、ユーザ端末20に対して転送(送信)する。転送先であるユーザ端末20は、施設に対応付けられた宛先となる。この場合の指示データは本発明の「第1指示データ」の一例であり、検査指示転送部122は本発明の「第1送信部」の一例である。ユーザ端末20の検査処理部203は、転送されてきた指示データが示す指示を含む検査画面を表示する。
図15は表示された検査画面の一例を表す。図15の例では、検査処理部203が、図13に表す検査項目「K1−3」のNGの判定結果、1回目の検査画像及び1回目のコメントの下に、指導員による指示内容と、撮り直した2回目の検査画像の入力欄E9及び2回目のコメントの入力欄E10とを表示している。なお、図15には現れていないが、画面を下にスクロールすると図9に示す一時中断ボタンB1及び入力完了ボタンB2が表示され、図9の例と同様に入力がされるものとする。
サーバ装置10及びユーザ端末20は、上記の構成に基づいて、印刷された対応情報に基づいて検査情報を記憶する記憶処理と、指導員による遠隔からの指導を支援する指導支援処理とを行う。
図16は記憶処理における各装置の動作手順の一例を表す。図16の動作手順は、例えば、検査支援システム1の運用者が各施設向けに対応情報の印刷をサーバ装置10に対して指示する操作を外部装置等から行うことを契機に開始される。
図16は記憶処理における各装置の動作手順の一例を表す。図16の動作手順は、例えば、検査支援システム1の運用者が各施設向けに対応情報の印刷をサーバ装置10に対して指示する操作を外部装置等から行うことを契機に開始される。
まず、サーバ装置10(印刷制御部102)は、コード化された対応情報(本実施例では施設の識別情報を示す2次元コード)を印刷する印刷データを出力してその対応情報を用紙等の媒体に印刷する(ステップS11)。次に、ユーザ端末20(コード読取部201)は、印刷された対応情報である2次元コードを読み取る(ステップS21)。次に、ユーザ端末20(コード読取部201)は、読み取った情報である読取情報(2次元コードが示す施設ID)をサーバ装置10に送信する(ステップS22)。
サーバ装置10(読取情報取得部103)は、送信されてきた読取情報を取得する(ステップS23)。次に、サーバ装置10(検査情報出力部104)は、取得された読取情報(施設ID)に対応付けて記憶されている検査情報を施設情報記憶部101から読み出す(ステップS24)。続いて、サーバ装置10(検査情報出力部104)は、読み出した検査情報を、読取情報の送信元であるユーザ端末20に対して出力する(ステップS25)。ユーザ端末20(検査情報記憶部202)は、出力されてきた検査情報を施設IDに対応付けて記憶する(ステップS26)。
図17は指導支援処理における各装置の動作手順の一例を表す。図17の動作手順は、例えば、検査担当者が検査画面を表示させる操作をユーザ端末20に対して行うことを契機に開始される。まず、ユーザ端末20(検査処理部203)は、図16の動作手順で記憶した検査項目を含む検査画面を表示して、検査担当者による検査の入力を受け付ける検査処理を行う(ステップS31)。
次に、ユーザ端末20(検査処理部203)は、検査処理により入力された検査画像をサーバ装置10に送信する(ステップS32)。サーバ装置10(検査画像取得部111)は、送信されてきた検査画像を取得する(ステップS33)。次に、サーバ装置10(検査画像評価部112)は、取得された検査画像の特徴量に基づきその検査画像の検査用の画像としての品質を評価する(ステップS34)。
図17の例では、ステップS34において所定の品質が評価されたものとする。その場合、サーバ装置10(再撮影指示部113)は、その評価に用いた検査画像に写る検査対象の再撮影の指示を示す指示データをユーザ端末20に送信する(ステップS41)。ユーザ端末20(検査処理部203)は、検査担当者の操作により再度検査対象を撮影し(ステップS42)、撮影した画像、すなわち検査画像をサーバ装置10に送信する(ステップS43)。
サーバ装置10は、ステップS44、S45において、ステップS33、S34と同じ動作を行う。図17の例では、ステップS34において所定の品質ではないと評価されたものとする。その場合、サーバ装置10(機械判定部121)は、ステップS44において取得された検査画像の特徴量に基づきその検査画像に写る検査対象に対する検査の判定を行う(ステップS46)。
図17の例では、ステップS46における判定が上述した所定の結果(例えば不合格という結果)であったものとする。その場合、サーバ装置10(機械判定部121)は、所定の結果と判定した検査項目について入力された検査画像を指導員端末30に送信する(ステップS51)。指導員端末30(機械判定表示部301)は、送信されてきた判定結果を表示する(ステップS52)。
次に、指導員端末30(指示操作受付部302)は、指導員による指示操作を受け付ける(ステップS53)。続いて、指導員端末30(検査指示伝達部303)は、指導員により入力された指示を示す指示データをサーバ装置10を介してユーザ端末20に送信することで、ユーザ端末20を利用する検査担当者に指導員からの指示を伝達する(ステップS54)。
サーバ装置10(検査指示転送部122)は、送信されてきた指示データ、すなわち、提示された検査画像に基づき指導者が行う指示を示す指示データを、ユーザ端末20に対して転送(送信)する(ステップS55)。ユーザ端末20(検査処理部203)は、転送されてきた指示データが示す指示を含む検査画面を表示する(ステップS56)。そして、ユーザ端末20(検査処理部203)は、検査画面を表示して、検査担当者による検査の入力を受け付ける検査処理を行う(ステップS57)。
本実施例では、上記のとおり、指導者が現地に行かなくても検査担当者による食品衛生の検査への遠隔からの関与を可能にすることができる。また、本実施例では、検査用の画像としての品質が低いと判定された場合は再撮影させて品質が良くなった検査画像が指導者に提示される。これにより、指導者が検査画像の再撮影を指示することが少なくなり、指導者の手間を少なくすることができる。
また、本実施例では、図12に表したように検査対象の撮影用のサンプル画像が表示される。これにより、サンプル画像が表示されない場合に比べて、再撮影された検査画像の検査用の画像としての品質を高くすることができる。また、本実施例では、サーバ装置10が機械的に検査を行い所定の結果である検査画像だけが指導者に提示される。これにより、全ての検査画像が指導者に提示される場合に比べて、指導者が指示する検査項目の件数を減らし、指導者が遠隔から支援可能な施設の数を増やすことができる。
[2]変形例
上述した実施例は本発明の実施の一例に過ぎず、以下のように変形させてもよい。また、実施例及び各変形例は、必要に応じて組み合わせて実施してもよい。
上述した実施例は本発明の実施の一例に過ぎず、以下のように変形させてもよい。また、実施例及び各変形例は、必要に応じて組み合わせて実施してもよい。
[2−1]サンプル画像
実施例では、検査対象が同じであれば、どの施設で用いられるユーザ端末20に対しても同じサンプル画像が送信されたが、施設によってサンプル画像を異ならせてもよい。本変形例の再撮影指示部113は、施設の種類に応じたサンプル画像(検査対象の撮影用のサンプル画像)をユーザ端末20に表示させるためのデータを指示データとして送信する。
実施例では、検査対象が同じであれば、どの施設で用いられるユーザ端末20に対しても同じサンプル画像が送信されたが、施設によってサンプル画像を異ならせてもよい。本変形例の再撮影指示部113は、施設の種類に応じたサンプル画像(検査対象の撮影用のサンプル画像)をユーザ端末20に表示させるためのデータを指示データとして送信する。
再撮影指示部113は、例えば、施設の種類とサンプル画像とを対応付けたサンプル画像テーブルを用いる。
図18はサンプル画像テーブルの一例を表す。図18の例では、「大規模」、「中規模」、「小規模」という施設の種類(施設の規模によって分類される種類)にそれぞれ、検査項目及びサンプル画像が対応付けられている。
図18はサンプル画像テーブルの一例を表す。図18の例では、「大規模」、「中規模」、「小規模」という施設の種類(施設の規模によって分類される種類)にそれぞれ、検査項目及びサンプル画像が対応付けられている。
再撮影指示部113は、例えば、ユーザ端末20の識別情報とそのユーザ端末20に対応付けられた施設の規模とを対応付けたリストを記憶しておく。そして、再撮影指示部113は、指示データの送信先となるユーザ端末20の識別情報に対応付けられている施設の規模にサンプル画像テーブルにおいて対応付けられているサンプル画像を読み出し、読み出したサンプル画像を施設の種類に応じたサンプル画像としてそのユーザ端末20に送信する。
なお、施設の種類は施設の規模で分類される種類に限らない。例えば、施設で行われている事業の業種が施設の種類として用いられてもよい。例えば特定の業種においてはその業種に特有の設備が施設に設けられる場合、再撮影指示部113は、その業種にその設備のサンプル画像が対応付けられたサンプル画像テーブルを用いてサンプル画像を読み出して送信する。
また、施設の所在する地域が施設の種類として用いられてもよい。例えば寒冷地と温暖な地で設けられる設備が異なるという場合に、再撮影指示部113は、地域とその地域で設けられる設備のサンプル画像とが対応付けられたサンプル画像テーブルを用いてサンプル画像を読み出して送信する。なお、設備だけでなく道具又は食材等が施設の種類毎に異なっている場合、再撮影指示部113は、それらの種類に対応付けられたサンプル画像を読み出して送信する。
いずれの種類が用いられる場合も、その種類の施設に特有の設備等を写した画像がサンプル画像として用いられるので、施設の種類に関係なく一律のサンプル画像が用いられる場合に比べて、再撮影においてより参考になるサンプル画像を表示させることができる。
[2−2]機械判定の信頼度
機械判定部121は、教師データとして実際に判定した検査画像とその検査画像に基づき人が判断した判定結果とを用いるいわゆるフィードバックを行ってもよい。その場合、フィードバックの量が増えるほど判定の信頼度が向上する。言い換えると、フィードバックの量が少ないうちは判定の信頼度が高くない。
機械判定部121は、教師データとして実際に判定した検査画像とその検査画像に基づき人が判断した判定結果とを用いるいわゆるフィードバックを行ってもよい。その場合、フィードバックの量が増えるほど判定の信頼度が向上する。言い換えると、フィードバックの量が少ないうちは判定の信頼度が高くない。
そこで、機械判定部121は、判定する検査対象に関する検査の実績が少ないほど、その検査対象の検査結果を上述した所定の結果として判断しやすくする。機械判定部121は、例えば、検査実績と所定の結果とを対応付けた結果テーブルを用いる。
図19は結果テーブルの一例を表す。図19の例では、「Th1未満」、「Th1以上Th2未満」、「Th2以上」という検査実績に、「2回連続不合格」、「不合格」、「不合格及び特定の検査対象」という所定の結果が対応付けられている。
図19は結果テーブルの一例を表す。図19の例では、「Th1未満」、「Th1以上Th2未満」、「Th2以上」という検査実績に、「2回連続不合格」、「不合格」、「不合格及び特定の検査対象」という所定の結果が対応付けられている。
機械判定部121は、まず、検査対象について検査の判定を行うと、その検査対象に対応付けた検査の回数に「1」を加算して、検査実績を更新する。そして、機械判定部121は、検査対象について新たな検査の判定を行う際に、その検査対象の検査実績を読み出し、読み出した検査実績に結果テーブルで対応付けられている所定の結果を用いて、検査の判定結果が所定の結果であるか否かを判断する。
例えば、機械判定部121は、検査実績がTh1未満である場合には「2回連続不合格」である場合に所定の結果であると判断する。また、機械判定部121は、検査実績がTh2以上である場合には「不合格及び特定の検査対象」である場合に所定の結果であると判断する。
本変形例によれば、判定の信頼度が高い検査対象ほど指導者に提示されにくくなるので、所定の結果が一律である場合に比べて、指導者の負担を軽減することができる。また、判定の信頼度が低い検査対象ほど指導者に提示されやすくなるので、所定の結果が一律である場合に比べて、不適切な検査結果が見逃される可能性を軽減することができる。
[2−3]検査画像
検査画像は、実施例では写真、すなわち静止画であったが、動画であってもよい。動画の場合に、検査画像評価部112は、動画から切り出した静止画に基づき検査画像の品質を評価してもよいし、一定期間の動画に基づき検査画像の品質を評価してもよい。また、機械判定部121も、動画から切り出した静止画に基づき検査の判定を行ってもよいし、一定期間の動画に基づき検査の判定を行ってもよい。
検査画像は、実施例では写真、すなわち静止画であったが、動画であってもよい。動画の場合に、検査画像評価部112は、動画から切り出した静止画に基づき検査画像の品質を評価してもよいし、一定期間の動画に基づき検査画像の品質を評価してもよい。また、機械判定部121も、動画から切り出した静止画に基づき検査の判定を行ってもよいし、一定期間の動画に基づき検査の判定を行ってもよい。
[2−4]広角カメラ
検査対象の撮影に広角カメラが用いられてもよい。広角カメラとは、標準的なレンズに比べて画角が広いいわゆる広角レンズを用いたカメラのことである。例えば店舗において天井に広角カメラを設置することで、厨房、食器洗い場及び手洗い場等の複数の検査対象を同時に撮影することも可能である。広角カメラは、撮影した画像をサーバ装置10に送信する。
検査対象の撮影に広角カメラが用いられてもよい。広角カメラとは、標準的なレンズに比べて画角が広いいわゆる広角レンズを用いたカメラのことである。例えば店舗において天井に広角カメラを設置することで、厨房、食器洗い場及び手洗い場等の複数の検査対象を同時に撮影することも可能である。広角カメラは、撮影した画像をサーバ装置10に送信する。
検査画像取得部111は、送信されてきた画像、すなわち、施設に設置された広角カメラの画像を取得する。広角カメラで撮影された画像は、標準レンズで撮影された画像に比べて物体が歪んで写っているので、検査画像評価部112は、広角カメラで撮影された画像に写っている検査対象の歪みを補正する。機械判定部121は、例えば、広角カメラの画像から検査対象が写っている部分を切り出す。
機械判定部121は、例えば画像認識処理によって検査対象と認識された物体を含む部分を切り出す。なお、機械判定部121は、人の手で設定された範囲を検査対象が写っている部分として切り出してもよい。機械判定部121は、例えば、切り出した画像に含まれる各画素の広角カメラの画像における座標と、歪み及び傾きを補正した場合の座標との変換パラメータを用いた座標変換を行い、補正後の画像を生成する。
機械判定部121は、生成された補正後の画像を検査画像として用いて、検査画像に写る検査対象に対する検査の判定を行う。機械判定部121は、判定に用いた検査画像、すなわち、判定に用いた画像に写っている検査対象の歪みを補正した画像を送信することで、その判定に用いた検査画像を指導員に提示する。
広角カメラとして、360度カメラが用いられてもよい。360度カメラとは、複数のレンズを通して撮影し、撮影した画像を繋ぎ合わせることで前後左右のどの方向も撮影可能なカメラのことである。360度カメラは、例えば、水平画角360度、垂直画角180度の視野角を有する。例えば店舗において天井に360度カメラを設置することで、厨房、食器洗い場及び手洗い場等の複数の検査対象を全て同時に撮影することも可能である。
上記のとおり広角カメラ(360度カメラを含む)を用いると、施設にカメラを設置して検査対象を撮影する場合に、標準レンズを有するカメラに比べて設置するカメラの数を少なくすることができる。また、広角カメラは標準レンズのカメラに比べて物体が歪んで写りやすいが、本変形例では上記のとおり画像の歪みを補正するので、この補正をしない場合に比べて、検査対象の状態をより正しく把握することができる。
[2−5]検査画像の提示前の処理
検査画像の指導員への提示前に行われる処理は、実施例で述べたものに限らない。例えば、実施例では、機械判定部121による判定が所定の結果である場合に、その判定に用いた検査画像が指導員に提示され、遠隔からの指示が行われたが、判定が所定の結果であるか否かに関わらず、機械判定部121がその判定に用いた検査画像を指導員に提示し、遠隔からの指示が行われてもよい。
検査画像の指導員への提示前に行われる処理は、実施例で述べたものに限らない。例えば、実施例では、機械判定部121による判定が所定の結果である場合に、その判定に用いた検査画像が指導員に提示され、遠隔からの指示が行われたが、判定が所定の結果であるか否かに関わらず、機械判定部121がその判定に用いた検査画像を指導員に提示し、遠隔からの指示が行われてもよい。
また、実施例では、取得された検査画像が検査画像評価部112により所定の品質と評価された場合に、再撮影指示部113が再撮影の指示を示す指示データを送信したが、検査画像の評価及び再撮影の指示が行われなくてもよい。いずれの場合でも、実施例と同様に、指導者が現地に行かなくても検査担当者による食品衛生の検査を遠隔から支援することができる。
[2−6]指示データ
再撮影指示部113及び検査指示伝達部303が送信する指示データは、文字列及び画像を示すデータに限らず、例えば音声を示すデータであってもよい。その場合、ユーザ端末20においてその指示データが示す音声をスピーカ等から出力することで、指導者による指導を現場の担当者に伝えることができる。
再撮影指示部113及び検査指示伝達部303が送信する指示データは、文字列及び画像を示すデータに限らず、例えば音声を示すデータであってもよい。その場合、ユーザ端末20においてその指示データが示す音声をスピーカ等から出力することで、指導者による指導を現場の担当者に伝えることができる。
[2−7]指示タイミング
再撮影指示部113及び検査指示伝達部303により指示データが送信されるタイミングは、特に限定されない。例えば、現場で検査が行われている最中に指導者が指示を入力して、リアルタイムに指示データが送信されてもよい。また、検査指示伝達部303の場合、現場での検査が終了した後に、指導者が自分の都合のよい時間に検査結果を見て指示を入力して、現場の検査とはタイミングをずらして指示データを送信してもよい。
再撮影指示部113及び検査指示伝達部303により指示データが送信されるタイミングは、特に限定されない。例えば、現場で検査が行われている最中に指導者が指示を入力して、リアルタイムに指示データが送信されてもよい。また、検査指示伝達部303の場合、現場での検査が終了した後に、指導者が自分の都合のよい時間に検査結果を見て指示を入力して、現場の検査とはタイミングをずらして指示データを送信してもよい。
上記のとおり指示のタイミングをずらすことで、検査の担当者も指導者も自分の都合のよい時間に作業を行うことができる。検査支援システム1においては、指導者が地理的な制限なく指導を行うだけでなく、時間的な制限もなく指導を行うことができる。なお、遠隔での検査支援のサービスを提供する事業者は、リアルタイムでの遠隔指示とタイミングを異ならせた遠隔指示とで料金を異ならせてもよい(リアルタイムの方が高額にするとよい)。
[2−8]指示データの送信先
検査指示転送部122及び再撮影指示部113は、実施例では検査担当者が利用するユーザ端末20に指示データを送信したが、指示データの送信先はこれに限らない。例えば、検査担当者の電子メールアドレス又はSNS(Social Networking Service)のアカウントを送信先としてもよいし、飲食店のグループを管理する管理担当者が利用する端末を送信先としてもよい。
検査指示転送部122及び再撮影指示部113は、実施例では検査担当者が利用するユーザ端末20に指示データを送信したが、指示データの送信先はこれに限らない。例えば、検査担当者の電子メールアドレス又はSNS(Social Networking Service)のアカウントを送信先としてもよいし、飲食店のグループを管理する管理担当者が利用する端末を送信先としてもよい。
[2−9]検査画像の送信先
実施例では指導員が一人であったが、複数人いる場合もある。その場合に、機械判定部121は、不合格と判定した検査項目について入力された検査画像を送信する指導員端末30を選択してもよい。例えば、複数の指導員がそれぞれ異なる専門分野を有しているものとする。
実施例では指導員が一人であったが、複数人いる場合もある。その場合に、機械判定部121は、不合格と判定した検査項目について入力された検査画像を送信する指導員端末30を選択してもよい。例えば、複数の指導員がそれぞれ異なる専門分野を有しているものとする。
専門分野とは、例えば検査を行う施設の業種(ファーストフード、レストラン、居酒屋、食品工場及び食品流通等)である。例えば、ファーストフードでの検査に詳しい指導員もいれば、居酒屋での検査に詳しい指導員もいるという具合である。他にも、例えば、指導員が検査対象の設備毎に専門分野を有していてもよい。例えば、水周りに関する検査に詳しい指導員もいれば、食材に関する検査に詳しい指導員もいるという具合である。
いずれの場合も、機械判定部121は、不合格と判定した検査項目に詳しい専門分野の指導員が利用する指導員端末30に検査画像を送信する。これにより、検査担当者は、常に特定の指導員端末30に検査画像が送信される場合に比べて、より該当する検査業務に詳しい指導員による遠隔支援を受けることができる。
なお、上記以外にも、機械判定部121は、例えば、不合格と判定した検査項目の判断の難しさに応じたレベルの指導員が利用する指導員端末30に検査画像を送信してもよい。ここでいうレベルとは、検査業務を正しく行うためのスキル(知識及び技術等)の高さのことである。これにより、常に特定の指導員端末30に検査画像が送信される場合に比べて、判断が難しい検査項目に対して十分なスキルを持つ指導員による遠隔支援が提供されやすいようにすることができる。
[2−10]検査の主体
食品衛生の検査を行う主体は、現地の担当者であってもよいし、遠隔にいる指導員であってもよい。指導員が主体となって遠隔から検査を行う場合でも、指導員は、指導員端末30を操作して、例えば検査対象の撮影方法を指示する。その指示により検査対象の画像が撮影されると、実施例と同様に、検査画像の品質の評価、再撮影の指示、検査画像の指導員への提示及び指導員の指示等が行われる。
食品衛生の検査を行う主体は、現地の担当者であってもよいし、遠隔にいる指導員であってもよい。指導員が主体となって遠隔から検査を行う場合でも、指導員は、指導員端末30を操作して、例えば検査対象の撮影方法を指示する。その指示により検査対象の画像が撮影されると、実施例と同様に、検査画像の品質の評価、再撮影の指示、検査画像の指導員への提示及び指導員の指示等が行われる。
[2−11]各機能を実現する装置
図4に表す各機能を実現する装置は、上述した装置に限らない。例えば、サーバ装置10が実現する機能を2以上の装置で分担して実現してもよいし、ユーザ端末20又は指導員端末30が実現する機能を2以上の装置で分担して実現してもよい。いずれの場合も、検査支援システム1の全体で図4に表す各機能が実現されていればよい。
図4に表す各機能を実現する装置は、上述した装置に限らない。例えば、サーバ装置10が実現する機能を2以上の装置で分担して実現してもよいし、ユーザ端末20又は指導員端末30が実現する機能を2以上の装置で分担して実現してもよい。いずれの場合も、検査支援システム1の全体で図4に表す各機能が実現されていればよい。
[2−12]発明のカテゴリ
本発明は、上述したサーバ装置10、ユーザ端末20及び指導員端末30という各情報処理装置の他、各情報処理装置を備える情報処理システム(検査支援システム1はその一例)としても捉えられる。また、本発明は、各情報処理装置が実施する処理を実現するための情報処理方法としても捉えられるし、各情報処理装置を制御するコンピュータを機能させるためのプログラムとしても捉えられる。本発明として捉えられるプログラムは、プログラムを記憶させた光ディスク等の記録媒体の形態で提供されてもよいし、インターネット等のネットワークを介してコンピュータにダウンロードさせ、ダウンロードしたプログラムをインストールして利用可能にするなどの形態で提供されてもよい。
本発明は、上述したサーバ装置10、ユーザ端末20及び指導員端末30という各情報処理装置の他、各情報処理装置を備える情報処理システム(検査支援システム1はその一例)としても捉えられる。また、本発明は、各情報処理装置が実施する処理を実現するための情報処理方法としても捉えられるし、各情報処理装置を制御するコンピュータを機能させるためのプログラムとしても捉えられる。本発明として捉えられるプログラムは、プログラムを記憶させた光ディスク等の記録媒体の形態で提供されてもよいし、インターネット等のネットワークを介してコンピュータにダウンロードさせ、ダウンロードしたプログラムをインストールして利用可能にするなどの形態で提供されてもよい。
1…検査支援システム、3…印刷装置、10…サーバ装置、20…ユーザ端末、30…指導員端末、101…施設情報記憶部、102…印刷制御部、103…読取情報取得部、104…検査情報出力部、111…検査画像取得部、112…検査画像評価部、113…再撮影指示部、121…機械判定部、122…検査指示転送部、201…コード読取部、202…検査情報記憶部、203…検査処理部、301…機械判定表示部、302…指示操作受付部、303…検査指示伝達部。
Claims (8)
- 食品を扱う施設における食品衛生の検査の対象の画像を取得する画像取得部と、
取得された前記画像を前記検査の指導者に提示する提示部と、
提示された前記画像に基づき前記指導者が行う指示を示す第1指示データを前記施設に対応付けられた宛先に送信する第1送信部と
を備える情報処理装置。 - 取得された前記画像の特徴量に基づき当該画像に写る前記検査の対象に対する検査の判定を行う判定部を備え、
前記提示部は、前記判定が所定の結果である場合に、当該判定に用いた画像を前記検査の指導者に提示する
請求項1に記載の情報処理装置。 - 取得された前記画像の特徴量に基づき当該画像の検査用の画像としての品質を評価する評価部と、
取得された前記画像が所定の品質と評価された場合に、当該評価に用いた画像に写る検査対象の再撮影の指示を示す第2指示データを前記宛先に送信する第2送信部とを備える
請求項2に記載の情報処理装置。 - 前記第2送信部は、前記検査の対象の撮影用のサンプル画像を表示させるためのデータを前記第2指示データとして送信する
請求項3に記載の情報処理装置。 - 前記第2送信部は、前記施設の種類に応じた前記サンプル画像を表示させるためのデータを前記第2指示データとして送信する
請求項4に記載の情報処理装置。 - 前記提示部は、前記判定がされた前記検査の対象に関する検査の実績が少ないほど、当該検査の対象の検査結果を前記所定の結果として判断しやすくする
請求項2から5のいずれか1項に記載の情報処理装置。 - 前記画像取得部は、前記施設に設置された広角カメラの画像を取得し、
前記提示部は、前記判定に用いた画像に写っている前記検査の対象の歪みを補正した画像を前記指導者に提示する
請求項2から6のいずれか1項に記載の情報処理装置。 - 前記第1送信部は、前記検査の対象の撮影用のサンプル画像を表示させるためのデータを前記第1指示データとして送信する
請求項1から7のいずれか1項に記載の情報処理装置。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2020104824A JP2021197035A (ja) | 2020-06-17 | 2020-06-17 | 情報処理装置 |
PCT/JP2020/039938 WO2021255953A1 (ja) | 2020-06-17 | 2020-10-23 | 情報処理装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2020104824A JP2021197035A (ja) | 2020-06-17 | 2020-06-17 | 情報処理装置 |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2021197035A true JP2021197035A (ja) | 2021-12-27 |
Family
ID=79195686
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2020104824A Pending JP2021197035A (ja) | 2020-06-17 | 2020-06-17 | 情報処理装置 |
Country Status (2)
Country | Link |
---|---|
JP (1) | JP2021197035A (ja) |
WO (1) | WO2021255953A1 (ja) |
Family Cites Families (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2002024370A (ja) * | 2000-07-06 | 2002-01-25 | Hideo Otake | ライティングサポートシステム |
JP2002149828A (ja) * | 2000-11-10 | 2002-05-24 | Olympus Optical Co Ltd | 遠隔栄養相談システム及び装置及び方法及び撮影装置 |
JPWO2015045183A1 (ja) * | 2013-09-30 | 2017-03-09 | 富士通株式会社 | コロニー画像検査プログラム、コロニー画像検査方法及びコロニー画像検査装置 |
JP6727776B2 (ja) * | 2015-08-31 | 2020-07-22 | キヤノン株式会社 | 支援システム、支援方法、プログラム |
JP6775467B2 (ja) * | 2017-05-01 | 2020-10-28 | 三菱電機株式会社 | 物品収納装置及び物品管理システム |
US10799189B2 (en) * | 2017-11-22 | 2020-10-13 | General Electric Company | Systems and methods to deliver point of care alerts for radiological findings |
JP7191364B2 (ja) * | 2018-10-17 | 2022-12-19 | 株式会社アルプロン | 報告支援サーバ、報告支援システム、報告支援方法、及び報告支援プログラム |
JP2020091440A (ja) * | 2018-12-07 | 2020-06-11 | セイコーエプソン株式会社 | 情報処理装置の制御方法、情報処理装置およびプログラム |
-
2020
- 2020-06-17 JP JP2020104824A patent/JP2021197035A/ja active Pending
- 2020-10-23 WO PCT/JP2020/039938 patent/WO2021255953A1/ja active Application Filing
Also Published As
Publication number | Publication date |
---|---|
WO2021255953A1 (ja) | 2021-12-23 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US20220359058A1 (en) | Meal service management system and operating method therefor | |
CN102843511B (zh) | 图像处理支持系统、信息处理设备和图像处理支持方法 | |
WO2019065212A1 (ja) | 情報処理装置、情報処理システム、制御方法、及びプログラム | |
CN106203225B (zh) | 基于深度的图像元素删除 | |
JP7036401B2 (ja) | 学習用サーバ、不足学習用画像収集支援システム、及び不足学習用画像推定プログラム | |
CN107708094A (zh) | 设备配对方法及装置 | |
WO2022113188A1 (ja) | 情報処理装置 | |
EP2897093A1 (en) | Personal information management system | |
WO2021255953A1 (ja) | 情報処理装置 | |
WO2022074799A1 (ja) | 情報処理装置 | |
JP6601992B1 (ja) | 情報処理装置 | |
WO2020217415A1 (ja) | 情報処理装置 | |
US20230061441A1 (en) | Computer-vision pickup system and methods | |
JP2017068331A (ja) | 画像処理装置、画像処理方法、プログラムおよび記録媒体 | |
CN112183914B (zh) | 一种菜项的评价方法及装置 | |
WO2021255952A1 (ja) | 情報処理装置 | |
JP2020204835A (ja) | 情報処理装置、システム、情報処理方法及びプログラム | |
WO2021255955A1 (ja) | 情報処理装置 | |
JP2020201769A (ja) | 物品識別システム及び物品識別システムを備えた会計処理システム | |
JP4478047B2 (ja) | 情報提示装置及び情報提示方法とそのプログラム | |
CN111435511A (zh) | 订单处理方法、装置、设备、系统及可读存储介质 | |
WO2021255951A1 (ja) | 情報処理装置 | |
KR102469244B1 (ko) | 이미지 프로세싱에 기반하여 오프라인 광고 성과 데이터를 수집하는 방법 | |
WO2023175765A1 (ja) | 学習用データ生成装置、商品数確認装置、学習用データ生成方法、商品数確認方法、及び記録媒体 | |
WO2022030614A1 (ja) | 商品販売システム、商品販売プログラム、商品販売方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20230612 |