JP2023168232A - 産業プラントにおいて匿名画像を取得する方法及び装置 - Google Patents

Abstract

【課題】画像中の人物的特徴の不鮮明化により、画像中の人物的特徴を除去することができる、産業プラントのための、匿名画像を取得する方法及び装置を提供する。【解決手段】産業プラントにおいて匿名画像を取得する方法は、光電子工学的に読み取り可能なコード１２００と、人物的特徴１１００と、を含む画像１０００を取得することと、画像１０００中の人物的特徴１１００を識別することと、画像１０００中の人物的特徴１１００を不鮮明化することと、を含む。【選択図】図３

Description

本発明は、商品保管プラント、商品輸送プラント及び／又は商品処理プラント等の産業プラントにおいて匿名画像を取得する方法及び装置に関する。

産業プラントにおいては、商品の連続又は処理の連続を監視及び管理するために画像取得方法及び装置がよく用いられる。

ところが、このプロセスでは人物的特徴もしばしば取得される。これではデータ保護の要求を満たすことができない。更に、人物的特徴はメモリ空間を必要とするため、例えば大き目の画像ファイルを処理しなければならない場合に、取得した画像のその後の処理手順をより複雑にする可能性がある。

故に、本開示の目的は、産業プラントのための、匿名画像を取得する改良された方法及び改良された装置であって、特に後段での画像の保管及び処理が容易になるような方法及び装置を提供することである。

この目的はまず、独立請求項１に記載の、産業プラントにおいて匿名画像を取得する方法により果たされる。

本方法の第１のステップでは、例えばカメラ又はイメージセンサ等の画像取得ユニット、具体的にはラインカメラ又はマトリクスカメラを用いて、画像を取得する。画像取得ユニットは、具体的にはいわゆるプレゼンテーションカメラである。本方法では、画像が規則的に、連続的に、及び／又は、出来事に関連付けられた形で（例えば産業プラント内の光バリア及び／又は作動素子を作動させることにより）取得される。

本方法において、画像はバーコード、ＱＲコード又はセマコード等の光電子工学的に読み取り可能なコードを含んでいる。本本法において前記コードは、例えば、産業プラント内に保管されている物品（商品又はパッケージ等）に取り付け又は貼付されている。

前記画像は更に少なくとも１つの人物的特徴、具体的には画像を取得することを目的としてカメラの前で物体を保持している人間の手等、を含んでいる。例えば、その人物的特徴は指紋の一部を含んでいる可能性もある。本方法において、人物的特徴には衣服（特に一又は複数の袖）及び／又は装身具（指輪や腕時計等）も含めることができる。人物的特徴はその人物に関する結論を出すことができる特徴であり、特にその人物を確認できる特徴、更に具体的には一義的に確認できる特徴である。

本方法の次のステップでは、後で詳しく説明するように、この人物的特徴を、例えば処理ユニットを用いて、画像中で識別する。

本方法の最後のステップでは、先に識別された人物的特徴を画像内で不鮮明にする。ここで「不鮮明」とは、特に人間の目に対して不鮮明であることを意味するが、処理ユニットにとって不鮮明であること含むこともできる。特に不鮮明化は不可逆的である。即ち、それは人間によっても処理ユニットによっても元に戻すことができない。

本匿名画像取得方法によれば、人物的特徴が不鮮明化されており、後で例えば他の目的で更なる処理及び／又は後続の処理を行う間に人物に関する結論を出すことはもはや不可能であるから、データ保護仕様を考慮することなく産業プラントにおいて取得された画像を処理することができる。

このように取得された画像は特に社外の協力パートナー及び／又はデータ保護仕様に従う義務のない協力パートナーに利用させることもできる。

特徴が不鮮明化されているため、画像に含まれる情報も少なくなり、以て必要なメモリ空間も少なくなることが特に有利である。特に元の画像は削除され、前記特徴が除去又は不鮮明化された画像のみが保存される。従って、画像の更なる処理に必要なパワー及びメモリがより少なくなる。

人物的特徴が不鮮明化された画像は産業プラントの制御に影響を及ぼすために用いられることが好ましい。これにより、例えば工作物等の更なる処理を行う産業プラントの所定の動作を、例えば読み取り可能なコードを用いて発動させることができる。

本方法を更に発展させて、画像中の人物的特徴の識別が該画像中の人物的特徴をセグメント化することを含むようにすることができる。ここで「セグメント化」とは、画像を関連の要素に分割し、続いてそれらの分割部分又はセグメントを個々のクラス、特に事前に定義されたクラスに分類することを意味する。本態様においては、特徴抽出用のアルゴリズムを用いること、そして画像の前処理を行うことができる。セグメント化により、ある識別された範囲についての説明、特に、それが本態様における人物的特徴であるかという言明がなされる。

セグメント化には画素指向の方法、エッジ指向の方法、及び／又は、領域指向の方法等、公知の方法を用いることができる。それに加えて又はその代わりに、モデルベース及び／又はテクスチャベースの方法をセグメント化に用いることができる。

この更なる発展により特に効率的な解決策がもたらされる。具体的には、取得した画像のうち人物的特徴に関係する領域のみが処理される、即ち不鮮明化されるということが達成される。

本方法を更に発展させて、ニューラルネットワークを用いて画像中の人物的特徴の識別及び／又はセグメント化を行うようにすることができる。

ニューラルネットワークはコンピュータベースの人工知能であり、ニューラルネットワーク及び／又は人工ニューラルネットワークと呼ぶこともできる。識別又はセグメント化は特に、訓練中にニューラルネットワークが処理しなかった新規な取得画像でさえもセグメント化できるように深層学習のアルゴリズムにより訓練されたニューラルネットワークを用いて行うことができる。

識別又はセグメント化は特に、このために特別に設けられた処理ユニット、例えば高度な並列化を有するマイクロプロセッシングユニットやプログラム可能な論理コンポーネント等を用いて行うことができる。

この更なる発展により特に強力な解決策がもたらされる。特に、ニューラルネットワークのおかげで、人物的特徴を識別又はセグメント化する格別に信頼できる方法が得られる。

本方法を更に発展させて、画像中の人物的特徴の不鮮明化が該画像中の人物的特徴をピクセル化することを含むようにすることができる。

ここで「ピクセル化」とは、人物的特徴の当初の細かい画素解像度をそれよりもずっと粗い解像度で置き換えることにより、人物的特徴の個々の部分的な特徴が見えず、粗い構造になった認知不能の画素しか用いないことを意味する。これは適宜のピクセル化アルゴリズムにより行うことができる。

本方法を更に発展させて、画像中の人物的特徴の不鮮明化が該画像中の人物的特徴を除去することを含むようにすることができる。

ここで「除去する」とは、人物的特徴に関係する画素を削除すること、及び／又は、これらの画素を単色の画素、例えば白又は黒の画素で置き換えることを意味する。

本方法を更に発展させて、前記光電子工学的に読み取り可能なコードを読み出すことを更に含むようにすることができる。

光電子工学的に読み取り可能なコードの読み出しは適宜の読み出しアルゴリズムを用いて行われる。例えば、光電子工学的に読み取り可能なコード中に存在する又は暗号化されている情報を読み出す及び／又は評価することができる。読み出したコードの結果、例えば数字若しくはシリアル番号（追跡番号等）又はコードの他の内容は、その後、読み出しの場所及び／又は時点と一緒に保存することができる。

本態様において、光電子工学的に読み取り可能なコードは特に、該光電子工学的に読み取り可能なコードを付すことができる物体に関する情報及び／又は指示を含むこともできる。光電子工学的コードは特に、未来の及び／又は過去の保管場所、配送場所及び／又は出力場所を含むことができる。その代わりに又はそれに加えて、光電子工学的に読み取り可能なコードは物体の中身及び／又は属性への参照を含むことができる。

光電子工学的に読み取り可能なコードから読み出された情報はその後、産業プラントにおいて動作又は無動作を行わせることができる。この情報は特に、産業プラントにおいて、例えば物体の更なる処理、更なる輸送又は更なる保管といった未来の活動の間に考慮することができる。例えば、読み出した情報に基づいて物体の次の輸送先、特に産業プラント内での搬送先を決定することができる。

本方法を更に発展させて、不鮮明化された人物的特徴を含む画像を保存することを更に含むようにすることができる。

前記保存は特に、読み出されたコード並びに読み出しの場所及び時点と一緒に保存するものとすることができる。

この更なる発展によれば、物体が所定の中間地点を通過したこと又は物体の現在の保管場所を記録することができる。これにより、産業プラントにより処理又は製造された物品を該産業プラント内で追跡することができる。

本方法を更に発展させて、前記画像の保存がリモート記憶ユニットへの送信を含むようにすることができる。

本態様において、リモート記憶ユニットは特に、画像取得ユニット及び産業プラントから遠く離れた場所にある記憶ユニットである。リモート記憶ユニットは特に、不鮮明化された人物的特徴を含む画像を検証のために保存した記憶ユニットとすることができる。本態様において、リモート記憶ユニットは特に画像取得ユニット又は産業プラントとは異なる国にあるものとすることができる。

本方法を更に発展させて、前記光電子工学的に読み取り可能なコードを含む部分領域にまで画像をクロップすることを更に含むようにすることができる。

ここで「クロップする」とは光電子工学的に読み取り可能なコードを含まない画像内容を除去することを意味しており、「マスクする」と呼ぶこともできる。本態様において、クロップは、事前に又は事後的に不鮮明化された人物的特徴の部分の切り取りとして行うこともできる。

クロップは、決まったやり方、即ち常に一定のクロップファクタで行うこと、及び／又は、動的に、例えば人物的特徴及び／又は光電子工学的に読み取り可能なコードの識別に基づいて行うことができる。

クロップが識別若しくはセグメント化より前、及び／又は、不鮮明化の前に行われる場合、処理する必要がある画像内容がより少なくなるため、識別若しくはセグメント化のため及び／又は不鮮明化のために必要な処理パワーがより少なくなる。

本態様において、クロップはリモート記憶ユニットへの送信の前及び後の両方で行うことができる。或いはクロップをリモート記憶ユニットへの画像の送信なしで行うこともできる。これによりローカル及びリモートの両方で記憶ユニット内のメモリ空間が低減される。

この更なる発展によれば、必要なメモリ空間及び／又は処理パワーが特に少なくなる。

本方法を更に発展させて、取得した画像を暗号化すること、前記取得した画像をリモート処理ユニットに送信すること、及び、前記リモート処理ユニットにおいて前記取得した画像を復号することを含むようにすることができる。

本態様において、暗号化は一般的な暗号化アルゴリズムにより行うことができる。例えば、取得した画像をＳＦＴＰでリモート処理ユニットに送信することができる。その代わりに又はそれに加えて、取得した画像を例えば対称又は非対称な暗号化プロトコルを用いて暗号化及び復号することができる。

暗号化は特に、画像の取得直後、特に人物的特徴の識別及び／又は不鮮明化を行う前に行うことができ、こうした未処理の画像をリモート処理ユニットへ送信することができ、該ユニットで復号することができる。

リモート処理ユニットは、リモート記憶ユニットに直接接続された処理ユニット、又は、リモート記憶ユニットとは異なる若しくは該リモート記憶ユニットから遠く離れた処理ユニットとすることができる。

この更なる発展によれば、何者かが人物的特徴を含む取得画像を盗み取り、不正なやり方で人物に関する結論を出すことができる、ということが防止される。

本方法を更に発展させて、画像中の人物的特徴の識別及び／又はセグメント化を前記リモート処理ユニットで行うようにすることができる。

具体的には、このためにリモート処理ユニットを特に識別又はセグメント化を実行するように構成することができ、また、特にこの応用のために訓練された適宜のニューラルネットワークの使用に適合させることもできる。このために、リモート処理ユニットは更に具体的に、例えばリモート処理ユニットの場所及び／又は認証によって、特定のデータ保護仕様を満たすように適合化されたものとすることができる。

この実施形態によれば、不鮮明化を特にデータ保護の要求に従って行うことができ、産業プラント内ではそれが行われない。

最初に言及した目的は、独立請求項１２に記載の、産業プラントにおいて匿名画像を取得する装置によっても同様に果たされる。

更なる実施形態及びその利点については、産業プラントにおいて匿名画像を取得する方法についての上記の説明を参照する。

産業プラントにおいて匿名画像を取得する装置は特に、上述した産業プラントにおいて匿名画像を取得する方法の実施形態を部分的に又は完全に実行するように構成されている。

これより、産業プラントにおいて匿名画像を取得する方法及び装置の実施例を以下の図面と関連させて詳しく説明する。

産業プラントにおいて匿名画像を取得する装置の実施例の概略図。 産業プラントにおいて匿名画像を取得する方法の実施例のフローチャート。 （ａ）～（ｄ）産業プラントにおいて匿名画像を取得する方法の応用の個々のステップ。

本実施例において同一の参照符号は同じ又は類似の特徴を示している。

図１は産業プラントにおいて匿名画像を取得する装置１の実施例の概略図を示している。

本実施例において、装置１はまずローカルユニット１０と、該ローカルユニット１０から遠く離れたユニット２０とを備えている。リモートユニット２０は、特に例として、次の図２と関連させて説明するように、装置１の一部又は方法１００の一部のステップを実施できるクラウドサービスとして示されている。

ローカルユニット１０はローカル記憶ユニット１１、ローカル処理ユニット１２、及び画像取得ユニット１３を備えている。ローカルユニット１０はまた、明快さのため図示していない無線及び／又は有線通信ユニットも備えている。ここで「ローカル」とは、産業プラントに配置されている又は産業プラントの一部であるという意味である。

リモートユニット２０はリモート記憶ユニット２１とリモート処理ユニット２２を備えている。リモートユニット２０はまた、明快さのため図示していない無線及び／又は有線通信ユニットも備えている。ここで「リモート」とは、ローカルユニット１０から空間的に離れており、特に産業プラント内に配置されていないことを意味している。

リモートユニットは、具体的には、遠隔地にセットアップされてクラウドサービスを構成している一又は複数のサーバである。本実施例では、明快さのため、リモート記憶ユニット２１とリモート処理ユニット２２は同じクラウドサービスに属するものとして示している。

代案では、記憶ユニット２１が第１のクラウドサービスにより提供され、処理ユニットがそれと異なる第２のクラウドサービスにより提供され、第１のクラウドサービスと第２のクラウドサービスが無線及び／又は有線の通信ユニットを経由して接続される。

更に具体的には、リモートユニット２０は少なくとも画像取得ユニットを備えていない。或いは、ローカルの画像取得ユニット１３が通信ユニットの他に産業プラント内に配置されている唯一のローカルユニットであるものとすることができる。

装置１は特に、図２と関連させて以下に説明する方法を実行するように構成されている。

図２は産業プラントにおいて匿名画像を取得する方法１００の実施例のフローチャートを示している。

本方法１００の最初のステップ１０１では、光電子工学的に読み取り可能なコードと個人的特徴を含む画像が取得される。

続くステップ１０２では、取得された画像が暗号化される。

その次のステップ１０３では、暗号化された画像がリモート処理ユニットに送信される。

続くステップ１０４では、暗号化された画像がリモート処理ユニットにおいて復号される。

その次のステップ１０５では、復号された画像中の人物的特徴がリモート処理ユニットによりニューラルネットワークを用いたセグメント化によって識別される。

続くステップ１０６では、画像中の人物的特徴をピクセル化すること、及び／又は、該画像から人物的特徴を除去することにより、画像中の人物的特徴が不鮮明化される。

その次のステップ１０７では、画像が、光電子工学的に読み取り可能なコードを含む部分領域にまでクロップされる。

その次のステップ１０８では、光電子工学的に読み取り可能なコードが読み出される。

続くステップ１０９では、不鮮明化された人物的特徴を含む画像がリモート記憶ユニットに送信され、最終ステップ１１０において該ユニットに保存される。その後、本方法１００を再びステップ１０１から始めることができる。

図３（ａ）～（ｄ）は産業プラントにおいて匿名画像を取得する方法の応用のシーケンスを示している。本実施例では、最初のステップで、図３（ａ）に示したように、人物的特徴１１００と光電子工学的に読み取り可能なコード１２００の両方を含む画像１０００が取得される。

図示した例において、人物的特徴１１００は両手から成り、他に人物的特徴１１００を成すものの例として衣類の一部（即ち袖）と指輪も示されている。

光電子工学的に読み取り可能なコード１２００は本例ではＱＲコードとして構成されており、物体１３００に付されている。ここでは例として物体１３００が１枚の長方形の紙として示されている。

図３（ａ）に示した画像１０００は図２に関連して説明した画像であり、最初の方法ステップ１０１において、人間が両手を使って物体１３００をプレゼンテーションカメラの前にかざすというやり方で取得した画像である。

その次のステップでは、人物的特徴１１００が画像１０００中で識別されている。これには、図２の方法ステップ１０５に関連して説明したように、実際にニューラルネットワークにより実行されるセグメント化アルゴリズムを用いた。

このステップ１０５の結果が図３（ｂ）に示されており、そこでは人物的特徴１１００だけが画像１０００中に含まれている。ただし、これがこのように描かれているのは単に識別又はセグメント化の理解のためにすぎない。実際には光電子工学的に読み取り可能なコード１２００を含む物体１３００もまだ画像１０００中に含まれており、つまり図３（ｂ）に示した画像は現在の画像情報を全て表してはおらず、むしろ識別又はセグメント化の結果だけを示している。

その次のステップでは、画像１０００に含まれる人物的特徴１１００が不鮮明化される。これは人物的特徴１３００がピクセル化された図３（ｃ）に示されている。代案として、人物的特徴１１００の除去又は削除が図３（ｄ）に例示されている。この不鮮明化は図２と関連させて説明した方法ステップ１０６に相当する。

更に、図３（ｄ）に示した画像１０００中では、画像部分がクロップされることで光電子工学的コード１２００の読み取りに必要ない他の情報（最下層、人物的特徴の部分等）が除去され、その結果、画像１０００は、図３（ｄ）に示したように、該画像１０００のうち光電子工学的に読み取り可能なコード１２００が見つかった部分領域だけを含んでいる。図３（ｄ）に示したこの画像１０００は図２に記載した方法ステップ１０７に関連して生成された画像に相当する。

上述の実施例により、メモリ負荷の低減と処理負荷の低減という結果をもたらす効率的な解決策が可能になり、それらの実施例は同時に、商品保管プラント、商品輸送プラント及び／又は商品処理プラント等の産業プラントにおける人間による物体のデータ保護の要求に従った処理に寄与する。

１…装置
１０…ローカルユニット
１１…ローカル記憶ユニット
１２…ローカル処理ユニット
１３…画像取得ユニット
２０…リモートユニット
２１…リモート記憶ユニット
２２…リモート処理ユニット
１００…方法
１０１…方法ステップ
１０２…方法ステップ
１０３…方法ステップ
１０４…方法ステップ
１０５…方法ステップ
１０６…方法ステップ
１０７…方法ステップ
１０８…方法ステップ
１０９…方法ステップ
１１０…方法ステップ
１０００…取得した画像
１１００…人物的特徴
１２００…光電子工学的に読み取り可能なコード
１３００…物体

Claims (12)

1. 産業プラントにおいて匿名画像を取得する方法（１００）において、
   画像（１０００）の取得（１０１）であって、前記画像が光電子工学的に読み取り可能なコード（１２００）と人物的特徴（１１００）を含む、画像の取得（１０１）、
   前記画像（１０００）中の前記人物的特徴（１１００）の識別（１０５）、及び、
   前記画像（１０００）中の前記人物的特徴（１１００）の不鮮明化（１０６）、
   という手順を備える方法（１００）。
2. 前記識別（１０５）が前記画像（１０００）中の前記人物的特徴（１１００）のセグメント化を含む、請求項１に記載の方法（１００）。
3. 前記識別（１０５）及び／又は前記セグメント化を、ニューラルネットワークを用いて行う、請求項２に記載の方法（１００）。
4. 前記不鮮明化（１０６）が前記画像（１０００）中の前記人物的特徴（１１００）をピクセル化することを含む、請求項１～３のいずれかに記載の方法（１００）。
5. 前記不鮮明化（１０６）が前記画像（１０００）中の前記人物的特徴（１１００）を除去することを含む、請求項１～４のいずれかに記載の方法（１００）。
6. 前記光電子工学的に読み取り可能なコード（１２００）の読み出し（１０８）という手順を更に含む、請求項１～５のいずれかに記載の方法（１００）。
7. 不鮮明化された前記人物的特徴（１１００）を含む前記画像の保存（１１０）という手順を更に含む、請求項１～６のいずれかに記載の方法（１００）。
8. 前記画像の保存（１１０）がリモート記憶ユニット（２１）への送信（１０９）を含む、請求項７に記載の方法（１００）。
9. 前記光電子工学的に読み取り可能なコード（１２００）を含む部分領域にまで前記画像（１０００）をクロップするという手順を更に含む、請求項１～８のいずれかに記載の方法（１００）。
10. 前記取得した画像（１０００）の暗号化（１０２）、
    前記取得した画像（１０００）のリモート処理ユニット（２２）への送信（１０３）、及び、
    前記リモート処理ユニット（２２）における前記取得した画像（１０００）の復号（１０４）、
    という手順を更に含む、請求項１～９のいずれかに記載の方法（１００）。
11. 前記識別（１０５）及び／又は前記セグメント化を前記リモート処理ユニット（２２）で行う、請求項１０に記載の方法（１００）。
12. 産業プラントにおいて匿名画像を取得する装置（１０）において、
    画像（１０００）を取得するように構成された画像取得ユニット（１３）、前記画像が光電子工学的に読み取り可能なコード（１２００）と人物的特徴（１１００）を含む、画像取得ユニット（１３）、
    取得された画像（１０００）を保存するように構成された記憶ユニット（１１、１２）、及び、
    前記画像（１０００）中の前記人物的特徴（１１００）を識別し、該画像（１０００）中の該人物的特徴（１１００）を不鮮明化するように構成された処理ユニット（１２、２２）
    を備える装置（１０）。

Images