JP2022145190A - 情報処理システム、位置管理方法、情報処理装置及びプログラム - Google Patents

情報処理システム、位置管理方法、情報処理装置及びプログラム Download PDF

Info

Publication number
JP2022145190A
JP2022145190A JP2021046491A JP2021046491A JP2022145190A JP 2022145190 A JP2022145190 A JP 2022145190A JP 2021046491 A JP2021046491 A JP 2021046491A JP 2021046491 A JP2021046491 A JP 2021046491A JP 2022145190 A JP2022145190 A JP 2022145190A
Authority
JP
Japan
Prior art keywords
code image
image
information
color code
managed
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2021046491A
Other languages
English (en)
Other versions
JP2022145190A5 (ja
Inventor
哉 川▲崎▼
Hajime Kawasaki
誠 青木
Makoto Aoki
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ricoh Co Ltd
Original Assignee
Ricoh Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ricoh Co Ltd filed Critical Ricoh Co Ltd
Priority to JP2021046491A priority Critical patent/JP2022145190A/ja
Priority to EP22162177.4A priority patent/EP4071726A1/en
Priority to US17/695,850 priority patent/US11675547B2/en
Publication of JP2022145190A publication Critical patent/JP2022145190A/ja
Publication of JP2022145190A5 publication Critical patent/JP2022145190A5/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/12—Digital output to print unit, e.g. line printer, chain printer
    • G06F3/1201—Dedicated interfaces to print systems
    • G06F3/1202—Dedicated interfaces to print systems specifically adapted to achieve a particular effect
    • G06F3/1203—Improving or facilitating administration, e.g. print management
    • G06F3/1205—Improving or facilitating administration, e.g. print management resulting in increased flexibility in print job configuration, e.g. job settings, print requirements, job tickets
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/12—Digital output to print unit, e.g. line printer, chain printer
    • G06F3/1201—Dedicated interfaces to print systems
    • G06F3/1202—Dedicated interfaces to print systems specifically adapted to achieve a particular effect
    • G06F3/1203—Improving or facilitating administration, e.g. print management
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/12—Digital output to print unit, e.g. line printer, chain printer
    • G06F3/1201—Dedicated interfaces to print systems
    • G06F3/1202—Dedicated interfaces to print systems specifically adapted to achieve a particular effect
    • G06F3/1203—Improving or facilitating administration, e.g. print management
    • G06F3/1208—Improving or facilitating administration, e.g. print management resulting in improved quality of the output result, e.g. print layout, colours, workflows, print preview
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/12—Digital output to print unit, e.g. line printer, chain printer
    • G06F3/1201—Dedicated interfaces to print systems
    • G06F3/1223—Dedicated interfaces to print systems specifically adapted to use a particular technique
    • G06F3/1224—Client or server resources management
    • G06F3/1226—Discovery of devices having required properties
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/12—Digital output to print unit, e.g. line printer, chain printer
    • G06F3/1201—Dedicated interfaces to print systems
    • G06F3/1223—Dedicated interfaces to print systems specifically adapted to use a particular technique
    • G06F3/1237—Print job management
    • G06F3/1242—Image or content composition onto a page
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/12—Digital output to print unit, e.g. line printer, chain printer
    • G06F3/1201—Dedicated interfaces to print systems
    • G06F3/1223—Dedicated interfaces to print systems specifically adapted to use a particular technique
    • G06F3/1237—Print job management
    • G06F3/1259—Print job monitoring, e.g. job status
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/12—Digital output to print unit, e.g. line printer, chain printer
    • G06F3/1201—Dedicated interfaces to print systems
    • G06F3/1223—Dedicated interfaces to print systems specifically adapted to use a particular technique
    • G06F3/1237—Print job management
    • G06F3/1273—Print job history, e.g. logging, accounting, tracking
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/50—Network services
    • H04L67/52—Network services specially adapted for the location of the user terminal
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W4/00—Services specially adapted for wireless communication networks; Facilities therefor
    • H04W4/02—Services making use of location information
    • H04W4/021—Services related to particular areas, e.g. point of interest [POI] services, venue services or geofences
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/06—Recognition of objects for industrial automation

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Quality & Reliability (AREA)
  • Image Analysis (AREA)
  • General Factory Administration (AREA)
  • Position Fixing By Use Of Radio Waves (AREA)

Abstract

Figure 2022145190000001
【課題】管理対象物の位置を安定して管理することができる情報処理システム、位置管理方法、情報処理装置及びプログラムを提供する。
【解決手段】情報処理システムは、管理対象物の位置を管理する範囲を撮影するように設置された撮影装置と、撮影装置によって撮影された撮影画像から管理対象物に対応するコード画像を認識して、管理対象物の位置を管理する作業工程管理システムと、を有する。作業工程管理システムは、撮影画像から認識されたコード画像の位置、撮影画像から認識されたコード画像のサイズ及び基準となるコード画像のサイズに基づいて、コード画像の空間座標情報を生成する位置情報生成部と、コード画像の空間座標情報を用いて補正されたコード画像の平面座標情報で、コード画像に対応する管理対象物の位置を管理する管理部と、を有する。
【選択図】図４

Description

本発明は、情報処理システム、位置管理方法、情報処理装置及びプログラムに関する。
複数の作業工程からなるジョブの進捗を、バーコード等を活用することで管理する技術は従来から知られている。例えば作業工程に対応付いたそれぞれの場所で、ジョブと対応付けられたコード画像を撮影し、コード画像からジョブを認識して、撮影された場所に対応付いた作業工程とコード画像から認識されたジョブとを対応付けて管理する技術は従来から知られている。また、撮影された場所に対応付いた作業工程とコード画像から認識されたジョブとを対応付けて管理し、複数の作業工程からなる複数のジョブの進捗に関する情報をユーザに提供する技術は従来から知られている（例えば特許文献１参照）。
カメラの撮影画像から、作業工程に対応付いたそれぞれの場所におけるコード画像の平面位置を認識する場合は、以下の理由によりコード画像の平面位置を正しく認識できない場合がある。例えばカメラは、空間に存在する物体を平面画像に投影することで撮影画像を生成している。したがって、コード画像の高さにばらつきがある場合は、カメラの撮影方向に直線上に存在する異なる平面位置のコード画像を、同一の平面位置に存在するものと判定してしまう。また、コード画像の高さにばらつきがある場合は、同一の平面位置に存在するコード画像を、異なる平面位置に存在するものと判定しまう。
本発明の実施の形態は、上記の点に鑑みなされたもので、管理対象物の位置を安定して管理することができる情報処理システムを提供することを目的とする。
上記目的を達成する為、本願請求項１は、管理対象物の位置を管理する範囲を撮影するように設置された撮影装置と、前記撮影装置によって撮影された撮影画像から前記管理対象物に対応するコード画像を認識して、前記管理対象物の位置を管理する情報処理装置と、を有する情報処理システムであって、前記情報処理装置は、前記撮影画像から認識された前記コード画像の位置、前記撮影画像から認識された前記コード画像のサイズ、及び基準となるコード画像のサイズ、に基づいて、前記コード画像の空間座標情報を生成する位置情報生成手段と、前記コード画像の空間座標情報を用いて補正された前記コード画像の平面座標情報で、前記コード画像に対応する前記管理対象物の位置を管理する管理手段と、を有することを特徴とする。
本発明の実施の形態によれば、管理対象物の位置を安定して管理することができる。
本実施形態に係るジョブ管理システムの一例の構成図である。 本実施形態に係るジョブ管理システムで利用する作業指示書の一例のイメージ図である。 コンピュータの一例のハードウェア構成図である。 本実施形態に係る作業工程管理システムの一例の機能構成図である。 カラーコードの位置を正しく認識できない場合について説明するための一例の図である。 カラーコードの位置を正しく認識する方法について説明する一例の図である。 本実施形態に係る情報処理システムの準備処理を示す一例のフローチャートである。 マス目設定画面の一例のイメージ図である。 アドレス設定画面の一例のイメージ図である。 カメラ設定画面の一例のイメージ図である。 本実施形態に係るアドレス設定情報の一例の構成図である。 本実施形態に係るカメラ設定情報の一例の構成図である。 本実施形態に係る情報処理システムの管理処理を示す一例のフローチャートである。 本実施形態に係るジョブステータス情報の一例の構成図である。 本実施形態に係るカラーコードを認識した位置の補正処理を示す一例のフローチャートである。 基準平面中央に置かれたカラーコードのサイズから基準平面内のカラーコードのサイズを算出する方法について説明する一例の図である。 本実施形態に係るジョブ管理システムのジョブステータス情報の更新処理を示す一例のフローチャートである。 本実施形態に係るジョブ管理システムのマップ表示処理を示す一例のフローチャートである。 本実施形態に係るジョブ管理システムのマップ画面の一例のイメージ図である。 本実施形態に係るジョブ管理システムのマップ画面の一例のイメージ図である。 本実施形態に係るジョブ管理システムのマップ画面の一例のイメージ図である。 カラーコードの位置を正しく認識できない場合について説明するための一例の図である。 カラーコードの位置を正しく認識する方法について説明する一例の図である。 本実施形態に係るカメラ設定情報の一例の構成図である。 本実施形態に係るカラーコードを認識した位置の補正処理を示す一例のフローチャートである。 本実施形態に係るカメラ設定情報の一例の構成図である。 本実施形態に係るカラーコードを認識した位置の補正処理を示す一例のフローチャートである。
以下、本発明の実施形態について図面を参照しながら説明する。なお、本実施形態では印刷工場におけるジョブの作業工程の管理を、コード画像の一例であるカラーコード画像の位置把握により実現する情報処理システムを例に説明するが、印刷工場に限定するものではない。例えば本実施形態は、工場での生産物の位置把握、収集所における配送物の位置把握など、様々な管理対象物の位置把握への適用も可能である。
［第１の実施形態］
＜システム構成＞
図１は、本実施形態に係るジョブ管理システムの一例の構成図である。図２は、本実施形態に係るジョブ管理システムで利用する作業指示書の一例のイメージ図である。図１のジョブ管理システム１は、顧客システム１０、作業工程管理システム１４、プリンタ１６及び１台以上のカメラ１８がインターネットやＬＡＮなどのネットワーク２０を介してデータ通信可能に接続されている。
顧客システム１０は顧客が使用している既存システムの一例であって、ジョブＩＤが表示された図２（Ａ）の顧客システム１０用の作業指示書８００を作成する。ジョブＩＤはジョブを識別する識別情報の一例である。また、図２（Ａ）の顧客システム１０用の作業指示書８００には、顧客システム１０側で利用しているバーコード画像８０１が表示されている。
なお、ジョブＩＤは顧客システム１０用の作業指示書８００にバーコード画像８０１で表示されていてもよいし、テキストで表示されていてもよい。顧客システム１０は、顧客システム１０用の作業指示書８００により実現される既存の機能をユーザに提供する。
作業工程管理システム１４、プリンタ１６、及び１台以上のカメラ１８は、作業指示書８００に新たな機能を追加する情報処理システム１２を構成している。作業工程管理システム１４は、複数の作業工程からなるジョブの進捗を、図２（Ｂ）のカラーコード画像８１１が付与された情報処理システム１２用の作業指示書８１０を利用して後述のように管理する。なお、情報処理システム１２は後述のようにカラーコード画像８１１からジョブＩＤを特定できる。
プリンタ１６は情報処理システム１２用の作業指示書８１０を印刷する。情報処理システム１２用の作業指示書８１０は、以下においてカラーコード画像が付与された作業指示書と呼ぶことがある。カメラ１８は印刷工場内のジョブの作業工程に対応付いた位置を撮影可能に設置される。なお、ジョブの作業工程に対応付いた位置とは、印刷物等の管理対象物が作業工程間の移動で通過する場所や一時的に保管される一時保管場所など、管理対象物の位置を管理する範囲である。
カメラ１８はＰＴＺカメラやＩＰカメラを利用できる。ＰＴＺカメラは、ＰＴＺ（Ｐａｎ Ｔｉｌｔ Ｚｏｏｍ）機能をネットワーク２０経由で操作可能なカメラであり、撮影画像や撮影動画をネットワーク２０経由で送信可能なカメラである。ＩＰカメラはネットワーク２０経由で操作可能なカメラであり、撮影画像や撮影動画をネットワーク２０経由で送信可能なカメラである。カメラ１８で撮影された撮影画像や撮影動画はネットワーク２０経由で作業工程管理システム１４に送信される。カメラ１８は撮影装置の一例である。
作業指示書８００に新たな機能を追加する情報処理システム１２では、情報処理システム１２用の作業指示書８１０が、その作業指示書８１０に対応するジョブの中間生成物や材料の一例である印刷物に貼付される。作業指示書８１０は例えばカメラ１８により撮影されやすい印刷物等の管理対象物の上に貼付される。
作業工程管理システム１４は、それぞれのカメラ１８が撮影した撮影画像から作業指示書のカラーコード画像を認識することで、管理対象物の位置を後述のように管理する。また、作業工程管理システム１４は管理対象物の位置を管理することで、ジョブの作業工程の進捗（ジョブの状態）を管理する。作業工程管理システム１４は、ジョブの作業工程の履歴や、作業指示書８１０を撮影したときの様子を表す撮影画像や撮影動画を管理するようにしてもよい。
なお、図１に示すジョブ管理システム１の構成は一例である。例えばジョブ管理システム１は、他のシステムが含まれていてもよいし、作業工程管理システム１４が情報処理装置などの別の名称であってもよい。作業工程管理システム１４は一台のサーバ環境で実現してもよいし、複数台のサーバ環境で実現するようにしてもよい。
＜ハードウェア構成＞
顧客システム１０及び作業工程管理システム１４は例えば図３に示すハードウェア構成のコンピュータ５００により実現される。
図３はコンピュータの一例のハードウェア構成図である。図３のコンピュータ５００は入力装置５０１、表示装置５０２、外部Ｉ／Ｆ５０３、ＲＡＭ５０４、ＲＯＭ５０５、ＣＰＵ５０６、通信Ｉ／Ｆ５０７及びＨＤＤ５０８などを備え、それぞれがバスＢで相互に接続されている。なお、入力装置５０１及び表示装置５０２は必要なときに接続して利用する形態であってもよい。
入力装置５０１はキーボードやマウス、タッチパネルなどを含み、ユーザが各操作信号を入力するのに用いられる。表示装置５０２はディスプレイ等を含み、コンピュータ５００による処理結果を表示する。
通信Ｉ／Ｆ５０７はコンピュータ５００を各種ネットワークに接続するインタフェースである。これにより、コンピュータ５００は通信Ｉ／Ｆ５０７を介してデータ通信を行うことができる。
また、ＨＤＤ５０８は、プログラムやデータを格納している不揮発性の記憶装置の一例である。格納されるプログラムやデータには、コンピュータ５００全体を制御する基本ソフトウェアであるＯＳ、及びＯＳ上において各種機能を提供するアプリケーションソフトウェア（以下、単にアプリケーションと呼ぶ）などがある。なお、コンピュータ５００はＨＤＤ５０８に替え、記憶媒体としてフラッシュメモリを用いるドライブ装置（例えばソリッドステートドライブ：ＳＳＤ）を利用するものであってもよい。
外部Ｉ／Ｆ５０３は、外部装置とのインタフェースである。外部装置には、記録媒体５０３ａなどがある。これにより、コンピュータ５００は外部Ｉ／Ｆ５０３を介して記録媒体５０３ａの読み取り及び／又は書き込みを行うことができる。記録媒体５０３ａにはフレキシブルディスク、ＣＤ、ＤＶＤ、ＳＤメモリカード、ＵＳＢメモリなどがある。
ＲＯＭ５０５は、電源を切ってもプログラムやデータを保持することができる不揮発性の半導体メモリ（記憶装置）の一例である。ＲＯＭ５０５にはコンピュータ５００の起動時に実行されるＢＩＯＳ、ＯＳ設定、及びネットワーク設定などのプログラムやデータが格納されている。ＲＡＭ５０４はプログラムやデータを一時保持する揮発性の半導体メモリ（記憶装置）の一例である。
ＣＰＵ５０６は、ＲＯＭ５０５やＨＤＤ５０８などの記憶装置からプログラムやデータをＲＡＭ５０４上に読み出し、処理を実行することで、コンピュータ５００全体の制御や機能を実現する演算装置である。顧客システム１０及び作業工程管理システム１４は例えば図３に示すようなコンピュータ５００のハードウェア構成により、後述する各種処理を実現できる。なお、プリンタ１６及びカメラ１８のハードウェア構成についての説明は省略する。
＜ソフトウェア構成＞
図４は、本実施形態に係る作業工程管理システムの一例の機能構成図である。なお、図４に示した機能構成図は、本実施形態の説明に不要な構成について適宜省略している。図４の作業工程管理システム１４は、ＵＩ部３０、設定部３２、ジョブＩＤ検出部３４、管理部３６、カラーコード画像生成部３８、カラーコード付き作業指示書作成部４０、印刷指示部４２、撮影画像取得部４４、カラーコード認識部４６、補正処理部４８、設定情報記憶部５０、カラーコード管理テーブル記憶部５２、及びジョブ管理テーブル記憶部５４を有する構成である。また、補正処理部４８は位置情報生成部６０、平面座標情報補正部６２、及び基準コード画像サイズ算出部６４を有する構成である。
ＵＩ部３０は、ユーザから必要な各種設定を受け付ける各種設定画面、管理対象物の所在を視覚的にマーカ表示するマップ画面などの各種画面の表示を制御する。設定部３２はユーザから後述するようなアドレス設定情報、カメラ設定情報などの設定情報の設定を受け付け、設定情報を設定情報記憶部５０に記憶する処理を制御する。例えば設定部３２は管理対象物の位置を管理する範囲を含んだマップ画像の指定の受け付け、分割したマップ画像のマス目に対するアドレス識別情報の付与や、ジョブ工程情報との対応付け等の処理を制御する。
設定部３２はそれぞれのカメラ１８が撮影した撮影画像を分割して、その撮影画像内の分割画像に、その分割画像が写しているマップ画像のマス目を特定可能なアドレス識別情報を設定する。設定部３２は、異なるカメラ１８で撮影された撮影画像内の分割画像であっても、同一のマス目を写している分割画像であれば、同一のアドレス識別情報が設定されるように処理を制御する。このように、同一のマス目を写しているカメラ１８の分割画像には、異なるカメラ１８であっても同一のアドレス識別情報が設定される。ジョブＩＤ検出部３４は例えば図２（Ａ）の顧客システム１０用の作業指示書８００にバーコード画像８０１やテキストで表示されているジョブＩＤを検出する。
管理部３６は、利用可能なカラーコードＩＤをカラーコード管理テーブル記憶部５２に記憶して管理している。管理部３６は、利用していないカラーコードＩＤをカラーコード管理テーブル記憶部５２から選択する。管理部３６は、ジョブＩＤ検出部３４が検出したジョブＩＤと、選択したカラーコードＩＤと、を対応付けてカラーコード管理テーブル記憶部５２で管理する管理手段である。
また、管理部３６は、ジョブＩＤ及びカラーコードＩＤに対応するジョブ情報をジョブ管理テーブル記憶部５４に記憶して管理する。ジョブ管理テーブル記憶部５４は、ジョブの作業工程の進捗情報や履歴情報などを管理し、後述のマップ画面に管理対象物の所在を視覚的にマーカ表示するため等に利用される。
カラーコード画像生成部３８は管理部３６から提供されたカラーコードＩＤから例えば図２（Ｂ）に示したカラーコード画像８１１を生成する。カラーコード付き作業指示書作成部４０は例えば図２（Ａ）の顧客システム１０用の作業指示書８００から図２（Ｂ）のカラーコード画像８１１が付与された情報処理システム１２用の作業指示書８１０を作成する。印刷指示部４２は、例えば図２（Ｂ）のカラーコード画像８１１が付与された情報処理システム１２用の作業指示書８１０の印刷をプリンタ１６に指示する。
撮影画像取得部４４はカメラ１８から撮影画像や撮影動画を取得する。カラーコード認識部４６は撮影画像や撮影動画に写るカラーコード画像８１１を認識する。カラーコード認識部４６は認識したカラーコード画像８１１からカラーコードＩＤをデコードする。カラーコード認識部４６は、例えばカラーコード画像８１１を撮影したカメラ１８を識別するカメラ識別情報と、デコードしたカラーコードＩＤと、カラーコード画像８１１を認識した撮影画像を補正処理部４８に提供する。
補正処理部４８は、撮影画像に写るカラーコード画像８１１の高さにばらつきがある場合であっても、後述のようにカラーコード画像８１１の空間位置を算出し、カラーコード画像８１１の平面位置の検出精度を向上させる。
位置情報生成部６０は、撮影画像に写るカラーコード画像８１１のサイズと後述の基準コードサイズとに基づいて、後述するように、カラーコード画像８１１の空間位置を算出して、カラーコード画像８１１の空間位置を示す情報（空間座標情報）を生成する位置情報生成手段である。
平面座標情報補正部６２は、撮影画像から認識したカラーコード画像８１１の平面位置を示す情報（平面座標情報）を、位置情報生成部６０が生成した空間座標情報を用いて後述のように補正する。基準コード画像サイズ算出部６４は、地面などの基準平面の中央に置かれた基準コード画像をカメラ１８で撮影した撮影画像に写る基準コード画像のサイズから、後述するように基準平面の中央以外の基準平面上の基準コード画像のサイズを算出する。
補正処理部４８は、カラーコード画像８１１を撮影したカメラ１８を識別するカメラ識別情報と、デコードしたカラーコードＩＤと、カラーコード画像８１１を認識した撮影画像と、補正したカラーコード画像８１１の平面座標情報と、を管理部３６に提供する。
管理部３６はカラーコード管理テーブル記憶部５２を参照することで、デコードしたカラーコードＩＤに対応するジョブＩＤを特定する。また、管理部３６は設定情報記憶部５０を参照することで、補正したカラーコード画像８１１の平面座標情報からカラーコード画像を認識したカメラ１８の分割画像を精度良く特定し、特定した分割画像に設定されているアドレス識別情報を特定できる。
管理部３６は、カラーコード画像を撮影したカメラ１８の分割画像に対応するジョブの作業工程と、デコードしたカラーコードＩＤに対応するジョブＩＤとに基づいて、ジョブ管理テーブル記憶部５４で管理される後述のジョブステータス情報を更新できる。
作業工程管理システム１４や顧客システム１０の各機能部はＬＡＮ内の情報処理装置やサーバ装置に実装される他、インターネット上の情報処理装置やＷｅｂサーバとして構成され、クラウドサービスとして提供してもよい。例えば情報処理装置は、ユーザの端末装置から、インターネット等のネットワーク経由で要求を受信して各種画面を返したり、画面から入力を受信して設定を実行したりしてもよい。また情報処理装置は、設置されたカメラから画像を受信してコード画像を認識し、端末装置のＷｅｂブラウザ等のソフトウェアに対してマップ画面を送信して、管理対象物の位置や作業状況等を、双方向通信プロトコルを用いてリアルタイムに更新してもよい。
＜カラーコード画像の位置の認識＞
まず、カメラ１８により撮影された撮影画像からカラーコード画像８１１の位置を認識する場合において、そのカラーコード画像８１１の平面位置を正しく認識できない例について説明する。図５は、カラーコードの位置を正しく認識できない場合について説明するための一例の図である。
図５（Ａ）はカラーコード画像（１）が存在する。また、図５（Ｂ）はカラーコード画像（２）が存在する。カラーコード画像（１）は、カラーコード画像（２）よりも低い位置に存在している。カラーコード画像（１）及び（２）は、高さにばらつきがあるカラーコード画像の一例である。なお、図５（Ａ）及び図５（Ｂ）は、比較し易いように、両方のカラーコード画像（１）及び（２）を同時に図示しているが、同時に存在している訳ではなく、何れか一方が存在している。
カメラ１８は、図５（Ａ）及び（Ｂ）に示すように、異なる空間位置に存在しているカラーコード画像（１）及び（２）であっても、撮影方向の直線上に存在していれば、同一の平面位置に存在するように撮影画像を撮影してしまう。したがって、図５の例では撮影画像からカラーコード画像（１）及び（２）の平面位置を検出しようとすると、異なる位置のカラーコード画像（１）及び（２）が同一の平面位置に存在すると認識される。
そこで、本実施形態では、図６に示す方法で、カラーコード画像の平面位置を精度良く検出する。図６はカラーコードの位置を正しく認識する方法について説明する一例の図である。図６に示す方法は、地面などの基準平面の中央に置かれたカラーコード画像がカメラ１８により撮影された場合の撮影画像におけるカラーコード画像のサイズを基準コード画像のサイズとして設定しておく。また、図６に示す方法では、平面位置を検出したいカラーコード画像のサイズをカメラ１８の撮影画像から検出する。
図６に示す方法では、以下に示すように、カラーコード画像のサイズ、基準コード画像のサイズ、撮影画像から認識したカラーコード画像の平面位置、及びカメラ１８の高さからカラーコード画像の空間位置を算出し、カラーコード画像の平面位置を補正する。
図６（Ａ）は、基準コード画像のサイズＳ１、撮影画像から認識したカラーコード画像の平面位置Ｘ１、基準平面からのカメラ１８の高さＨ１、撮影画像のカラーコード画像のサイズＳ２、算出するカラーコード画像の平面位置Ｘ２、及び算出するカラーコード画像の平面を基準としたカメラ１８の高さＨ２、の関係を示している。
図６の例では、相似の関係を利用し、基準コード画像のサイズＳ１及び撮影画像のカラーコード画像のサイズＳ２と撮影画像から認識したカラーコード画像の平面位置Ｘ１及び算出するカラーコード画像の平面位置Ｘ２と、の関係を以下の式（１）で表すことができる。
また、基準コード画像のサイズＳ１及び撮影画像のカラーコード画像のサイズＳ２と基準平面からのカメラ１８の高さＨ１及び算出するカラーコード画像の平面を基準としたカメラ１８の高さＨ２と、の関係を以下の式（２）で表すことができる。
１／Ｓ１：１／Ｓ２＝Ｘ１ ２：Ｘ２ ２…（１）
１／Ｓ１：１／Ｓ２＝Ｈ１ ２：Ｈ２ ２…（２）
上記の式（１）から、カラーコード画像の平面位置Ｘ２を算出する式（３）を求めることができる。また、上記の式（２）から、カラーコード画像の平面を基準としたカメラ１８の高さＨ２を算出する式（４）を求めることができる。
Ｘ２＝（Ｓ１／Ｓ２）１／２＊Ｘ１…（３）
Ｈ２＝（Ｓ１／Ｓ２）１／２＊Ｈ１…（４）
なお、上記の式（１）～（４）はＸ軸方向の計算であって、Ｙ軸方向も同様に計算することで、カラーコード画像の空間位置（空間座標）を算出し、空間座標を用いてカラーコード画像の平面位置（平面座標）を補正できる。
図６（Ｂ）は、図６（Ａ）のサイズＳ１の基準コード画像とサイズＳ２のカラーコード画像とが、カメラ１８の撮影画像上で同じ位置に撮影されることを示している。本実施形態では、例えば図６（Ｃ）及び図６（Ｄ）に示すように、基準コード画像のサイズＳ１とカラーコード画像のサイズＳ２とを元に、カラーコード画像の空間座標を算出して正しいカラーコード画像の平面座標に補正できる。
例えば図６（Ａ）の例において、基準平面からのカメラ１８の高さＨ１を４ｍ、撮影画像のカラーコード画像のサイズＳ２を４００、撮影画像から認識したカラーコード画像の平面位置Ｘ１を２ｍ、基準コード画像のサイズＳ１を１００とした場合は、以下のようにカラーコード画像の平面位置Ｘ２及びカラーコード画像の平面を基準としたカメラ１８の高さＨ２を算出できる。
Ｘ２＝（Ｓ１／Ｓ２）１／２＊Ｘ１
＝（１００／４００）１／２＊２
＝１ｍ
Ｈ２＝（Ｓ１／Ｓ２）１／２＊Ｈ１
＝（１００／４００）１／２＊４
＝２ｍ
＜処理＞
以下、本実施形態に係るジョブ管理システム１で印刷工場におけるジョブの作業工程の管理をカラーコード画像の位置把握により実現するために必要な準備処理と、印刷工場におけるジョブの作業工程の管理をカラーコード画像の位置把握により実現する管理処理とについて説明する。
《準備処理》
図７は、本実施形態に係る情報処理システムの準備処理を示す一例のフローチャートである。ステップＳ１０において、ユーザは例えば管理対象物の位置を管理する範囲を含んだ印刷工場などのマップ画像をアップロードする。作業工程管理システム１４のＵＩ部３０はユーザからマップ画像の指定を行う操作を受け付ける。設定部３２は、ユーザによるマップ画像の指定を受け付ける。
ステップＳ１２において、ＵＩ部３０は例えば図８に示すようなマス目設定画面１０００を表示して、マップ画像をマス目に分割するために必要な設定をユーザから受け付けるようにしてもよい。
図８はマス目設定画面の一例のイメージ図である。図８に示したマス目設定画面１０００では、ユーザからマス目の数を列数×行数で手動入力できる。また、図８に示したマス目設定画面１０００では、ユーザにフロアの幅と奥行きの距離、あるいはフロア面積などを入力させて、カメラ１８の撮影範囲（例えば２ｍ×２ｍ）に基づいて、マス目の数を自動設定できる。例えば幅４０ｍ×奥行き２０ｍのフロアであれば、２０列×１０行のマス目がマップ画像に自動で割り当てられる。ＵＩ部３０は、マップ画像に自動で割り当てられたマス目の編集をユーザから受け付けるようにしてもよい。マス目設定画面１０００に対するユーザの入力により、ＵＩ部３０は例えば図８のマス目設定画面１０００のマップ画像に示すように、分割したマス目を視認可能にマス目を追加表示する。
ステップＳ１４において、ＵＩ部３０は、例えば図９に示すようなアドレス設定画面１１００を表示して、マップ画像のマス目のうち、管理対象物の位置を管理する範囲のマス目の設定を作業工程ごとにユーザから受け付ける。
図９はアドレス設定画面の一例のイメージ図である。例えば図９のアドレス設定画面１１００では、対応付けるマス目を設定する作業工程をユーザに工程リスト１１０２から選択させ、その作業工程を配置する場所のマス目をマウス等で範囲指定させる。例えば図９
のマップ画像の例は、ユーザから作業工程Ａ～Ｇに対応するマス目の範囲指定を受け付け済みであり、作業工程Ｈに対応するマス目の範囲指定を受け付け中である。設定部３２はマップ画像のマス目のうち、作業工程が配置された場所のマス目にアドレス識別情報を付与すると共に、作業工程を識別するためのジョブ工程情報を対応付ける。
なお、カメラ１８は、マップ画像のマス目のうち、管理対象物の位置を管理する範囲のマス目（ジョブの作業工程Ａ～Ｌに対応するマス目）を撮影可能な位置に複数台、設置されているものとする。
ステップＳ１６において、ＵＩ部３０は、例えば図１０に示すようなカメラ設定画面１２００を表示して、各作業工程のマス目を撮影するカメラ１８を割り当てる。図１０はカメラ設定画面の一例のイメージ図である。
例えば図１０のカメラ設定画面１２００では、ユーザが工程の選択欄１２０２から一つの作業工程を選択すると、その作業工程が配置された複数のマス目がカメラ配置欄１２０６に表示される。図１０では作業工程Ｃが配置された４×４の１６個のマス目が一例として表示されている。
ユーザはカメラ配置欄１２０６に表示された複数のマス目に配置するカメラ１８をカメラリスト１２０４から選択し、そのカメラ１８を配置する２×２の４個のマス目をマウス等で範囲指定させる。なお、カメラリスト１２０４は、他の作業工程と対応付けられているカメラをグレーアウト表示や済マークを表示してもよい。
例えば図１０のカメラ設定画面１２００では「工程Ｃ」の作業工程と対応付けられたアドレス識別情報「１」～「１６」のマス目のうち、アドレス識別情報「１」「２」「５」及び「６」に「カメラｂ」が配置され、アドレス識別情報「２」「３」「６」及び「７」に「カメラｃ」が配置され、アドレス識別情報「３」「４」「７」及び「８」に「カメラｄ」が配置され、アドレス識別情報「５」「６」「９」及び「１０」に「カメラｅ」が配置されている。
なお、図１０のカメラ設定画面１２００は「カメラを自動配置する」ボタン１２０８が含まれており、ボタン１２０８の押下操作をユーザから受け付けることで、例えば図１０のカメラ配置欄１２０６に示すようにカメラ１８を自動で配置してもよい。図１０のカメラ配置欄１２０６に示した４×４の１６個のマス目の作業工程の場合は、９台のカメラ１８が配置される。配置されるカメラ１８の台数は、作業工程のマス目がｎ×ｍであるとすると、（ｎ－１）×（ｍ－１）となる。
ユーザは、図１０のカメラ設定画面１２００に対する操作により、複数のカメラ１８それぞれの分割画像が撮影しているマス目のアドレス識別情報を設定できる。設定部３２は複数のカメラ１８それぞれの撮影画像を例えば４分割した分割画像ごとに、カメラ識別情報、アドレス識別情報、及びジョブ工程情報を対応付けることができる。
また、ステップＳ１６において、ＵＩ部３０は基準平面の中央に置かれた基準コードサイズ及びカメラ１８の高さの設定を受け付ける。なお、基準コードサイズ及びカメラ１８の高さの設定はステップＳ１６のタイミングに限定されない。
図７のフローチャートの処理により、設定部３２は図１１に示すようなアドレス設定情報及び図１２に示すようなカメラ設定情報を設定情報記憶部５０に記憶できる。図１１は本実施形態に係るアドレス設定情報の一例の構成図である。図１２は本実施形態に係るカメラ設定情報の一例の構成図である。
図１１のアドレス設定情報は、カメラ識別情報、アドレス識別情報、撮影画像内の分割画像の領域、及びジョブ工程情報を対応付ける。カメラ識別情報は、カメラ１８を識別する識別情報の一例である。アドレス識別情報は、マップ画像から分割されたマス目を識別する識別情報の一例である。撮影画像内の分割画像の領域は、カメラ１８が撮影した撮影画像内の分割画像の領域を識別する（切り出す）ための識別情報の一例である。ジョブ工程情報は作業工程を識別するための識別情報の一例である。
図１１のアドレス設定情報を利用することで、作業工程管理システム１４はカメラ１８それぞれの分割画像が撮影しているマス目のアドレス識別情報、及びそのマス目の位置の作業工程を識別するジョブ工程情報を特定することができる。なお、図１１のアドレス設定情報では、例えばカメラＡの撮影画像の右上の分割画像及びカメラＢの撮影画像の左上の分割画像のように、同一のアドレス識別情報が付与されたマス目を複数のカメラ１８で重複して撮影するように設定されている。
図１２のカメラ設定情報は、カメラ識別情報、基準平面中央に置かれた基準コードサイズ、及びカメラ高さを対応付ける。基準平面中央に置かれた基準コードサイズは、カメラ識別情報が示すカメラ１８で地面などの基準平面の中央に置かれた基準コード画像を撮影した場合に、撮影画像に写る基準コード画像のサイズを示す情報の一例である。カメラ高さは、カメラ識別情報が示すカメラ１８の基準平面からの高さを示す情報の一例である。
《管理処理》
例えば印刷工場におけるジョブの作業工程は、印刷、断裁、折り、製本、検査、及び一時保管などである。カメラ１８はジョブの作業工程において管理対象物が置かれる範囲を撮影できるように設置されている。例えば管理対象物は、カメラ１８から撮影可能な位置にカラーコード画像が付与された作業指示書が貼付されているものとする。
本実施形態に係る情報処理システム１２では、ジョブＩＤを特定できるカラーコード画像が付与された作業指示書を印刷物などの管理対象物の上に貼付してカメラ１８に撮影させることにより、複数の作業工程からなるジョブの進捗を管理する。
カラーコード画像が付与された作業指示書は、例えば次のように作成する。作業工程管理システム１４の管理部３６は、利用するカラーコードＩＤをカラーコード管理テーブル記憶部５２から選択し、選択したカラーコードＩＤと、作業指示書を作成するジョブのジョブＩＤとを対応付けて管理する。
カラーコード画像生成部３８はジョブＩＤと対応付けられたカラーコードＩＤから例えば特開２０１７－１９９３０６号公報又は特開２０２０－０２４６５８号公報等に記載されている技術を利用して、カラーコード画像を生成する。カラーコード付き作業指示書作成部４０は生成したカラーコード画像を利用して、カラーコード画像が付与された作業指示書を作成する。
印刷指示部４２はカラーコード画像が付与された作業指示書（カラーコード付き作業指示書）の印刷をプリンタ１６に指示する。プリンタ１６は印刷指示部４２からの指示によりカラーコード画像が付与された作業指示書を印刷する。
例えば印刷工場では印刷の作業工程により印刷物が出力されたあと、その印刷物の上にカラーコード画像が付与された作業指示書を貼付する。管理対象物の一例である印刷物の上に貼付されたあと、カラーコード画像が付与された作業指示書はジョブの作業工程においてカメラ１８により撮影される。このように、本実施形態に係るジョブ管理システム１ではジョブの作業工程において、管理対象物の一例である印刷物の上に貼付された作業指示書のカラーコード画像が撮影される。
本実施形態に係るジョブ管理システム１では、カラーコード画像が付与された作業指示書がカメラ１８により撮影されることで、ジョブ管理テーブル記憶部５４に記憶されているジョブステータス情報のジョブのステータスを図１３に示す処理により更新する。
図１３は本実施形態に係る情報処理システムの管理処理を示す一例のフローチャートである。ステップＳ３０において、作業工程管理システム１４の撮影画像取得部４４はカメラ１８から撮影画像を取得する。
ステップＳ３２において、カラーコード認識部４６は撮影画像取得部４４が取得した撮影画像から例えば特開２０１７－１９９３０６号公報又は特開２０２０－０２４６５８号公報等に記載されている手順でカラーコード画像の認識処理を行う。ステップＳ３４においてカラーコード認識部４６はカラーコード画像を認識すると、撮影画像にカラーコード画像が含まれていると判断し、カラーコード画像にコード化されていたカラーコードＩＤを復元する。
なお、カラーコード認識部４６が撮影画像にカラーコード画像が含まれていると判断すると、ステップＳ３６～Ｓ４２の処理が実行される。カラーコード認識部４６が撮影画像にカラーコード画像が含まれていると判断しなければ、ステップＳ３６～Ｓ４２の処理はスキップされる。カラーコード認識部４６は撮影画像にカラーコード画像が含まれていると判断した場合、例えばカラーコード画像を撮影したカメラ１８を識別するカメラ識別情報と、デコードしたカラーコードＩＤと、カラーコード画像を認識した撮影画像とを補正処理部４８に提供する。
ステップＳ３６において、補正処理部４８はカラーコード画像を撮影したカメラ１８のアドレス設定情報及びカメラ設定情報を設定情報記憶部５０から読み出す。ステップＳ３８において、補正処理部４８は図６に示した方法を用いて、カラーコード画像の空間座標を算出し、その空間座標を用いてカラーコード画像の平面座標を補正する。
補正処理部４８は、カラーコード画像を撮影したカメラ１８を識別するカメラ識別情報と、デコードしたカラーコードＩＤと、カラーコード画像を認識した撮影画像と、補正したカラーコード画像の平面座標情報と、を管理部３６に提供する。
ステップＳ４０において、管理部３６はカラーコード画像を撮影したカメラ１８のアドレス設定情報を設定情報記憶部５０から読み出す。管理部３６は補正後のカラーコード画像の平面座標で、カラーコード画像を認識した撮影画像内の位置（マス目）のアドレス識別情報を特定する。ステップＳ４２において、管理部３６は特定したアドレス識別情報及びジョブ工程情報を用いて、例えば図１４に示すようなジョブステータス情報の更新処理を行う。
図１４は本実施形態に係るジョブステータス情報の一例の構成図である。図１４に示すジョブステータス情報は、アドレス識別情報、ジョブ工程情報、及びステータスを対応付けて管理している。ステップＳ３２でカラーコード画像が認識された作業指示書のジョブは、カラーコード画像が認識された撮影画像内の位置と対応付けられたアドレス識別情報の位置（マス目）及びジョブ工程情報の作業工程にあるものとしてジョブステータス情報を用いて管理される。
ステップＳ３８のカラーコード画像を認識した位置の補正処理は、例えば図１５に示す処理により実行される。図１５は本実施形態に係るカラーコードを認識した位置の補正処理を示す一例のフローチャートである。
ステップＳ５０において、補正処理部４８の位置情報生成部６０は図６を利用して説明したように、撮影画像から認識したカラーコード画像の平面位置、認識したカラーコード画像のサイズ、及び基準コード画像のサイズに基づき、認識したカラーコード画像の空間座標を算出する。
ステップＳ５２において、平面座標情報補正部６２は算出したカラーコード画像の空間座標を用いることで、図６に示したように、撮影画像から認識したカラーコード画像の平面座標を正しい位置に補正する。なお、補正処理部４８は撮影画像から認識した全てのカラーコード画像に対する処理が終了するまでステップＳ５０～Ｓ５４の処理を繰り返す。
なお、ステップＳ３８のカラーコード画像を認識した位置の補正処理では、基準平面の中央に置かれた基準コード画像をカメラ１８で撮影した撮影画像に写る基準コード画像のサイズから、図１６に示すように基準平面上の基準コード画像のサイズを算出する。
図１６は基準平面中央に置かれたカラーコードのサイズから基準平面内のカラーコードのサイズを算出する方法について説明する一例の図である。図１６は、基準平面の中央の基準コード画像のサイズＳ'と、基準平面からのカメラ１８の高さＨ'と、基準平面内の他の基準コード画像のサイズＳ１と、の関係を示している。
図１６に示した関係は、以下の式（５）及び（６）で表すことができる。
Ｈ１＝（Ｘ１ ２＋Ｈ'２）１／２…（５）
１／Ｓ'：１／Ｓ１＝Ｈ'２：Ｈ１ ２…（６）
上記の式（５）及び（６）から、基準平面内の他の基準コード画像のサイズＳ１を算出する式（７）を求めることができる。
Ｓ１＝Ｈ'２／Ｈ１ ２＊Ｓ'
＝Ｈ'２／（Ｘ１ ２＋Ｈ'２）＊Ｓ'…（７）
図１６に示したように、基準平面の中央の基準コード画像のサイズＳ'が分かれば、基準平面内の他の基準コード画像のサイズＳ１を算出できる。
ステップＳ４２のジョブステータス情報の更新処理は、例えば図１７に示す処理により実行される。図１７は本実施形態に係るジョブ管理システムのジョブステータス情報の更新処理を示す一例のフローチャートである。
ステップＳ６０において管理部３６はカラーコード管理テーブル記憶部５２に記憶されているカラーコード管理テーブルを参照して、認識したカラーコード画像のカラーコードＩＤに対応するジョブＩＤを特定する。ステップＳ６２において、管理部３６は補正後のカラーコード画像の平面座標の位置から特定した、カラーコード画像を認識した位置（マス目）のアドレス識別情報及びジョブ工程と、ステップＳ６０で特定したジョブＩＤとを対応付けて記憶するように、図１４のジョブステータス情報を更新する。なお、管理部３６は撮影画像から認識した全てのカラーコード画像に対する処理が終了するまでステップＳ６０～Ｓ６４の処理を繰り返す。
また、本実施形態のジョブ管理システム１ではカラーコード画像の位置把握により管理しているジョブの作業工程の内容を、例えば図１８に示すような手順でユーザに提供することができる。図１８は本実施形態に係るジョブ管理システムのマップ表示処理を示す一例のフローチャートである。
ステップＳ１００において、ＵＩ部３０は例えばユーザからマップ画像の表示操作を受け付けることで、マップ画像を表示する。マップ画像は、管理対象物の位置を管理する範囲を含んだ印刷工場などのマップ画像であって、準備処理において指定したマップ画像である。
ステップＳ１０２において、ＵＩ部３０は位置を検索する管理対象物のジョブＩＤの入力操作をユーザから受け付ける。ステップＳ１０４において、管理部３６は図１４に示したようなジョブステータス情報を検索し、入力されたジョブＩＤに対応する管理対象物が存在する位置のアドレス識別情報及びジョブ工程情報を特定する。
ステップＳ１０６において、管理部３６はステップＳ１０４で特定した管理対象物が存在する位置のアドレス識別情報及びジョブ工程情報に応じて、ジョブＩＤに対応する管理対象物の所在を、例えば図１９に示すようにマーカ１３０４で表示する。図１９は本実施形態に係るジョブ管理システムのマップ画面の一例のイメージ図である。図１９のマップ画面１３００はジョブＩＤ入力欄１３０２を有する。
図１９のマップ画面１３００では、ジョブＩＤで検索したジョブの所在をマップ画像上にマーカ１３０４で視覚的に表示している。なお、マップ画面１３００はジョブＩＤで検索したジョブの現在の所在をマーカ１３０４で表示するだけでなく、移動の軌跡を視覚的に表示するようにしてもよい。このように、ユーザは図１９のマップ画面１３００において、作業指示書を貼付した管理対象物のステータスを確認できるとともに、管理対象物のトラッキングが可能となる。
なお、同一のマス目から複数のカラーコード画像を認識した場合は、例えばマーカ１３０４をマウスオーバーまたはクリックすることで、図２０に示すように複数のジョブのジョブ情報１３０６を表示するようにしてもよい。図２０は本実施形態に係るジョブ管理システムのマップ画面の一例のイメージ図である。
さらに、同一のマス目から複数のカラーコード画像を認識した場合は、例えばマーカ１３０８をマウスオーバーまたはクリックすることで、図２１に示すように複数のジョブのジョブ情報１３０６を表示するようにしてもよい。図２１は本実施形態に係るジョブ管理システムのマップ画面の一例のイメージ図である。図２１のマーカ１３０８は、同一のマス目に複数のジョブが存在していることを示す形状となっている。なお、マーカ１３０８はカラーコード付き作業指示書の色、縁取り色などと同じ色で表示してもよい。
［第２の実施形態］
上記した第１の実施形態は、カメラ１８を天井などに設置し、管理対象物の位置を管理する範囲を上方向から撮影するカメラ配置方法が上配置の例である。第２の実施形態はカメラ１８を壁などに設置して、管理対象物の位置を管理する範囲を横方向から撮影するカメラ配置方法が横配置の例である。
＜カラーコード画像の位置の認識＞
まず、横配置のカメラ１８により撮影された撮影画像からカラーコード画像の位置を認識する場合において、そのカラーコード画像の平面位置を正しく認識できない例について説明する。図２２はカラーコードの位置を正しく認識できない場合について説明するための一例の図である。
図２２（Ａ）はカラーコード画像（１）及び（２）が、同一の平面位置に高さ違いで存在している。図２２（Ｂ）はカラーコード画像（１）又は（３）が異なる平面位置に高さ違いで存在している。なお、図２２（Ｂ）は、比較し易いように、両方のカラーコード画像（１）及び（３）を同時に図示しているが、同時に存在している訳ではなく、何れか一方が存在している。
カメラ１８は図２２（Ａ）に示すように、同一の平面位置に存在しているカラーコード画像（１）及び（２）であっても、撮影方向の直線上に存在していなければ、異なる平面位置に存在するように撮影画像を撮影してしまう。したがって、図２２（Ａ）の例では撮影画像からカラーコード画像（１）及び（２）の平面位置を検出しようとすると、同じ位置のカラーコード画像（１）及び（２）が異なる平面位置に存在すると認識される。
カメラ１８は図２２（Ｂ）に示すように、異なる平面位置に存在しているカラーコード画像（１）及び（３）であっても、撮影方向の直線上に存在していれば、同一の平面位置に存在するように撮影画像を撮影してしまう。したがって、図２２（Ｂ）の例では撮影画像からカラーコード画像（１）及び（３）の平面位置を検出しようとすると、異なる位置のカラーコード画像（１）及び（３）が同一の平面位置に存在すると認識される。
そこで、本実施形態では、図２３に示す方法で、カラーコード画像の平面位置を精度良く検出する。図２３はカラーコードの位置を正しく認識する方法について説明する一例の図である。図２３に示す方法は、撮影画像から求めた平面位置を実空間に投影することで、図６に示した方法と同様にカラーコード画像の平面位置を検出する。
図２３では、カメラ１８の画角の中心（Ｘ＝０）が地面と交わる平面を基準平面として示している。地面からのカメラ１８の高さＨ'及びカメラ１８の傾きθから、カメラ１８から基準平面までの距離Ｈ１は以下の式（８）で表すことができる。
Ｈ１＝Ｈ'／ｃｏｓθ…（８）
図２３では、撮影画像から認識したカラーコード画像の基準平面の平面位置Ｘ１と、基準平面の基準コードサイズＳ'と、に基づき、以下の式（９）から基準平面の基準コードサイズＳ１を算出する。
１／Ｓ'：１／Ｓ１＝Ｈ１ ２：（Ｈ１ ２＋Ｘ１ ２）…（９）
撮影画像のカラーコード画像のサイズＳ２と、基準コードサイズＳ１と、撮影画像から認識したカラーコード画像の基準平面の平面位置Ｘ１と、に基づき、第１の実施形態の方法を用いて、検出値Ｘ２及びＨ２を算出する。算出した検出値Ｘ２及びＨ２を、以下の式（１０）及び（１１）によりＸ'Ｈ'座標に変換することで、カラーコード画像の平面位置Ｘ'２、及びカメラ１８の高さＨ'２を算出できる。
Ｈ'２＝（Ｘ２ ２＋Ｈ２ ２）１／２＊ｃｏｓ（θ＋ｔａｎ－１（Ｘ２／Ｈ２））…（１０）
Ｘ'２＝（（Ｘ２ ２＋Ｈ２ ２）－Ｈ'２ ２）１／２…（１１）
なお、Ｙ軸方向はＹ軸を中心に回転しているため、座標変換が不要である。例えば図２３の例において、地面からのカメラ１８の高さＨ'を４ｍ、カメラ１８の傾きθを６０°とした場合は、以下のようにカメラ１８から基準平面までの距離Ｈ１を算出できる。
Ｈ１＝Ｈ'／ｃｏｓθ
＝４／０．５
＝８ｍ
撮影画像のカラーコード画像のサイズＳ２を４００、カラーコード画像の基準平面の平面位置Ｘ１を２ｍ、基準平面の平面位置Ｘ１における基準コードサイズＳ'を１００とした場合は、以下のように検出値Ｘ２及びＨ２を算出できる。
Ｘ２＝（Ｓ１／Ｓ２）１／２＊Ｘ１
＝（１００／４００）１／２＊２
＝１ｍ
Ｈ２＝（Ｓ１／Ｓ２）１／２＊Ｈ１
＝（１００／４００）１／２＊８
＝４ｍ
算出した検出値Ｘ２＝１ｍ及びＨ２＝４ｍをＸ'Ｈ'座標に変換することで、以下のように、カラーコード画像の平面位置Ｘ'２、及びカメラ１８の高さＨ'２を算出することができる。
Ｈ'２＝（Ｘ２ ２＋Ｈ２ ２）１／２＊ｃｏｓ（θ＋ｔａｎ－１（Ｘ２／Ｈ２））
＝（１２＋４２）１／２＊ｃｏｓ（６０°＋ｔａｎ－１（１／４））
≒１．１３ｍ
Ｘ'２＝（（Ｘ２ ２＋Ｈ２ ２）－Ｈ'２ ２）１／２
＝（（１２＋４２）－１．１３２）１／２
≒３．９６ｍ
なお、第２の実施形態で利用するカメラ設定情報は図２４に示すようになる。図２４は本実施形態に係るカメラ設定情報の一例の構成図である。図２４のカメラ設定情報は図１２のカメラ設定情報に「カメラ傾きθ」が項目として追加されている。項目「カメラ傾きθ」は設置されたカメラ１８の傾きを表す情報の一例である。
また、第２の実施形態において、ステップＳ３８のカラーコード画像を認識した位置の補正処理は、例えば図２５に示す処理により実行される。図２５は本実施形態に係るカラーコードを認識した位置の補正処理を示す一例のフローチャートである。
ステップＳ２００において、補正処理部４８の位置情報生成部６０は図２３を利用して説明したように、カメラ設定情報の設置条件（カメラ高さ、カメラ傾き）から、カメラ１８から基準平面までの距離Ｈ１を算出する。
ステップＳ２０２において、位置情報生成部６０は撮影画像から認識したカラーコード画像の基準平面の平面位置Ｘ１と、基準平面の基準コードサイズＳ'と、に基づき、基準平面の基準コードサイズＳ１を算出する。
ステップＳ２０４において、位置情報生成部６０は、撮影画像のカラーコード画像のサイズＳ２と、基準コードサイズＳ１と、撮影画像から認識したカラーコード画像の基準平面の平面位置Ｘ１と、に基づき、第１の実施形態の方法を用いて、検出値Ｘ２及びＨ２を算出する。
ステップＳ２０６において、位置情報生成部６０は検出値Ｘ２及びＨ２をＸ'Ｈ'座標に変換することで、カラーコード画像の平面位置Ｘ'２、及びカメラ１８の高さＨ'２を算出できる。
ステップＳ２０８において、平面座標情報補正部６２は、ステップＳ２０６で算出したカラーコード画像の空間座標を用いることで、図２３に示したように、撮影画像から認識したカラーコード画像の平面座標を正しい位置に補正する。補正処理部４８は撮影画像から認識した全てのカラーコード画像に対する処理が終了するまでステップＳ２００～Ｓ２１０の処理を繰り返す。
第２の実施形態によれば、同じ位置に重ねて置いてあり、高さが異なるカラーコード画像の位置を正しく認識できる。例えば図２１のマップ画面１３００では、同一の位置に重ねて置いてある管理対象物のカラーコード画像を、複数重畳させて表示させたり、影付きで表示させたり、することができる。
［第３の実施形態］
上記した第１の実施形態及び第２の実施形態は組み合わせて利用できる。第３の実施形態ではカメラ１８ごとにカメラ配置方法を設定しておく必要があるため、図２６に示すようなカメラ設定情報を利用する。図２６は本実施形態に係るカメラ設定情報の一例の構成図である。図２６のカメラ設定情報は図２４のカメラ設定情報に「カメラ配置方法」が項目として追加されている。項目「カメラ配置方法」は設置されたカメラ１８が上配置であるか横配置であるかを示す情報の一例である。なお、カメラ配置方法は、カメラ傾きθの値から自動で判定してもよい。
また、第３の実施形態において、ステップＳ３８のカラーコード画像を認識した位置の補正処理は、例えば図２７に示す処理により実行される。図２７は、本実施形態に係るカラーコードを認識した位置の補正処理を示す一例のフローチャートである。
ステップＳ３００において、補正処理部４８の位置情報生成部６０は図２６のカメラ設定情報の設置条件（カメラ配置方法）から、撮影画像を撮影したカメラ１８が上配置であるか否かを判定する。
上配置のカメラ１８であれば、位置情報生成部６０はステップＳ３０４において上配置のカメラ用の位置の補正処理（第１の実施形態の補正処理）を実行する。上配置のカメラ１８でなければ、位置情報生成部６０はステップＳ３０６において横配置のカメラ用の位置の補正処理（第２の実施形態の補正処理）を実行する。
第３の実施形態によれば、上配置のカメラ１８と横配置のカメラ１８とを組み合わせて用いることができ、様々な場所に対応できる。
［第４の実施形態］
上記した第１～第３の実施形態は、印刷物などの管理対象物に貼付するコード画像が付与された作業指示書により実現する技術である。この技術は、例えばＡＧＶ（無人搬送車）に代表される搬送システムの技術への応用が可能である。
例えば物品を搬送する搬送システムでは、その物品にカラーコード画像が追加された作業指示書を貼付し、搬送中の物品をカメラ１８により撮影することで、搬送装置により搬送中の物品の作業工程を管理できる。また、物品を搬送中の搬送装置の位置、及び、物品の搬送先を特定できるので、搬送システムは物品を搬送する搬送装置の移動も制御することができる。
［第５の実施形態］
上記した第１～第４の実施形態は、印刷工場におけるジョブの作業工程の管理及び搬送システムの技術への応用について説明したが、例えばベルトコンベアに流れている物品の作業工程の管理にも適用が可能である。ベルトコンベアに流れている物品の作業工程の管理に本実施形態の技術を提供すれば、ベルトコンベアに流れている物品のトラッキングが可能となり、ベルトコンベアの分岐の制御も可能である。
本発明は、具体的に開示された上記の実施形態に限定されるものではなく、特許請求の範囲から逸脱することなく、種々の変形や変更が可能である。作業工程管理システム１４は特許請求の範囲に記載した情報処理装置の一例である。
１ ジョブ管理システム
１０ 顧客システム
１２ 情報処理システム
１４ 作業工程管理システム
１６ プリンタ
１８ カメラ
２０ ネットワーク
３０ ＵＩ部
３２ 設定部
３４ ジョブＩＤ検出部
３６ 管理部
３８ カラーコード画像生成部
４０ カラーコード付き作業指示書作成部
４２ 印刷指示部
４４ 撮影画像取得部
４６ カラーコード認識部
４８ 補正処理部
５０ 設定情報記憶部
５２ カラーコード管理テーブル記憶部
５４ ジョブ管理テーブル記憶部
６０ 位置情報生成部
６２ 平面座標情報補正部
６４ 基準コード画像サイズ算出部
特開２０２０－０２４６５８号公報

Claims (10)

  1. 管理対象物の位置を管理する範囲を撮影するように設置された撮影装置と、前記撮影装置によって撮影された撮影画像から前記管理対象物に対応するコード画像を認識して、前記管理対象物の位置を管理する情報処理装置と、を有する情報処理システムであって、
    前記情報処理装置は、
    前記撮影画像から認識された前記コード画像の位置、前記撮影画像から認識された前記コード画像のサイズ、及び基準となるコード画像のサイズ、に基づいて、前記コード画像の空間座標情報を生成する位置情報生成手段と、
    前記コード画像の空間座標情報を用いて補正された前記コード画像の平面座標情報で、前記コード画像に対応する前記管理対象物の位置を管理する管理手段と、
    を有する情報処理システム。
  2. 前記位置情報生成手段は、前記撮影画像から認識された前記コード画像のサイズと基準となるコード画像のサイズとの比に基づき、前記撮影画像から認識された前記コード画像の空間座標が、前記撮影画像から認識された前記コード画像の位置と、前記撮影装置との間になるように、前記コード画像の空間座標情報を生成すること
    を特徴とする請求項１記載の情報処理システム。
  3. 前記管理手段は、前記撮影画像において同一の位置に存在しているように撮影されたサイズの異なる前記コード画像に対応する前記管理対象物を、前記位置情報生成手段が生成した前記コード画像の空間座標情報を用いて補正された前記コード画像の平面座標情報に基づき、異なる平面座標に存在するように表示すること、
    を特徴とする請求項１又は２記載の情報処理システム。
  4. 前記管理手段は、前記撮影画像において異なる位置に存在しているように撮影された前記コード画像に対応する前記管理対象物を、前記位置情報生成手段が生成した前記コード画像の空間座標情報を用いて補正された前記コード画像の平面座標情報に基づき、同一の平面座標に存在するように表示すること、
    を特徴とする請求項１又は２記載の情報処理システム。
  5. 前記管理対象物の位置を管理する範囲は、前記管理対象物に対するジョブ工程と対応付けられており、
    前記管理手段は、前記コード画像の空間座標情報を用いて補正された前記コード画像の平面座標情報が前記管理対象物の位置を管理する範囲内の位置を示している場合に、前記範囲と対応付けられている前記ジョブ工程に前記コード画像に対応する前記管理対象物が存在するものとして前記ジョブ工程の状況情報を表示すること
    を特徴とする請求項１乃至４の何れか一項に記載の情報処理システム。
  6. 前記基準となるコード画像のサイズを、前記撮影装置が撮影する基準平面の中央に置かれた前記コード画像の前記撮影画像におけるサイズから、前記コード画像が認識された前記基準平面の位置ごとに算出する基準コード画像サイズ算出手段、
    を更に有する請求項１乃至５の何れか一項記載の情報処理システム。
  7. 前記管理手段は、ユーザから前記管理対象物の検索要求を受け付けると、管理している前記管理対象物の位置を、前記管理対象物の位置を管理する範囲の画像上に、前記コード画像の空間座標情報を用いて補正された前記コード画像の平面座標情報に基づいて表示すること
    を特徴とする請求項３又は４記載の情報処理システム。
  8. 管理対象物の位置を管理する範囲を撮影するように設置された撮影装置と、前記撮影装置によって撮影された撮影画像から前記管理対象物に対応するコード画像を認識して、前記管理対象物の位置を管理する情報処理装置と、を有する情報処理システムが実行する位置管理方法であって、
    前記撮影画像から認識された前記コード画像の位置、前記撮影画像から認識された前記コード画像のサイズ、及び基準となるコード画像のサイズ、に基づいて、前記コード画像の空間座標情報を生成する位置情報生成ステップと、
    前記コード画像の空間座標情報を用いて補正された前記コード画像の平面座標情報で、前記コード画像に対応する前記管理対象物の位置を管理する管理ステップと、
    を有する位置管理方法。
  9. 管理対象物の位置を管理する範囲を撮影するように設置された撮影装置によって撮影された撮影画像から前記管理対象物に対応するコード画像を認識して、前記管理対象物の位置を管理する情報処理装置であって、
    前記撮影画像から認識された前記コード画像の位置、前記撮影画像から認識された前記コード画像のサイズ、及び基準となるコード画像のサイズ、に基づいて、前記コード画像の空間座標情報を生成する位置情報生成手段と、
    前記コード画像の空間座標情報を用いて補正された前記コード画像の平面座標情報で、前記コード画像に対応する前記管理対象物の位置を管理する管理手段と、
    を有する情報処理装置。
  10. 管理対象物の位置を管理する範囲を撮影するように設置された撮影装置によって撮影された撮影画像から前記管理対象物に対応するコード画像を認識して、前記管理対象物の位置を管理する情報処理装置を、
    前記撮影画像から認識された前記コード画像の位置、前記撮影画像から認識された前記コード画像のサイズ、及び基準となるコード画像のサイズ、に基づいて、前記コード画像の空間座標情報を生成する位置情報生成手段、
    前記コード画像の空間座標情報を用いて補正された前記コード画像の平面座標情報で、前記コード画像に対応する前記管理対象物の位置を管理する管理手段、
    として機能させるためのプログラム。
JP2021046491A 2021-03-19 2021-03-19 情報処理システム、位置管理方法、情報処理装置及びプログラム Pending JP2022145190A (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2021046491A JP2022145190A (ja) 2021-03-19 2021-03-19 情報処理システム、位置管理方法、情報処理装置及びプログラム
EP22162177.4A EP4071726A1 (en) 2021-03-19 2022-03-15 Information processing system, position management method, information processing apparatus, and carrier medium
US17/695,850 US11675547B2 (en) 2021-03-19 2022-03-16 Information processing system, position management method, information processing apparatus, and storage medium

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2021046491A JP2022145190A (ja) 2021-03-19 2021-03-19 情報処理システム、位置管理方法、情報処理装置及びプログラム

Publications (2)

Publication Number Publication Date
JP2022145190A true JP2022145190A (ja) 2022-10-03
JP2022145190A5 JP2022145190A5 (ja) 2024-04-05

Family

ID=81326609

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2021046491A Pending JP2022145190A (ja) 2021-03-19 2021-03-19 情報処理システム、位置管理方法、情報処理装置及びプログラム

Country Status (3)

Country Link
US (1) US11675547B2 (ja)
EP (1) EP4071726A1 (ja)
JP (1) JP2022145190A (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2023140699A (ja) 2022-03-23 2023-10-05 株式会社リコー 情報処理システム、情報処理方法、プログラム及び情報処理装置

Family Cites Families (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100456628B1 (ko) * 2001-12-28 2004-11-10 한국전자통신연구원 물류 정보 자동식별 처리시스템 및 그 방법
EP2101281B1 (en) * 2007-03-27 2014-02-26 Casio Computer Co., Ltd. Bar-code reading apparatus and computer-readable medium
EP2372627A3 (en) * 2010-04-01 2011-10-12 Richard E. Rowe Providing city services using mobile devices and a sensor network
US8760691B2 (en) * 2011-06-14 2014-06-24 Hewlett-Packard Development Company, L.P. Devices and methods for print job tracking
JP5582114B2 (ja) * 2011-09-02 2014-09-03 コニカミノルタ株式会社 コンテンツ表示支援システム、コンテンツ表示支援装置、コンテンツ表示支援方法、表示プログラム、および携帯端末
CN103971400B (zh) * 2013-02-06 2018-02-02 阿里巴巴集团控股有限公司 一种基于标识码的三维交互的方法和系统
JP5922067B2 (ja) * 2013-08-30 2016-05-24 京セラドキュメントソリューションズ株式会社 画像形成システム
US20170184698A1 (en) * 2015-12-29 2017-06-29 Rohde & Schwarz Gmbh & Co. Kg Method and apparatus for calibration of a device under test
JP6565786B2 (ja) 2016-04-28 2019-08-28 株式会社リコー 光学シンボル、表示媒体、物品および生成装置
JP7070207B2 (ja) 2018-07-30 2022-05-18 株式会社リコー 情報処理システム、情報処理方法、プログラム及び媒体
JP7358756B2 (ja) 2018-07-30 2023-10-11 株式会社リコー 情報処理システム、進捗管理方法及びプログラム
EP3605308A3 (en) 2018-07-30 2020-03-25 Ricoh Company, Ltd. Information processing system for slip creation
JP7200526B2 (ja) 2018-07-30 2023-01-10 株式会社リコー 情報処理システム、情報処理方法、プログラム及び媒体
US10929073B2 (en) 2019-03-15 2021-02-23 Ricoh Company, Ltd. Information processing system
JP7205507B2 (ja) 2019-03-15 2023-01-17 株式会社リコー 情報処理システム
JP7476590B2 (ja) 2020-03-17 2024-05-01 株式会社リコー 情報処理システム、プログラム及び情報処理装置
JP7435093B2 (ja) 2020-03-17 2024-02-21 株式会社リコー 情報処理システム、プログラム及び情報処理装置
JP2021149945A (ja) 2020-03-17 2021-09-27 株式会社リコー 情報処理システム、プログラム及び情報処理装置
US11567716B2 (en) 2020-03-17 2023-01-31 Ricoh Company, Ltd. Information processing system, information processing method, and information processing apparatus

Also Published As

Publication number Publication date
US11675547B2 (en) 2023-06-13
EP4071726A1 (en) 2022-10-12
US20220300217A1 (en) 2022-09-22

Similar Documents

Publication Publication Date Title
JP6822396B2 (ja) 位置特定装置、位置特定方法及びプログラム
JP5879725B2 (ja) 板金工程作業支援システム
US20190073839A1 (en) Package management system and method thereof
JP5922067B2 (ja) 画像形成システム
JP2016095560A (ja) 電子機器、オーダーエントリーシステム、及びプログラム
CN107145569B (zh) 文档管理方法及装置
JP2022145190A (ja) 情報処理システム、位置管理方法、情報処理装置及びプログラム
US20160092101A1 (en) Arrangement drawing creation system, arrangement drawing creation apparatus, and non-transitory computer-readable storage medium having stored therein arrangement drawing creation program for creating arrangement drawing of apparatus
US8943097B2 (en) Information management apparatus, information management system, non-transitory computer readable medium that stores information management program and information management method
JPWO2018037666A1 (ja) 情報処理装置、制御方法、及びプログラム
JP2022145287A (ja) 情報処理システム、位置管理方法、情報処理装置及びプログラム
JP2019082869A (ja) 情報処理装置、情報処理装置の制御方法、およびプログラム
KR101724441B1 (ko) 도면 영상 투사 장치
JP2020017048A (ja) 情報処理装置、その制御方法及びプログラム。
JP2005184624A (ja) 商品販売・管理方法、商品販売・管理システムおよびサーバ
JPWO2019082429A1 (ja) 製造作業支援システム、製造作業支援方法およびプログラム
JP2005004594A (ja) データ処理装置及びプログラム
EP3644011A1 (en) Package management system and method thereof
JP6853031B2 (ja) 情報処理装置、情報処理システム、情報処理方法、及び、プログラム
JP7375261B2 (ja) コード処理装置、コード処理方法、およびプログラム
JP2023140699A (ja) 情報処理システム、情報処理方法、プログラム及び情報処理装置
JP2014116857A (ja) 情報処理装置、電子会議システム、情報処理方法、およびプログラム
JP2005031912A (ja) 画像入力装置及び画像処理プログラム
JP6900115B2 (ja) プロジェクタシステム及びプロジェクタシステム用プログラム
JP2022130032A (ja) 情報処理装置、情報処理システム、情報処理方法及びプログラム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20240119

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20240327