JP2019012321A - 情報処理装置、工程時間算出方法および工程時間算出プログラム - Google Patents

情報処理装置、工程時間算出方法および工程時間算出プログラム Download PDF

Info

Publication number
JP2019012321A
JP2019012321A JP2017127289A JP2017127289A JP2019012321A JP 2019012321 A JP2019012321 A JP 2019012321A JP 2017127289 A JP2017127289 A JP 2017127289A JP 2017127289 A JP2017127289 A JP 2017127289A JP 2019012321 A JP2019012321 A JP 2019012321A
Authority
JP
Japan
Prior art keywords
image
time
photographing
product
reference image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2017127289A
Other languages
English (en)
Inventor
寿憲 村田
Hisanori Murata
寿憲 村田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujitsu Ltd
Original Assignee
Fujitsu Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujitsu Ltd filed Critical Fujitsu Ltd
Priority to JP2017127289A priority Critical patent/JP2019012321A/ja
Publication of JP2019012321A publication Critical patent/JP2019012321A/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
    • Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
    • Y02P90/02—Total factory control, e.g. smart factories, flexible manufacturing systems [FMS] or integrated manufacturing systems [IMS]
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
    • Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
    • Y02P90/30—Computing systems specially adapted for manufacturing

Landscapes

  • Automatic Assembly (AREA)
  • General Factory Administration (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

【課題】 各工程時間を高精度に算出することができる情報処理装置、工程時間算出方法および工程時間算出プログラムを提供する。【解決手段】 工程時間算出プログラムは、コンピュータに、各工程完了時の製品の画像を基準画像として格納する処理と、前記製品の実際の各工程を撮影装置が撮影することで得られる各工程画像と撮影時刻とを関連付けて格納する処理と、前記基準画像と前記工程画像とを比較し、一致した前記工程画像の撮影時刻を基に、各工程時間を算出する処理と、を実行させる。【選択図】 図３

Description

本件は、情報処理装置、工程時間算出方法および工程時間算出プログラムに関する。
製品の組立においては、各組立工程に要する時間を早く簡単に把握したいという要望がある。例えば、組立ラインの各作業工程を撮影する手段を設け、作業内容を一連の画像で確認可能とする技術が開示されている（例えば、特許文献１参照）。また、作業者の動作を画像情報に記録し、作業者の特徴的な動作から各作業の時間を算出する技術が開示されている（例えば、特許文献２参照）。
特開２００３−１５０２３０号公報 特開平０９−２９７８６４号公報
しかしながら、上記技術では、各工程時間を高精度に算出することは困難である。
１つの側面では、本件は、各工程時間を高精度に算出することができる情報処理装置、工程時間算出方法および工程時間算出プログラムを提供することを目的とする。
１つの態様では、工程時間算出プログラムは、コンピュータに、各工程完了時の製品の画像を基準画像として格納する処理と、前記製品の実際の各工程を撮影装置が撮影することで得られる各工程画像と撮影時刻とを関連付けて格納する処理と、前記基準画像と前記工程画像とを比較し、一致した前記工程画像の撮影時刻を基に、各工程時間を算出する処理と、を実行させる。
各工程時間を高精度に算出することができる。
（ａ）および（ｂ）は作業者が組立工程時間を計測する手法を例示する図である。 （ａ）は実施例１に係る情報処理装置のハードウェア構成を説明するためのブロック図であり、（ｂ）は情報処理装置の機能ブロック図である。 （ａ）および（ｂ）は情報処理装置が各組立工程時間を算出する際に実行するフローチャートを例示する図である。 基準画像を例示する図である。 作業者が生産ラインにおいて実際に製品の組立工程を行う状態を例示する図である。 工程画像と基準画像とのパターンマッチングを例示する図である。 組立工程時間の算出を例示する図である。 （ａ）および（ｂ）は情報処理装置が各解体工程時間を算出する際に実行するフローチャートを例示する図である。
実施例の説明に先立って、生産ラインにおける製品の組立について説明する。製品の組立においては、ベースに部品が順次取り付けられていく。例えば、製品の組立には、ベースにラベルが貼り付けられる工程、当該ベースにネジによって部品が固定される工程、などの組立工程が含まれる。製品の組立においては、各組立工程に要する時間（以下、組立工程時間と称する。）を早く簡単に把握したいという要望がある。
各組立工程時間の計測には、作業者が計測する手法が用いられる。まず、図１（ａ）で例示するように、作業者が各組立工程の開始時点および完了時点を判別し、手動で時間を計測するという手法がある。この手法においては、各作業者が実際に各組立工程を行い、組立工程開始から当該組立工程の完了までの時間をストップウォッチで計測し、記録場で記録する。同じ組立工程を複数回繰り返せば、同じ組立工程の組立工程時間の最小値、最大値、平均値などが得られる。これらの情報を基に、標準的な組立工程時間を算出することができる。
または、図１（ｂ）で例示するように、カメラで撮影した画像を基に各組立工程時間を計測するという手法がある。この手法においては、生産ラインにカメラを設置し、実際の各組立工程を録画しておく。作業者が、録画された画像を見ながら各組立工程の開始時点および完了時点を入力することで、各組立工程時間を計測することができる。また、同じ組立工程が複数回繰り返されれば、同じ組立工程の組立工程時間の最小値、最大値、平均値などが得られる。これらの情報を基に、標準的な組立工程時間を算出することができる。
しかしながら、図１（ａ）および図１（ｂ）のいずれの手法においても、一連の動作から各組立工程の開始時点から完了時点までの時間を作業者が判断している。それにより、労力を要するとともに時間がかかる。その結果、現場改善速度の低下が生じていた。また、作業者の動作を画像情報に記録し、作業者の特徴的な動作から各工程の時間を算出することも考えられる。しかしながら、作業者の動作を基にすると、高精度に組立工程完了時点を判断することは困難である。
また、同じ生産ラインで異なる複数種類の製品が組み立てられるような多品種混流生産においては、新たな組立工程が頻繁に発生することになる。この場合、手間もかかることになる。
以下の実施例では、各組立工程時間を高精度に算出することができる情報処理装置、工程時間算出方法、および工程時間算出プログラムについて説明する。
図２（ａ）は、実施例１に係る情報処理装置１００のハードウェア構成を説明するためのブロック図である。図２（ａ）で例示するように、情報処理装置１００は、ＣＰＵ１０１、ＲＡＭ１０２、記憶装置１０３、撮影装置１０４、表示装置１０５などを備える。これらの各機器は、バスなどによって接続されている。ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）１０１は、中央演算処理装置である。ＣＰＵ１０１は、１以上のコアを含む。ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）１０２は、ＣＰＵ１０１が実行するプログラム、ＣＰＵ１０１が処理するデータなどを一時的に記憶する揮発性メモリである。記憶装置１０３は、不揮発性記憶装置である。記憶装置１０３として、例えば、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、フラッシュメモリなどのソリッド・ステート・ドライブ（ＳＳＤ）、ハードディスクドライブに駆動されるハードディスクなどを用いることができる。撮影装置１０４は、カメラなどの撮影装置であり、生産ラインにおいて製品の状態を撮影する。表示装置１０５は、液晶ディスプレイ、エレクトロルミネッセンスパネルなどであり、情報処理装置１００の処理結果などを表示する。
図２（ｂ）は、情報処理装置１００の機能ブロック図である。図２（ｂ）で例示するように、ＣＰＵ１０１が記憶装置１０３に記憶されているプログラムを実行することによって、基準画像生成部１０、基準画像格納部２０、工程画像格納部３０、工程検索部４０、工程時間算出部５０などが実現される。なお、これら各部は、専用の回路などのハードウェアであってもよい。
図３（ａ）および図３（ｂ）は、情報処理装置１００が各組立工程時間を算出する際に実行するフローチャートを例示する図である。以下、図２（ａ）、図２（ｂ）、図３（ａ）および図３（ｂ）を参照しつつ、情報処理装置１００の動作について説明する。
図３（ａ）で例示するように、基準画像生成部１０は、予め製品を組み立てた場合の製品の状態を撮影した画像、または、ＣＡＤデータや作業手順書などの設計情報から、各組立工程完了時点の製品の基準画像を生成する（ステップＳ１）。ＣＡＤデータや作業手順書などの設計情報から基準画像を生成する場合には、基準画像生成部１０は、組立工程シミュレータとして機能する。
図４は、生成される基準画像を例示する図である。図４で例示するように、例えば、組立前のベースの基準画像、第１組立工程完了時の基準画像、第２組立工程完了時の基準画像、第３組立工程完了時の基準画像などが生成される。図４の例では、第１組立工程完了時の基準画像は、ベースに部品Ａが取り付けられた状態の画像である。第２組立工程完了時の基準画像は、ベースに部品Ａおよび部品Ｂが取り付けられた状態の画像である。第３組立工程完了時の基準画像は、ベースに部品Ａ〜部品Ｃが取り付けられた状態の画像である。これらの理想的な状態の基準画像は、基準画像格納部２０に格納される（ステップＳ２）。
次に、図５で例示するように、作業者が生産ラインにおいて実際に製品の組立工程を行う。図３（ｂ）で例示するように、撮影装置１０４は、各組立工程において、製品組立状態の時系列の画像もしくは、点群データを撮影し、工程画像格納部３０に工程画像として格納する（ステップＳ１１）。工程画像には、組立前のベースの画像、ベースに部品Ａが組み付けられた画像、ベースに部品Ａおよび部品Ｂが組み付けられた画像、ベースに部品Ａ〜部品Ｃが組み付けられた画像などが含まれることになる。各工程画像には、撮影装置１０４による撮影時刻が関連付けられている。なお、図５で例示するように、複数の作業者が並行して異なる製品の組立を行う場合には、各作業者の組立対象製品が載置されるパレットなどにＩＤを付しておくことで、どの画像がどの製品を対象としているかを識別することができる。
次に、図６で例示するように、工程検索部４０は、工程画像格納部３０に格納された工程画像と、基準画像格納部２０に格納された基準画像とのパターンマッチングを行う（ステップＳ１２）。工程画像のうち各基準画像とマッチング度の高い時点が、各組立工程の完了時刻である。なお、工程画像における製品の画像は、撮影条件により歪んでいることがある。そこで、工程検索部４０は、デジタルの製品外形に合わせて、回転、平行移動、拡大、縮小等の補正を行ってもよい。これにより、工程画像における製品の姿勢および縮尺と、基準画像における製品の姿勢および縮尺とを一致させることができる。次に、工程検索部４０は、各画像について、エッジ強調と二値化を行い、部品外形を強調してもよい。各組立工程においては、作業範囲を限定できるため、その範囲に絞り、デジタル空間の画像とリアル空間の画像のパターンマッチングを行い、工程画像がどの基準画像と一致するかを特定してもよい。
次に、工程時間算出部５０は、マッチング結果に基づいて、各組立工程時間を算出する（ステップＳ１３）。例えば、図７で例示するように、基準画像と一致した工程画像の各撮影時刻が、各組立工程の完了時刻である。これらの差分を算出することで、各組立工程時間を算出することができる。
本実施例によれば、製品の各組立工程完了時点の基準画像が予め格納されており、当該基準画像と実際の組立工程の工程画像とが比較される。製品の状態の画像と製品の状態の画像とが比較されるため、誤差が生じにくく高精度な比較が実現される。比較の結果、一致する工程画像の撮影時刻から、各組立工程時間が算出される。以上のことから、高精度に各組立工程時間を算出することができる。また、自動で各組立工程時間が算出されるため、新たな工程が頻繁に発生するような多品種混流生産などにおいて、特に効果が大きくなる。
ＣＡＤデータや作業手順書などの設計情報から基準画像を生成することで、作業者の手間を省くことができる。
また、製品の実際の状態を撮影すること基準画像を生成することで、基準画像をより実際の製品の状態に近づけることができる。それにより、工程画像と基準画像との高精度な比較が実現される。
（変形例）
実施例１は、製品の組立工程に適用したが、製品の解体工程に適用することもできる。製品の解体においても、各解体工程に要する時間（以下、解体工程時間と称する。）を早く簡単に把握したいという要望がある。図８（ａ）および図８（ｂ）は、情報処理装置１００が各解体工程時間を算出する際に実行するフローチャートを例示する図である。
図８（ａ）で例示するように、基準画像生成部１０は、予め製品を解体した場合の製品の状態を撮影した画像、もしくは、設計情報ＣＡＤデータと作業手順書から、各解体工程完了時点の製品の画像データを生成する（ステップＳ２１）。これらの理想的な状態の基準画像は、基準画像格納部２０に格納される（ステップＳ２２）。
次に、作業者が解体ラインにおいて実際に製品の解体工程を行う。図８（ｂ）で例示するように、撮影装置１０４は、各解体工程において、製品解体状態の時系列の画像もしくは、点群データを撮影し、工程画像格納部３０に工程画像として格納する（ステップＳ３１）。
次に、工程検索部４０は、工程画像格納部３０に格納された工程画像と、基準画像格納部２０に格納された基準画像とのパターンマッチングを行う（ステップＳ３２）。工程画像のうち各基準画像とマッチング度の高い時点が、各解体工程の完了時刻である。次に、工程時間算出部５０は、マッチング結果に基づいて、各解体工程時間を算出する（ステップＳ３３）。
本変形例によれば、製品の各解体工程完了時点の基準画像が予め格納されており、当該基準画像と実際の解体工程の工程画像とが比較される。製品の状態の画像と製品の状態の画像とが比較されるため、誤差が生じにくく高精度な比較が実現される。比較の結果、一致する工程画像の撮影時刻から、各解体工程時間が算出される。以上のことから、高精度に各解体工程時間を算出することができる。
以上、本発明の実施例について詳述したが、本発明は係る特定の実施例に限定されるものではなく、特許請求の範囲に記載された本発明の要旨の範囲内において、種々の変形・変更が可能である。
１０ 基準画像生成部
２０ 基準画像格納部
３０ 工程画像格納部
４０ 工程検索部
５０ 工程時間算出部
１００ 情報処理装置
１０４ 撮影装置

Claims (5)

  1. コンピュータに、
    製品の実際の各工程を撮影装置が撮影することで得られる各工程画像と撮影時刻とを関連付けて格納する処理と、
    予め格納された各工程完了時の製品の基準画像と前記工程画像とを比較し、一致した前記工程画像の撮影時刻を基に、各工程時間を算出する処理と、を実行させることを特徴とする工程時間算出プログラム。
  2. 前記コンピュータに、工程シミュレーションにより設計情報から前記基準画像を生成する処理を実行させることを特徴とする請求項１記載の工程時間算出プログラム。
  3. 前記コンピュータに、予め前記製品の各工程完了時の前記製品を前記撮影装置が撮影することで得られる画像を、前記基準画像として格納させる処理を実行させることを特徴とする請求項１記載の工程時間算出プログラム。
  4. 各工程完了時の製品の画像を基準画像として格納する基準画像格納部と、
    前記製品の実際の各工程を撮影する撮影装置と、
    前記撮影装置が撮影することで得られる各工程画像と撮影時刻とを関連付けて格納する工程画像格納部と、
    前記基準画像と前記工程画像とを比較し、一致した前記工程画像の撮影時刻を基に、各工程時間を算出する工程時間算出部と、を備えることを特徴とする情報処理装置。
  5. 工程画像格納部が、製品の実際の各工程を撮影装置で撮影することで得られる各工程画像と撮影時刻とを関連付けて格納し
    工程時間算出部が、予め格納された各工程完了時の製品の基準画像と前記工程画像とを比較し、一致した前記工程画像の撮影時刻を基に、各工程時間を算出する、ことを特徴とする工程時間算出方法。
JP2017127289A 2017-06-29 2017-06-29 情報処理装置、工程時間算出方法および工程時間算出プログラム Pending JP2019012321A (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2017127289A JP2019012321A (ja) 2017-06-29 2017-06-29 情報処理装置、工程時間算出方法および工程時間算出プログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2017127289A JP2019012321A (ja) 2017-06-29 2017-06-29 情報処理装置、工程時間算出方法および工程時間算出プログラム

Publications (1)

Publication Number Publication Date
JP2019012321A true JP2019012321A (ja) 2019-01-24

Family

ID=65227999

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2017127289A Pending JP2019012321A (ja) 2017-06-29 2017-06-29 情報処理装置、工程時間算出方法および工程時間算出プログラム

Country Status (1)

Country Link
JP (1) JP2019012321A (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021192119A1 (ja) * 2020-03-25 2021-09-30 ソニーグループ株式会社 情報処理装置、プログラム、および方法
WO2021210324A1 (ja) * 2020-04-17 2021-10-21 リンクウィズ株式会社 情報処理方法、情報処理システム及びプログラム

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005267404A (ja) * 2004-03-19 2005-09-29 Toshiba Corp ワーク加工システム及びワーク加工方法
JP2017010276A (ja) * 2015-06-22 2017-01-12 株式会社ブロードリーフ 映像解析装置及び映像解析方法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005267404A (ja) * 2004-03-19 2005-09-29 Toshiba Corp ワーク加工システム及びワーク加工方法
JP2017010276A (ja) * 2015-06-22 2017-01-12 株式会社ブロードリーフ 映像解析装置及び映像解析方法

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021192119A1 (ja) * 2020-03-25 2021-09-30 ソニーグループ株式会社 情報処理装置、プログラム、および方法
WO2021210324A1 (ja) * 2020-04-17 2021-10-21 リンクウィズ株式会社 情報処理方法、情報処理システム及びプログラム
JP2021169142A (ja) * 2020-04-17 2021-10-28 リンクウィズ株式会社 情報処理方法、情報処理システム、プログラム

Similar Documents

Publication Publication Date Title
CN111127422B (zh) 图像标注方法、装置、系统及主机
JP7486708B2 (ja) 設計公差の修正方法及び測定システム
TWI528028B (zh) 用於機器視覺檢驗的檢驗設備、方法和電腦程式產品
JP6331517B2 (ja) 画像処理装置、システム、画像処理方法、および画像処理プログラム
CN104113751B (zh) 显示参数调整方法及系统
JP2012234524A5 (ja) 多機能機器内の機能不全をトラブルシューティングするために用いられるハンドヘルド機器
US20080133173A1 (en) Method and system for measuring an image of an object
CN112258507B (zh) 互联网数据中心的目标对象检测方法、装置和电子设备
JP2020027058A (ja) 配筋出来形管理システム及び配筋出来形管理方法
JP2019160001A5 (ja)
JP2017010277A (ja) 作業分析システム及び作業分析方法
JP2018001288A (ja) 切削加工工具の寿命判定装置、寿命判定方法及びプログラム
JP2019012321A (ja) 情報処理装置、工程時間算出方法および工程時間算出プログラム
TW201523183A (zh) 旋轉台精度補償系統及方法
JP6958872B2 (ja) ひび割れ幅測定装置、ひび割れ幅測定プログラムおよびひび割れ幅測定方法
US10049442B2 (en) Video inspection system with augmented display content
US10967517B2 (en) Information processing apparatus, method, and storage medium for presenting information for calibration
JP6198990B2 (ja) 作業指示システム
CN111857051A (zh) 波形显示装置以及波形显示方法
JP2014035635A (ja) 対象物管理システム
WO2015174115A1 (ja) データ管理装置及びデータ管理プログラム
JP2019056591A (ja) 外観検査装置及び外観検査方法
JP6478849B2 (ja) メータ取付支援システム、メータ取付支援装置及びプログラム
CN112833779B (zh) 定位检测方法及定位检测装置
JP2009129063A (ja) シミュレーション方法およびシミュレーション装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20200310

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20210311

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20210323

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210521

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20211102