JP2023146398A - 画像処理装置、画像処理方法、情報処理システム、 - Google Patents

画像処理装置、画像処理方法、情報処理システム、 Download PDF

Info

Publication number
JP2023146398A
JP2023146398A JP2022053557A JP2022053557A JP2023146398A JP 2023146398 A JP2023146398 A JP 2023146398A JP 2022053557 A JP2022053557 A JP 2022053557A JP 2022053557 A JP2022053557 A JP 2022053557A JP 2023146398 A JP2023146398 A JP 2023146398A
Authority
JP
Japan
Prior art keywords
power consumption
image
image processing
processing device
determining
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2022053557A
Other languages
English (en)
Inventor
太一 熊谷
Taichi Kumagai
靖翔 陳
Ching-Hsiang Chen
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
NEC Corp
NEC Communication Systems Ltd
Original Assignee
NEC Corp
NEC Communication Systems Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by NEC Corp, NEC Communication Systems Ltd filed Critical NEC Corp
Priority to JP2022053557A priority Critical patent/JP2023146398A/ja
Priority to PCT/JP2023/007900 priority patent/WO2023189187A1/ja
Publication of JP2023146398A publication Critical patent/JP2023146398A/ja
Pending legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/26Power supply means, e.g. regulation thereof
    • G06F1/32Means for saving power
    • G06F1/3203Power management, i.e. event-based initiation of a power-saving mode
    • G06F1/3206Monitoring of events, devices or parameters that trigger a change in power modality
    • G06F1/3231Monitoring the presence, absence or movement of users
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/26Power supply means, e.g. regulation thereof
    • G06F1/32Means for saving power
    • G06F1/3203Power management, i.e. event-based initiation of a power-saving mode
    • G06F1/3234Power saving characterised by the action undertaken
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/18Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • YGENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02DCLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00Energy efficient computing, e.g. low power processors, power management or thermal management

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Image Processing (AREA)
  • Power Sources (AREA)

Abstract

【課題】画像に対する画像処理結果を利用するシステムにおいて稼働の安定性を向上させること。【解決手段】本発明の画像処理装置100は、画像から第1の対象を認識する第1の処理を行う第1の処理手段121と、第1の処理にかかる消費電力を特定する特定手段122と、特定した消費電力に応じて画像から第2の対象を認識する第2の処理を行うかを判定する判定手段123と、を備える。【選択図】図1

Description

本発明は、画像処理装置、画像処理方法、情報処理システムに関する。
画像データから物体を検出する技術を様々な領域で利用することが検討されている。例えば、特許文献1には、店舗内に設置された監視カメラで撮影した画像データから人物といった動体を検出する、ことが記載されている。
ここで、上述したような監視カメラは、店舗内の天井や壁に設置されうる。例えば、特許文献2に、ネットワークカメラと画像処理装置に対して、PoE(Power over Ethernet)給電を行うことが記載されている。
特開2011-237884号公報 特開2018-148454号公報
一方で、店舗内の天井や壁に設置された対象に対する給電では、給電可能な電力値が限られている。このため、特許文献2では、消費電力に応じてネットワークカメラ及び画像処理装置での消費電力に応じて処理状況を変更している。特に、特許文献2では、低電力消費動作モードでは、画像認識処理を停止する、ことが記載されている。
しかしながら、特許文献2に記載のように、消費電力に応じて画像認識処理を停止してしまうと、所望の画像処理結果を得ることができない。このため、画像に対する画像処理結果を用いて所定の処理を実行するシステムにおいては、稼働の安定性が低下する、という問題が生じる。また、PoE給電に限らず、いかなる給電方法で電力が供給されるシステムであっても、上述同様の問題が生じる。
このため、本発明の目的は、画像に対する画像処理結果を利用するシステムにおける稼働の安定性を向上させることにある。
本発明の一形態である画像処理装置は、
画像から第1の対象を認識する第1の処理を行う第1の処理手段と、
前記第1の処理にかかる消費電力を特定する特定手段と、
特定した消費電力に応じて、前記画像から第2の対象を認識する第2の処理を行うかを判定する判定手段と、
を備えた、
という構成をとる。
また、本発明の一形態である画像処理方法は、
画像から第1の対象を認識する第1の処理を行い、
前記第1の処理にかかる消費電力を特定し、
特定した消費電力に応じて、前記画像から第2の対象を認識する第2の処理を行うかを判定する、
という構成をとる。
また、本発明の一形態である情報処理システムは、
画像から第1の対象を認識する第1の処理を行う第1の処理手段と、
前記第1の処理にかかる消費電力を特定する特定手段と、
特定した消費電力に応じて、前記画像から第2の対象を認識する第2の処理を行うかを判定する判定手段と、
を備えた、
という構成をとる。
また、本発明の一形態であるプログラムは、
画像から第1の対象を認識する第1の処理を行い、
前記第1の処理にかかる消費電力を特定し、
特定した消費電力に応じて、前記画像から第2の対象を認識する第2の処理を行うかを判定する、
処理をコンピュータに実行させる、
という構成をとる。
本発明は、以上のように構成されることにより、画像に対する画像処理結果を利用するシステムにおいて稼働の安定性の向上を図ることができる。
本発明の実施形態1における画像処理装置のハードウェア構成を示すブロック図である。 本発明の実施形態1における画像処理装置の構成を示すブロック図である。 本発明の実施形態1における画像処理装置の動作を示すフローチャートである。 本発明の実施形態2における情報処理システムの構成を示す概略図である。 図4に開示した画像処理装置及び管制装置の構成を示すブロック図である。 図5に開示した画像処理装置による処理の様子を示す図である。 図5に開示した画像処理装置による処理の様子を示す図である。 図5に開示した画像処理装置の動作を示すフローチャートである。 本発明の実施形態3における画像処理装置の構成を示すブロック図である。 図9に開示した画像処理装置による処理の様子を示す図である。
<実施形態1>
次に、本発明の第1の実施形態を、図1乃至図3を参照して説明する。図1乃至図2は、実施形態1における画像処理装置の構成を示すブロック図であり、図3は、画像処理装置の動作を示すフローチャートである。なお、本実施形態では、後述する実施形態で説明する画像処理装置、情報処理システム、画像処理方法の構成の概略を示している。
まず、図1を参照して、本実施形態における画像処理装置100のハードウェア構成を説明する。画像処理装置100は、一般的な情報処理装置にて構成されており、一例として、以下のようなハードウェア構成を装備している。
・CPU(Central Processing Unit)101(演算装置)
・ROM(Read Only Memory)102(記憶装置)
・RAM(Random Access Memory)103(記憶装置)
・RAM103にロードされるプログラム群104
・プログラム群104を格納する記憶装置105
・情報処理装置外部の記憶媒体110の読み書きを行うドライブ装置106
・情報処理装置外部の通信ネットワーク111と接続する通信インタフェース107
・データの入出力を行う入出力インタフェース108
・各構成要素を接続するバス109
そして、画像処理装置100は、プログラム群104をCPU101が取得して当該CPU101が実行することで、図2に示す第1の処理手段121と特定手段122と判定手段123とを構築して装備することができる。なお、プログラム群104は、例えば、予め記憶装置105やROM102に格納されており、必要に応じてCPU101がRAM103にロードして実行する。また、プログラム群104は、通信ネットワーク111を介してCPU101に供給されてもよいし、予め記憶媒体110に格納されており、ドライブ装置106が該プログラムを読み出してCPU101に供給してもよい。但し、上述した第1の処理手段121と特定手段122と判定手段123とは、かかる手段を実現させるための専用の電子回路で構築されるものであってもよい。
なお、図1は、画像処理装置100である情報処理装置のハードウェア構成の一例を示しており、情報処理装置のハードウェア構成は上述した場合に限定されない。例えば、情報処理装置は、ドライブ装置106を有さないなど、上述した構成の一部から構成されてもよい。また、画像処理装置100は、複数の情報処理装置で構成されていてもよい。そして、上述した第1の処理手段121と特定手段122と判定手段123とは、必ずしも1つの情報処理装置に搭載されていなくてもよい。例えば、各手段121,122,123自体や各手段が有する各処理機能が、複数の情報処理装置に分散されて搭載されていてもよい。つまり、複数の情報処理装置による情報処理システムが、上記各手段121,122,123を備えていてもよい。
そして、画像処理装置100は、上述したようにプログラムによって構築された第1の処理手段121と特定手段122と判定手段123との機能により、図3のフローチャートに示す画像処理方法を実行する。
図3に示すように、画像処理装置100は、
第1の処理手段121が、画像から第1の対象を認識する第1の処理を行い(ステップS101)、
特定手段122が、第1の処理にかかる消費電力を特定し(ステップS102)、
判定手段123が、特定した消費電力に応じて、画像から第2の対象を認識する第2の処理を行うかを判定する(ステップS103)、
という処理を実行する。
ここで、画像とは、認識対象が存在しうる所定空間を撮影した画像であり、例えば、深度カメラ、ステレオカメラ、三次元LiDAR(Light Detection And Ranging)などの撮影装置で撮影した距離画像や、スペクトルカメラといった撮影装置で撮影したRGB画像など、いかなる撮影装置で取得したいかなる画像であってもよく、複数種類の画像の組み合わせであってもよい。また、第1の対象とは、ロボット、荷物、人、車両など、移動あるいは静止したいかなる物体を含む。そして、第1の処理とは、画像に第1の対象が含まれている場合に、画像内から第1の対象を検出する処理を表す。例えば、第1の処理では、画像内から第1の対象が有する特徴(距離、形状、色など)を検出することで当該第1の対象を検出するが、いかなる処理により第1の対象を検出してもよい。
また、第1の処理にかかる消費電力とは、上述した第1の処理を画像処理装置が実行したときに当該画像処理装置によって消費される電力である。なお、第1の処理にかかる消費電量は、第1の処理の終了時における画像処理装置の消費電力であってもよい。そして、消費電力を特定する、とは、消費電力の値を取得することを表し、例えば、電力を検出する装置で検出された値を取得したり、処理内容から算出される消費電力を取得する。また、特定した消費電力に応じて、とは、特定した消費電力の値がいかなる値であるかによって、を表し、例えば、消費電力の値が設定された閾値未満である場合、とされてもよい。なお、閾値は、予め設定された値であってもよく、消費電力の値に応じて設定される値でもよい。
また、第2の対象とは、ロボット、荷物、人、車両など、移動あるいは静止したいかなる物体を含み、上述した第1の対象とは異なる物体である。そして、第2の処理とは、画像に第2の対象が含まれている場合に、画像内から第2の対象を検出する処理を表す。例えば、第2の処理では、画像内から第1の対象とは異なる第2の物体と判断できる特徴(距離、形状、色など)を検出することで当該第2の対象を検出するが、いかなる処理により第2の対象を検出してもよい。また、第2の処理を行うかを判定する、とは、上述した消費電力がいかなる値かに応じて、第2の処理を実行する、と決定することを表す。
本発明は、上述した構成により、まず、画像処理装置10の第1の処理手段121は、撮影装置130にて撮影した画像に対して、画像内に第1の対象が含まれているかを検出する。そして、第1の処理手段121は、画像内に第1の対象が含まれている場合に、画像から第1の対象を検出する第1の処理を実行する。続いて、画像処理装置100の特定手段122は、第1の処理にかかる消費電力、つまり、画像から第1の対象を検出した処理にかかる画像処理装置100自身が消費した電力の値を検出する。そして、画像処理装置100の判定手段123は、検出した消費電力の値が予め設定された基準を満たすかを判定する。画像処理装置100は、消費電力が予め設定された基準を満たす場合に、画像からさらに第2の対象を検出する第2の処理を行うことを決定する。
このように、本発明では、第1の対象の認識にかかる消費電力に応じて第2の対象の認識を行うため、画像処理結果を用いて所定の処理を実行するシステムの稼働の安定性を向上することができる。具体的には、第1の対象の認識にかかる消費電力に応じて第2の対象の認識を行うため、つまり、消費電力に余裕がある場合にさらに第2の対象の認識を行うため、電力不足による制御対象の認識失敗の可能性を低減することができ、画像処理結果を用いて所定の処理を実行するシステムを安定して稼働させることができる。
<実施形態2>
本発明の第2の実施形態を、図4乃至図8を参照して説明する。図4乃至図5は、情報処理システムの構成を説明するための図であり、図6乃至図8は、情報処理システムの処理動作を説明するための図である。
[構成]
本発明における情報処理システムは、所定の空間を撮影する撮影装置Cと、撮影された画像を処理する画像処理装置10と、を備えて構成される。なお、撮影対象となる所定の空間は、例えば、搬送する物体が配置された倉庫内であり、かかる搬送する物体を無人走行可能な搬送ロボットRが搬送する空間となっている。このため、所定の空間は、搬送ロボットRが走行する空間となっており、情報処理システムは、搬送ロボットRを制御対象として制御するよう構成される。
図4に示すように、撮影装置Cは、倉庫といった天井Wや壁に設置され、制御対象となる搬送ロボットRが移動するエリアを撮影するよう構成される。また、画像処理装置10は、撮影された画像を処理することで、倉庫内において物品を搬送するための移動する搬送ロボットRの位置を検出すると共に、搬送ロボットR以外の物体、例えば、搬送ロボットRの移動の妨げとなりうる障害物である載置された荷物T1や人物T2の位置も検出する。そして、画像処理装置10にて検出した搬送ロボットRや障害物T1,T2の位置は、管制装置20に通知され、搬送ロボットRの移動の制御に利用されることとなる。なお、図4では、画像処理装置10と管制装置20とが別々の装置であることとして示しているが、画像処理装置10と管制装置20とは、1つの情報処理装置で構成されていてもよい。
但し、本発明における情報処理システムは、必ずしも倉庫内に設置されていることに限定されず、いかなる場所に設置されてもよい。例えば、ロボットアームといった産業用ロボットが設置された製造ラインなどの工場内に設置されるものであってもよいし、多数の人や装置が存在する屋外であってもよい。また、画像処理装置10にて検出する物体は、ロボットRや障害物T1,T2であることにも限定されず、いかなる物体を検出する対象としてもよい。そして、情報処理システムは、いかなる用途で使用されてもよい。以下、情報処理システムの構成について詳しく説明する。
撮影装置Cは、倉庫内の天井Wに設置されており、倉庫内の所定領域を上方から撮影するものである。但し、撮影装置Cは、必ずしも天井Wに設置されていることに限定されず、壁やスタンドなど、いかなる場所に設置されていてもよい。このため、撮影装置Cにて撮影される画像も、上方から見た画像であることに限定されず、いかなる方向から撮影された画像であってもよい。
そして、本実施形態における撮影装置Cは、深度カメラであり、画素値を距離値(深度)とした距離画像を撮影するものである。例えば、撮影装置Cは、赤外線レーザを物体に投射した際の往復の時間から距離を計測する形式の三次元LiDARといった撮影装置であってもよく、ステレオカメラといった視差を利用して距離画像を撮影する撮影装置など、いかなる方式の撮影装置であってもよい。そして、撮影装置Cは、一定の時間間隔で画像を撮影し、かかる画像を画像処理装置10に渡す。但し、撮影装置Cは、深度カメラであることに限定されず、RGB画像を撮影するスペクトルカメラなど、いかなるカメラであってもよく、また、複数種類のカメラの組み合わせであってもよい。また、撮影装置Cが撮影する画像は、距離画像であることに限定されず、RGB画像などいかなる画像であってもよく、複数種類の画像の組み合わせであってもよい。なお、本実施形態では、撮影装置Cは、距離画像とRGB画像の2種類の画像を撮影して取得することとする。
画像処理装置10は、演算装置と記憶装置とを備えた1台又は複数台の情報処理装置にて構成される。特に、本実施形態における画像処理装置10は、上述した撮影装置Cと一体的に構成されており、撮影装置Cと共に倉庫内の天井Wに設置される。例えば、画像処理装置10は、天井Wに設置可能なようシングルボードコンピュータにて構成されており、撮影装置Cと一体的であることから、いわゆるネットワークカメラとして構成されている。但し、画像処理装置10は、必ずしも撮影装置Cと一体的に構成されていることに限定されず、撮影装置Cとは分離して構成されていてもよい。また、画像処理装置10は、必ずしも天井Wに設置されていることに限定されず、壁やラックなど、いかなる場所に設置されていてもよい。
そして、画像処理装置10は、図5に示すように、ネットワーク受電部15を備えており、通信ネットワークを利用して給電を受けることが可能である。具体的に、画像処理装置10のネットワーク受電部15にLAN(Local Area Network)ケーブルを接続することで、PoE(Power over Ethernet)給電を受けることができる。なお、LANケーブルの長さや品質により異なるが、画像処理装置10に給電される電力には上限がある。このため、画像処理装置10は、消費電力の上限値が設定された状態で、PoE給電にて供給された電力にて稼働されることとなる。なお、画像処理装置10と一体的に構成された撮影装置Cも、画像処理装置10にPoE給電で供給された電力にて稼働することとなる。但し、画像処理装置10は、必ずしもPoE給電にて電力の供給を受けることに限定されず、いかなる方法で電力の供給を受けてもよい。
また、画像処理装置10は、図5に示すように、画像取得部11、物体検出部12、電力管理部13、情報生成部14、を備える。画像取得部11、物体検出部12、電力管理部13、情報生成部14の各機能は、演算装置が記憶装置に格納された各機能を実現するためのプログラムを実行することにより実現することができる。なお、画像処理装置100は、複数の情報処理装置で構成されていてもよい。そして、上述した画像取得部11、物体検出部12、電力管理部13、情報生成部14は、必ずしも1つの情報処理装置に搭載されていなくてもよい。例えば、各部11~14自体や各部が有する各処理機能が、複数の情報処理装置に分散されて搭載されていてもよい。つまり、複数の情報処理装置により構成させる情報処理システムが、上記各部11~14を備えていてもよい。以下、各構成について詳述する。
画像取得部11は、撮影装置Cにて撮影された距離画像及びRGB画像である画像を取得し、記憶装置に一時的に記憶する。このとき、撮影装置Cでは、一定の時間間隔で画像が撮影されているため、画像取得部11は、順次画像を取得し、記憶装置に記憶する。
物体検出部12(第1の処理手段、第2の処理手段、第3の処理手段、判定手段)は、取得した画像から物体を認識する処理を行う。具体的に、物体検出部12は、まず、距離画像を用いて、画像内に存在しうる搬送ロボットR(第1の対象)を認識する処理(第1の処理)を行う。このとき、物体検出部12は、搬送ロボットRを認識する処理を、例えば、数10msから100msといった時間間隔で常に実行する。
一例として、物体検出部12は、予め搬送ロボットRの頭頂部の高さを記憶しており、距離画像である画像内から、記憶している高さの物体を搬送ロボットRとして認識する。例えば、搬送ロボットRの頭頂部は、予め規定された形状(一例として、矩形)の平面にて形成されており、その高さが規定されている。このため、物体検出部12は、記憶された高さの物体を認識することで、かかる物体を搬送ロボットRとして認識することができる。このとき、物体検出部12は、物体の外形も考慮して搬送ロボットRを認識してもよい。なお、物体検出部12は、画像内から搬送ロボットRをいかなる方法で認識してもよい。例えば、物体検出部12は、RGB画像を用いて、かかる画像内から搬送ロボットRを認識してもよい。一例として、搬送ロボットRの上面に当該搬送ロボットRを識別するための識別情報を含むQRコードを表示させておき、かかるQRコードをRGB画像から読み取ることで、搬送ロボットRを認識してもよい。そして、物体検出部12は、画像内における認識した搬送ロボットRの座標を情報生成部14に渡す。なお、図7の符号A1は、上述した処理の様子を示しており、符号P1に示すように、画像内から搬送ロボットRが認識されることとなる。
また、物体検出部12は、画像内に存在しうる搬送ロボット以外の物体、例えば、図4に示すような障害物となりうる荷物T1や人物T2を認識する処理(第2の処理)も行う。このとき、物体検出部12は、障害物を認識する処理を、例えば、数100msから1sといった時間間隔、つまり、上述した搬送ロボットRの認識処理よりも長い時間間隔で実行する。但し、物体検出部12は、動作中である画像処理装置10の消費電力に応じて、障害物を認識する処理を実行する。例えば、後述する電力管理部13にて動作中である画像処理装置10の消費電力が特定されることとなるが、物体検出部12は、特定された消費電力が設定された閾値未満である場合には、障害物を認識する処理を実行すると判定し、障害物を認識する処理を実行する。一方、物体検出部12は、特定された消費電力が設定された閾値以上の場合には、障害物を認識する処理を実行しないこととなる。なお、このとき消費電力と比較される閾値を第一の閾値とし、画像処理装置10に対して設定されている消費電力の上限値よりも低い値が予め設定されていることとする。
具体的に、物体検出部12は、以下のようにして障害物を認識する処理を行う。このとき、本実施形態では、物体検出部12は、距離画像とRGB画像とを併用して、画像内から障害物を認識する処理を行う。但し、物体検出部12は、必ずしも距離画像とRGB画像とを併用することに限定されず、いずれか一方の画像を使用してもよく、他の画像を使用してもよい。
まず、物体検出部12は、図7の点線に示すように、画像内に格子状のグリッドGを設定する。例えば、図7に示す直交する実線の交点Oは撮影装置Cの中心位置を表しており、かかる中心位置を基準とした周囲に、配列された正方形のグリッドGを設定する。なお、グリッドGのサイズやその基準点は、後述するように管制装置20のグリッド設定部21から通知される。
そして、物体検出部12は、距離画像から、上述した搬送ロボットR以外の高さ(深度)の領域を認識し、かかる個々の領域を個々の障害物領域として認識する。例えば、物体検出部12は、搬送ロボットRの高さとは異なる高さのうち、同一とみなされる高さ(深度)の領域を1つの障害物領域として認識する。このとき、物体検出部12は、事前に障害物が存在していないときの初期画像を撮影しておき、かかる初期画像と、新たに取得した画像と、の差分をとることで、障害物領域を認識してもよい。また、物体検出部12は、距離画像だけでなく、RGB画像を用いて、上述したような差分処理を行うなどして障害物領域を認識しても良い。そして、物体検出部12は、上述したように設定したグリッドG毎に、障害物領域に該当するか否かを判定する。このとき、物体検出部12は、障害物領域の座標が対応して位置するグリッドGについては、障害物あり、と判定し、障害物領域ではない座標が対応して位置するグリッドGについては、障害物なし、と判定する。例えば、図7の例では、黒色で塗りつぶした符号U1のグリッドが、障害物あり、と判定される。一方、物体検出部12は、障害物領域の周囲に位置しているが、RGB画像から物体の影などにより上述した認識処理では障害物領域であることの判断ができない場合には、障害物不明、と判定する。例えば、図7の例では、灰色で塗りつぶした符号U2のグリッドが、障害物不明、と判定される。そして、物体検出部12は、各グリッドGに対する判定結果を、情報生成部14に通知する。例えば、物体検出部12は、障害物ありU1、障害物不明U2のそれぞれのグリッドGの位置情報を情報生成部14に通知する。なお、グリッドGの位置情報としては、例えば、画像内におけるグリッドGの配置位置の情報であってもよく、画像内におけるグリッドGの頂点の座標であってもよく、画像内の位置が特定できる情報であればいかなる情報であってもよい。
ここで、上述した障害物T1,T2を認識する様子を、図6の符号A2に示す。上述したように障害物T1,T2を認識した場合には、符号A2の図に示すように、画像内から、上述した符号P1の枠内の搬送ロボットRが認識されると共に、符号P2の枠内の障害物T1,T2も認識されることとなる。
なお、上記では、物体検出部12は、画像内にグリッドGを設定してグリッドGごとに障害物を検出することで、障害物を認識することとしているが、いかなる方法で画像から障害物を認識してもよい。例えば、物体検出部12は、距離画像やRGB画像から、搬送ロボットRの特徴(例えば、高さや形状)を有しない他の物体を障害物として検出し、かかる障害物の画像内における座標を検出することで、障害物を認識してもよい。
さらに、物体検出部12は、上述したように認識した障害物について、かかる画像に対してさらなる処理(第3の処理)を行う。ここでは、物体検出部12は、認識した障害物の種別を判別する処理を行う。このとき、物体検出部12は、障害物の種別を判別する処理を、例えば、1s以上といった時間間隔、つまり、上述した障害物の認識処理よりも長い時間間隔で実行する。但し、物体検出部12は、動作中である画像処理装置10の消費電力に応じて、障害物を認識する処理を実行する。例えば、後述する電力管理部13にて動作中である画像処理装置10の消費電力が特定されることとなるが、物体検出部12は、特定された消費電力が設定された閾値未満である場合には、障害物の種別を判別する処理を実行すると判定し、障害物の種別を判別する処理を実行する。一方、物体検出部12は、特定された消費電力が設定された閾値以上である場合には、障害物の種別を判別する処理を実行しないこととなる。なお、このとき消費電力と比較される閾値を第二の閾値とし、画像処理装置10に対して設定されている消費電力の上限値よりも低い値が予め設定されていることとする。
なお、物体検出部12は、障害物を認識した処理の結果に応じて、障害物の種別を判別する処理を実行する。例えば、物体検出部12は、上述したように障害物を認識したときに、かかる障害物の数を特定する。そして、物体検出部12は、特定した障害物の数を電力管理部13に通知する。すると、後述するように、電力管理部13にて、後に画像処理装置10によって行われる認識した障害物の種別を判別する処理の消費電力が推定されることとなり、かかる推定された消費電力に応じて、障害物の種別を判別する処理を実行する。例えば、物体検出部12は、推定された消費電力が設定された閾値未満である場合には、障害物の種別を判別する処理を実行すると判定し、障害物の種別を判別する処理を実行する。一方、物体検出部12は、推定された消費電力が設定された閾値以上である場合には、障害物の種別を判別する処理を実行しないこととなる。なお、このとき推定された消費電力と比較される閾値を第三の閾値とし、画像処理装置10に対して設定されている消費電力の上限値よりも低い値が予め設定されていることとする。
具体的に、物体検出部12は、以下のようにして障害物の種別を判別する処理を行う。まず、物体検出部12は、障害物を認識した個々の障害物領域の形状を特定し、かかる形状と既知の物体の形状とのパターンマッチングを行う。例えば、既知の物体として、荷物や人物の形状のパターンデータを用意しておく。そして、物体検出部12は、各障害物領域の障害物を、当該障害物領域の形状がマッチした物体、例えば、荷物T1や人物T2の種別であると判別する。そして、物体検出部12は、各障害物の種別の判別結果を、情報生成部14に通知する。但し、物体検出部12による障害物の種別の判別処理は、上述した方法で行われることに限定されず、いかなる方法で行われてもよい。なお、図6の符号A3は、上述した処理の様子を示しており、符号P1,P2の枠内に示すように、画像内から搬送ロボットRと障害物T1,T2とが認識されると共に、符号P3の枠内に示すように、画像内から障害物T1,T2の種別の判別も行われることとなる。
電力管理部13(特定手段、推定手段)は、動作中の画像処理装置10の消費電力を計測して特定し、特定した消費電力を物体検出部12に通知する。例えば、電力管理部13は、画像処理装置10の物体検出部12にて搬送ロボットRの認識処理が行われているときには、かかる処理による消費電力を含むよう画像処理装置10の消費電力を特定し、障害物の認識処理が行われているときには、かかる処理による消費電力を含むよう画像処理装置10の消費電力を特定する。また、電力管理部13は、画像処理装置10の物体検出部12から認識した障害物の数が通知された場合には、画像処理装置10によってかかる数の障害物の種別を判別したときの消費電力を推定して、かかる推定した消費電力を物体検出部12に通知する。例えば、障害物の種別を判別したときの消費電力を数に応じて算出する算出式が用意されており、電力管理部13は、かかる算出式を用いて消費電力を推定する。なお、ここで消費電力を推定している理由としては、障害物の数に応じて種別を判別する処理など後続の消費電力が変動するためであり、かかる後続の処理を行うかを決定するために用いられる。
情報生成部14は、上述したように物体検出部12から通知された、搬送ロボットRや障害物T1,T2の情報に基づいて、これらの位置情報を生成して管制装置20に通知する。例えば、情報生成部14は、搬送ロボットRを認識した画像上における座標からなる位置情報を通知したり、障害物T1,T2を認識した結果、障害物ありU1、あるいは、障害物不明U2、と判定したグリッドGの位置情報を通知する。また、情報生成部14は、判別した障害物の種別も管制装置20に通知する。
管制装置20は、演算装置と記憶装置とを備えた1台又は複数台の情報処理装置にて構成される。管制装置20は、図5に示すように、通信部25を備えており、かかる通信部25にて、ハブなどの通信装置を介して上述した画像処理装置10に接続されている。また、通信部25は、無線通信装置を介して搬送ロボットRと接続可能であり、後述するように、搬送制御用の信号を送信することができる。
また、管制装置20は、図5に示すように、グリッド設定部21、管制部22、を備える。グリッド設定部21、管制部22、の各機能は、演算装置が記憶装置に格納された各機能を実現するためのプログラムを実行することにより実現することができる。以下、各構成について詳述する。
グリッド設定部21は、画像処理装置10に対して、上述したように物体検出部12によって設定される画像内のグリッドGの設定情報を通知する。グリッドGの設定情報としては、例えば、グリッドGのサイズやその基準点が含まれる。
管制部22は、倉庫内における搬送ロボットGの移動を制御する。具体的に、管制部22は、まず、上述したように画像処理装置10の情報生成部14から通知された搬送ロボットの位置情報、障害物T1,T2の種別と位置情報を用いて、搬送ロボットRによって搬送が行われる領域のマップを形成して管理する。そして、管制部22は、マップに基づいて、搬送ロボットRの移動経路を設定したり、搬送ロボットRに移動経路を指示して移動させるなど制御を行う。
[動作]
次に、上述した情報処理システムの動作、特に、画像処理装置10の動作を、主に図8のフローチャートを参照して説明する。
予め、画像処理装置10には、消費電力の上限値が設定される。かかる消費電力の上限値は、例えば、PoE給電にて給電できる電力値に応じて設定れる。また、画像処理装置10には、上記の上限値よりも小さい値のいくつかの消費電力の閾値が設定されている。例えば、上述したように、障害物を認識する処理を行うか否かを判定する際に、その時の消費電力と比較される第一の閾値と、障害物の種別を判別する処理を行うか否かを判定する際に、その時の消費電力と比較される第二の閾値と、障害物の種別を判別する処理において障害物の数に応じて推定された消費電力と比較される第三の閾値と、が設定される。また、画像取得処理と、障害物を認識する処理と、障害物の種別を判別する処理と、を行う時間間隔も、予め設定されていることとする。
まず、画像処理装置10は、管制装置20のグリッド設定部21からグリッド設定情報を受信する(ステップS1)。そして、画像処理装置10は、撮影装置Cにて撮影された画像を順次取得し(ステップS2)、画像から搬送ロボットRを認識する処理を行い(ステップS3)、画像内における搬送ロボットRの位置情報を管制装置20に送信する(ステップS4)。
このとき、数100msから1sの時間間隔といった予め設定された周期で到来するタイミング、つまり、障害物を認識する処理を行うよう設定されたタイミングでない場合には、画像処理装置10は、後続画像を取得する処理に戻る。つまり、図8のステップS5及びステップS6の処理は行わず、ステップS2に戻る。そして、画像処理装置10は、取得した後続画像に対する搬送ロボットRの認識処理を行い(ステップS3)、位置情報の送信を行う(ステップS4)。一方、上記の周期で到来するタイミングに該当する場合には、画像処理装置10は、搬送ロボットRの認識処理に伴う消費電力を含む画像処理装置自身の消費電力を算出して特定し(ステップS5)、かかる消費電力が第一の閾値未満であるか否かを調べる(ステップS6)。画像処理装置10は、特定された消費電力が第一の閾値以上である場合には(ステップS6でNo)、障害物を認識する処理は実行せず、後続画像に対する搬送ロボットRの認識に進む(ステップS2)。一方、画像処理装置10は、特定された消費電力が第一の閾値未満である場合には(ステップS6でYes)、障害物を認識する処理を実行する(ステップS7)。つまり、画像処理装置10は、消費電力に余裕があるため、搬送ロボットR以外の物体、つまり、障害物となりうる物体T1,T2を認識する処理を行う。
そして、画像処理装置10は、画像から障害物T1,T2を認識する処理を行い(ステップS7)、画像内における障害物T1,T2が位置するグリッドの位置情報を管制装置20に送信する(ステップS8)。さらにこのとき、1s以上の時間間隔といった予め設定された周期で到来するタイミング、つまり、障害物の種別を判別する処理を行うよう設定されたタイミングでない場合には、図8のステップS9及びステップS10の処理は行わず、ステップS2に戻り、画像処理装置10は、後続画像に対する搬送ロボットRの認識に進む。一方、上記の周期で到来するタイミングに該当する場合には、画像処理装置10は、障害物T1,T2の認識処理に伴う消費電力を含む画像処理装置自身の消費電力を算出して特定し(ステップS9)、かかる消費電力が第二の閾値未満であるか否かを調べる(ステップS10)。画像処理装置10は、特定された消費電力が第二の閾値以上である場合には(ステップS10でNo)、後続画像に対する搬送ロボットRの認識に進む(ステップS2)。一方、画像処理装置10は、特定された消費電力が第二の閾値未満である場合には(ステップS10でYes)、認識した障害物の種別を判別する処理に進む(ステップS11)。つまり、画像処理装置10は、消費電力に余裕があるため、さらに障害物T1,T2の種別を判別する処理を行う。
なお、画像処理装置10は、ステップS10において、認識した障害物T1,T2の数に基づく、認識した障害物の種別を判別する処理の消費電力を推定してもよい。そして、画像処理装置10は、推定された消費電力が第三の閾値未満の場合に、障害物の種別を判別する処理を実行するようにしてもよい。
そして、画像処理装置10は、画像から認識した障害物T1,T2の種別を判別する処理を行い(ステップS11)、障害物T1,T2の種別を含む障害物情報を管制装置20に送信する(ステップS12)。その後、画像処理装置10は、後続画像に対する搬送ロボットRの認識に進み(ステップS2)、上述した処理を繰り返すこととなる。
管制装置20は、上述した画像処理装置10の処理により、搬送ロボットの位置情報、障害物T1,T2の種別と位置情報を取得し、かかる情報を用いて、搬送ロボットRによって搬送が行われる領域のマップを形成して管理する。そして、管制装置20は、マップに基づいて、搬送ロボットRの移動経路を設定したり、搬送ロボットRに移動経路を指示するなど搬送動作を制御する。
以上のように、本実施形態における画像処理装置10によると、取得された画像に対して、まず、搬送ロボットRの認識が常時行われ、そのときに消費電力に余裕がある場合に、さらに障害物T1,T2の認識が行われ、さらに消費電力に余裕がある場合に、障害物T1,T2の種別の判別が行われることとなる。このように、画像処理装置10により、消費電力の状況に応じて、段階的に画像に対する認識処理などの画像処理が行われるため、必要な画像処理を行って必要な情報を取得しつつ、電力の過剰な消費を抑制することができる。その結果、電力不足による画像処理の停止を抑制でき、画像処理装置10の稼働の安定性の向上を図ることができる。
特に、本実施形態のように、画像処理装置10がネットワークカメラを形成しており、PoE給電にて電力の供給を受けている場合には、給電可能な電力値が限られている状況であっても、必要な画像処理を実行しつつ、システムの稼働が安定することとなる。
具体的に、本実施形態では、天井などに設置した撮影装置Cにより撮影した画像から、搬送ロボットRの認識と共に、事前に障害物T1,T2の検出処理も行っている。このため、搬送ロボットRの移動制御の際に、スムーズに障害物T1,T2を回避することができる。
ここで、上記では、物体検出部12において、数100msから1sの時間間隔で障害物を認識する処理を行い、1s以上の時間間隔で障害物を認識する処理を行う、ことを説明したが、これらの時間間隔の設定値を、消費電力に応じて変更してもよい。例えば、物体検出部12は、障害物を認識する処理を行う時間間隔又は障害物の種別を判別する処理を行う時間間隔の少なくとも一方を、搬送ロボットRの認識処理時の消費電力の値に応じて変更してもよく、一例としては、消費電力が所定の閾値以上である場合には、時間間隔を広げるように設定してもよい。また、例えば、物体検出部12は、障害物の種別を判別する処理を行う時間間隔を、障害物認識処理時の消費電力の値に応じて変更してもよく、一例としては、消費電力が所定の閾値以上である場合には、時間間隔を広げるように設定してもよい。さらに、例えば、物体検出部12は、障害物の種別を判別する処理を行う時間間隔を、障害物の種別を判別する処理における推定した消費電力の値に応じて変更してもよく、一例としては、消費電力が所定の閾値以上である場合には、時間間隔を広げるように設定してもよい。
<実施形態3>
次に、本発明の第3の実施形態を、図9乃至図10を参照して説明する。図9は、実施形態3における画像処理装置の構成を説明するための図であり、図10は、画像処理装置の処理動作を説明するための図である。
本実施形態における画像処理装置10は、上述した実施形態1において説明した図5に示す構成に加え、さらに、図9に示すように、ログ管理部16を備える。ログ管理部16は、演算装置がプログラムを実行することで実現される。以下、実施形態2とは異なる構成について主に説明する。
ログ管理部16(検出手段)は、画像処理装置10に生じる不具合のログを記憶し、その度合いを算出する。具体的に、ログ管理部16は、画像処理装置10に搭載されたハードウェア及びソフトウェアそれぞれに生じた予め設定された項目の不具合のログを記憶する。一例として、ハードウェアに生じる不具合は、画像処理装置10の動作が停止することであり、ソフトウェアに生じる不具合は、ソフトウェアによる処理が停止する、あるいは、ソフトウェアが終了する、ことであるとする。但し、画像処理装置10に生じる不具合は、上述した内容に限定されない。
ログ管理部16は、上述したハードウェア及びソフトウェアごとに、不具合が生じた回数に基づく発生確率を表すエラー率を算出する。例えば、ログ管理部16は、例えば、1時間毎といった所定の時間間隔でエラー率を算出し、図10に示すように、縦軸にハードウェアのエラー率、横軸にソフトウェアのエラー率をとるエラー率表にプロットする。このとき、エラー率表には、点線で示すように、各エラー率の目標値(例えば、0.1%)と、当該目標値よりも低い閾値や高い閾値が設定されており、これらの値にて区分けされた目標領域と各ドメイン1~6が設定されている。なお、図10のエラー率表における目標領域は、ハードウェア及びソフトウェアのいずれのエラー率が、目標値以下であり低い閾値以上となる領域である。
そして、本実施形態における電力管理部13(設定手段)は、上述したエラー率表に対してプロットした現在のエラー率に応じて、画像処理装置10に設定する消費電力の上限値や、画像取得の周期、各画像処理の周期、上述した第一の閾値、第二の閾値、第三の閾値、など、消費電力に関係する設定を変更する機能を有する。例えば、電力管理部13は、現在のエラー率が目標領域に属する場合には、現在の設定のままとする。一方、電力管理部13は、現在のエラー率がドメイン1に属する場合には、エラー率が高く安定した稼働が行われていないため、消費電力を下げる方向に設定変更する。例えば、段階的に設定されている消費電力の上限値を2段階下げ、画像取得周期を上げて最大値としたり、各閾値を最小にする。なお、各閾値も複数段階に設定されていてもよく、エラー率が属するドメインに応じて設定された閾値に設定変更してもよい。また、同様に、ドメイン2~4に属する場合には、まだエラー率が高く安定した稼働が行われていないため、消費電力を下げる方向に変更する。例えば、ドメイン2に属する場合には、消費電力の上限値を1段階下げ、画像取得周期を1段階上げ、各閾値を1段階下げる。ドメイン3に属する場合には、消費電力の上限値を1段階下げ、ドメイン4に属する場合には、画像取得周期を1段階上げ、各閾値を1段階下げる。一方で、ドメイン5,6に属する場合には、エラー率が許容された値よりも低いことから電源リソースを使い切れていないこととなるため、消費電力を上げる方向に変更する。例えば、ドメイン5に属する場合には、画像取得周期を1段階下げ、各閾値を1段階上げる。ドメイン6に属する場合には、消費電力の上限値を1段階上げる。
以上のように、本実施形態によると、画像処理装置10の稼働状況、特にエラー発生状況に応じて、安定した稼働を実現しつつ、電力を有効利用できるような稼働状態とすることができる。
以上、上記実施形態等を参照して本願発明を説明したが、本願発明は、上述した実施形態に限定されるものではない。本願発明の構成や詳細には、本願発明の範囲内で当業者が理解しうる様々な変更をすることができる。また、上述した機能のうちの少なくとも一以上の機能は、ネットワーク上のいかなる場所に設置され接続された情報処理装置で実行されてもよく、つまり、いわゆるクラウドコンピューティングで実行されてもよい。また、上述した各機能は、必ずしも1つの情報処理装置に搭載されることに限定されず、複数の別々の情報処理装置に搭載されてもよい。
なお、上述したプログラムは、様々なタイプの非一時的なコンピュータ可読媒体(non-transitory computer readable medium)を用いて格納され、コンピュータに供給することができる。非一時的なコンピュータ可読媒体は、様々なタイプの実体のある記録媒体(tangible storage medium)を含む。非一時的なコンピュータ可読媒体の例は、磁気記録媒体(例えばフレキシブルディスク、磁気テープ、ハードディスクドライブ)、光磁気記録媒体(例えば光磁気ディスク)、CD-ROM(Read Only Memory)、CD-R、CD-R/W、半導体メモリ(例えば、マスクROM、PROM(Programmable ROM)、EPROM(Erasable PROM)、フラッシュROM、RAM(Random Access Memory))を含む。また、プログラムは、様々なタイプの一時的なコンピュータ可読媒体(transitory computer readable medium)によってコンピュータに供給されてもよい。一時的なコンピュータ可読媒体の例は、電気信号、光信号、及び電磁波を含む。一時的なコンピュータ可読媒体は、電線及び光ファイバ等の有線通信路、又は無線通信路を介して、プログラムをコンピュータに供給できる。
<付記>
上記実施形態の一部又は全部は、以下の付記のようにも記載されうる。以下、本発明における画像処理装置、画像処理方法、情報処理システム、プログラムの構成の概略を説明する。但し、本発明は、以下の構成に限定されない。
(付記1)
画像から第1の対象を認識する第1の処理を行う第1の処理手段と、
前記第1の処理にかかる消費電力を特定する特定手段と、
特定した消費電力に応じて、前記画像から第2の対象を認識する第2の処理を行うかを判定する判定手段と、
を備えた画像処理装置。
(付記2)
付記1に記載の画像処理装置であって、
前記特定手段は、前記第2の処理にかかる消費電力を特定し、
前記判定手段は、特定した前記第2の処理にかかる消費電力に応じて、前記画像から前記第2の対象の種別を判別する第3の処理を実行するかを判定する、
画像処理装置。
(付記3)
付記2に記載の画像処理装置であって、
前記第2の処理の結果に基づいて、前記第3の処理にかかる消費電力を推定する推定手段を備え、
前記判定手段は、推定した消費電力に応じて、前記第3の処理を実行するかを判定する、
画像処理装置。
(付記4)
付記3に記載の画像処理装置であって、
前記推定手段は、前記画像から認識した前記第2の対象の数に基づいて、前記第3の処理にかかる消費電力を推定する、
画像処理装置。
(付記5)
付記2から4のいずれかに記載の画像処理装置であって、
前記判定手段は、特定した前記第1の処理にかかる消費電力に応じて、前記第2の処理あるいは前記第3の処理を行うタイミングを変更する、
画像処理装置。
(付記6)
付記3又は4に記載の画像処理装置であって、
前記判定手段は、推定した消費電力に応じて、前記第3の処理を行うタイミングを変更する、
画像処理装置。
(付記7)
付記1から6のいずれかに記載の画像処理装置であって、
前記画像処理装置に生じた不具合の度合いを検出する検出手段と、
前記不具合の度合いに応じて、閾値を設定する設定手段と、を備え、
前記判定手段は、前記消費電力と前記閾値とに応じて、前記画像から前記第2の対象を認識するかを判定する、
画像処理装置。
(付記8)
画像から第1の対象を認識する第1の処理を行い、
前記第1の処理にかかる消費電力を特定し、
特定した消費電力に応じて、前記画像から第2の対象を認識する第2の処理を行うかを判定する、
画像処理方法。
(付記9)
付記8に記載の画像処理方法であって、
前記第2の処理にかかる消費電力を特定し、
特定した前記第2の処理にかかる消費電力に応じて、前記画像から前記第2の対象の種別を判別する第3の処理を実行するかを判定する、
画像処理方法。
(付記10)
付記9に記載の画像処理方法であって、
前記第2の処理の結果に基づいて、前記第3の処理にかかる消費電力を推定し、
推定した消費電力に応じて、前記第3の処理を実行するかを判定する、
画像処理方法。
(付記11)
付記10に記載の画像処理方法であって、
前記画像から認識した前記第2の対象の数に基づいて、前記第3の処理にかかる消費電力を推定する、
画像処理方法。
(付記12)
付記9から11のいずれかに記載の画像処理方法であって、
特定した前記第1の処理にかかる消費電力に応じて、前記第2の処理あるいは前記第3の処理を行う予め設定されたタイミングを変更する、
画像処理方法。
(付記13)
付記10又は11に記載の画像処理方法であって、
推定した消費電力に応じて、前記第3の処理を行う予め設定されたタイミングを変更する、
画像処理方法。
(付記14)
付記8から13のいずれかに記載の画像処理方法であって、
画像処理装置に生じた不具合の度合いを検出し、
前記不具合の度合いに応じて、閾値を設定し、
前記消費電力と前記閾値とに応じて、前記画像から前記第2の対象を認識するかを判定する、
画像処理方法。
(付記15)
画像から第1の対象を認識する第1の処理を行う第1の処理手段と、
前記第1の処理にかかる消費電力を特定する特定手段と、
特定した消費電力に応じて、前記画像から第2の対象を認識するかを判定する判定手段と、
を備えた情報処理システム。
(付記16)
付記15に記載の情報処理システムであって、
前記特定手段は、前記第2の処理にかかる消費電力を特定し、
前記判定手段は、特定した前記第2の処理にかかる消費電力に応じて、前記画像から前記第2の対象の種別を判別する第3の処理を実行する第2の処理を行うかを判定する、
情報処理システム。
(付記17)
付記16に記載の情報処理システムであって、
前記第2の処理の結果に基づいて、前記第3の処理にかかる消費電力を推定する推定手段を備え、
前記判定手段は、推定した消費電力に応じて、前記第3の処理を実行するかを判定する、
情報処理システム。
(付記18)
付記17に記載の情報処理システムであって、
前記推定手段は、前記画像から認識した前記第2の対象の数に基づいて、前記第3の処理にかかる消費電力を推定する、
情報処理システム。
(付記19)
付記16から18のいずれかに記載の情報処理システムであって、
前記判定手段は、特定した前記第1の処理にかかる消費電力に応じて、前記第2の処理あるいは前記第3の処理を行うタイミングを変更する、
情報処理システム。
(付記20)
付記17又は18に記載の情報処理システムであって、
前記判定手段は、推定した消費電力に応じて、前記第3の処理を行うタイミングを変更する、
情報処理システム。
(付記21)
付記15から20のいずれかに記載の情報処理システムであって、
前記情報処理システムに生じた不具合の度合いを検出する検出手段と、
前記不具合の度合いに応じて、閾値を設定する設定手段と、を備え、
前記判定手段は、前記消費電力と前記閾値とに応じて、前記画像から前記第2の対象を認識するかを判定する、
情報処理システム。
(付記22)
画像から第1の対象を認識する第1の処理を行い、
前記第1の処理にかかる消費電力を特定し、
特定した消費電力に応じて、前記画像から第2の対象を認識するかを判定する、
処理をコンピュータに実行させるためのプログラム。
10 画像処理装置
11 画像取得部
12 物体検出部
13 電力管理部
14 情報生成部
15 ネットワーク受電部
16 ログ管理部
20 管制装置
21 グリッド設定部
22 管制部
25 通信部
C 撮影装置
R 搬送ロボット
T1,T2 障害物
100 画像処理装置
101 CPU
102 ROM
103 RAM
104 プログラム群
105 記憶装置
106 ドライブ装置
107 通信インタフェース
108 入出力インタフェース
109 バス
110 記憶媒体
111 通信ネットワーク
121 第1の処理手段
122 特定手段
123 判定手段
130 撮影装置

Claims (21)

  1. 画像から第1の対象を認識する第1の処理を行う第1の処理手段と、
    前記第1の処理にかかる消費電力を特定する特定手段と、
    特定した消費電力に応じて、前記画像から第2の対象を認識する第2の処理を行うかを判定する判定手段と、
    を備えた画像処理装置。
  2. 請求項1に記載の画像処理装置であって、
    前記特定手段は、前記第2の処理にかかる消費電力を特定し、
    前記判定手段は、特定した前記第2の処理にかかる消費電力に応じて、前記画像から前記第2の対象の種別を判別する第3の処理を実行するかを判定する、
    画像処理装置。
  3. 請求項2に記載の画像処理装置であって、
    前記第2の処理の結果に基づいて、前記第3の処理にかかる消費電力を推定する推定手段を備え、
    前記判定手段は、推定した消費電力に応じて、前記第3の処理を実行するかを判定する、
    画像処理装置。
  4. 請求項3に記載の画像処理装置であって、
    前記推定手段は、前記画像から認識した前記第2の対象の数に基づいて、前記第3の処理にかかる消費電力を推定する、
    画像処理装置。
  5. 請求項2から4のいずれかに記載の画像処理装置であって、
    前記判定手段は、特定した前記第1の処理にかかる消費電力に応じて、前記第2の処理あるいは前記第3の処理を行うタイミングを変更する、
    画像処理装置。
  6. 請求項3又は4に記載の画像処理装置であって、
    前記判定手段は、推定した消費電力に応じて、前記第3の処理を行うタイミングを変更する、
    画像処理装置。
  7. 請求項1から6のいずれかに記載の画像処理装置であって、
    前記画像処理装置に生じた不具合の度合いを検出する検出手段と、
    前記不具合の度合いに応じて、閾値を設定する設定手段と、を備え、
    前記判定手段は、前記消費電力と前記閾値とに応じて、前記画像から前記第2の対象を認識するかを判定する、
    画像処理装置。
  8. 画像から第1の対象を認識する第1の処理を行い、
    前記第1の処理にかかる消費電力を特定し、
    特定した消費電力に応じて、前記画像から第2の対象を認識する第2の処理を行うかを判定する、
    画像処理方法。
  9. 請求項8に記載の画像処理方法であって、
    前記第2の処理にかかる消費電力を特定し、
    特定した前記第2の処理にかかる消費電力に応じて、前記画像から前記第2の対象の種別を判別する第3の処理を実行するかを判定する、
    画像処理方法。
  10. 請求項9に記載の画像処理方法であって、
    前記第2の処理の結果に基づいて、前記第3の処理にかかる消費電力を推定し、
    推定した消費電力に応じて、前記第3の処理を実行するかを判定する、
    画像処理方法。
  11. 請求項10に記載の画像処理方法であって、
    前記画像から認識した前記第2の対象の数に基づいて、前記第3の処理にかかる消費電力を推定する、
    画像処理方法。
  12. 請求項9から11のいずれかに記載の画像処理方法であって、
    特定した前記第1の処理にかかる消費電力に応じて、前記第2の処理あるいは前記第3の処理を行う予め設定されたタイミングを変更する、
    画像処理方法。
  13. 請求項10又は11に記載の画像処理方法であって、
    推定した消費電力に応じて、前記第3の処理を行う予め設定されたタイミングを変更する、
    画像処理方法。
  14. 請求項8から13のいずれかに記載の画像処理方法であって、
    画像処理装置に生じた不具合の度合いを検出し、
    前記不具合の度合いに応じて、閾値を設定し、
    前記消費電力と前記閾値とに応じて、前記画像から前記第2の対象を認識するかを判定する、
    画像処理方法。
  15. 画像から第1の対象を認識する第1の処理を行う第1の処理手段と、
    前記第1の処理にかかる消費電力を特定する特定手段と、
    特定した消費電力に応じて、前記画像から第2の対象を認識する第2の処理を行うかを判定する判定手段と、
    を備えた情報処理システム。
  16. 請求項15に記載の情報処理システムであって、
    前記特定手段は、前記第2の処理にかかる消費電力を特定し、
    前記判定手段は、特定した前記第2の処理にかかる消費電力に応じて、前記画像から前記第2の対象の種別を判別する第3の処理を実行するかを判定する、
    情報処理システム。
  17. 請求項16に記載の情報処理システムであって、
    前記第2の処理の結果に基づいて、前記第3の処理にかかる消費電力を推定する推定手段を備え、
    前記判定手段は、推定した消費電力に応じて、前記第3の処理を実行するかを判定する、
    情報処理システム。
  18. 請求項17に記載の情報処理システムであって、
    前記推定手段は、前記画像から認識した前記第2の対象の数に基づいて、前記第3の処理にかかる消費電力を推定する、
    情報処理システム。
  19. 請求項16から18のいずれかに記載の情報処理システムであって、
    前記判定手段は、特定した前記第1の処理にかかる消費電力に応じて、前記第2の処理あるいは前記第3の処理を行うタイミングを変更する、
    情報処理システム。
  20. 請求項17又は18に記載の情報処理システムであって、
    前記判定手段は、推定した消費電力に応じて、前記第3の処理を行うタイミングを変更する、
    情報処理システム。
  21. 請求項15から20のいずれかに記載の情報処理システムであって、
    前記情報処理システムに生じた不具合の度合いを検出する検出手段と、
    前記不具合の度合いに応じて、閾値を設定する設定手段と、を備え、
    前記判定手段は、前記消費電力と前記閾値とに応じて、前記画像から前記第2の対象を認識するかを判定する、
    情報処理システム。

JP2022053557A 2022-03-29 2022-03-29 画像処理装置、画像処理方法、情報処理システム、 Pending JP2023146398A (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2022053557A JP2023146398A (ja) 2022-03-29 2022-03-29 画像処理装置、画像処理方法、情報処理システム、
PCT/JP2023/007900 WO2023189187A1 (ja) 2022-03-29 2023-03-02 画像処理装置、画像処理方法、情報処理システム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2022053557A JP2023146398A (ja) 2022-03-29 2022-03-29 画像処理装置、画像処理方法、情報処理システム、

Publications (1)

Publication Number Publication Date
JP2023146398A true JP2023146398A (ja) 2023-10-12

Family

ID=88201221

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2022053557A Pending JP2023146398A (ja) 2022-03-29 2022-03-29 画像処理装置、画像処理方法、情報処理システム、

Country Status (2)

Country Link
JP (1) JP2023146398A (ja)
WO (1) WO2023189187A1 (ja)

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007324809A (ja) * 2006-05-31 2007-12-13 Victor Co Of Japan Ltd ネットワークカメラ装置
JP6697042B2 (ja) * 2018-08-31 2020-05-20 ソニーセミコンダクタソリューションズ株式会社 固体撮像システム、固体撮像方法及びプログラム
JP2020160814A (ja) * 2019-03-27 2020-10-01 沖電気工業株式会社 認識装置、認識方法およびプログラム

Also Published As

Publication number Publication date
WO2023189187A1 (ja) 2023-10-05

Similar Documents

Publication Publication Date Title
US10328578B2 (en) Methods and systems for detecting, recognizing, and localizing pallets
US9626766B2 (en) Depth sensing using an RGB camera
JP6294615B2 (ja) 移動物体の検知および追跡のためのシステムおよび方法
US9740951B2 (en) Technologies for object recognition for internet-of-things edge devices
CN107301377B (zh) 一种基于深度相机的人脸与行人感知系统
US11687086B2 (en) Autonomous robotic navigation in storage site
TW202013240A (zh) 基於深度學習之商店實物圖
KR102008503B1 (ko) 지능형 협업 서버, 시스템 및 이의 협업 기반 분석 방법
US20220198803A1 (en) Person detection device and person detection method
WO2018053171A1 (en) Integrated obstacle detection and payload centering sensor system
US11538238B2 (en) Method and system for performing image classification for object recognition
Kumar et al. Remote retail monitoring and stock assessment using mobile robots
WO2022113344A1 (ja) 情報処理装置、3次元位置推定方法、及びプログラムが格納された非一時的なコンピュータ可読媒体
WO2023189187A1 (ja) 画像処理装置、画像処理方法、情報処理システム
US20230020725A1 (en) Information processing apparatus, information processing method, and program
CN111103891A (zh) 一种基于骨骼点检测的无人机快速姿势控制系统与方法
WO2018090905A1 (en) Automatic identity detection
JP2023083300A (ja) 棚割情報生成システム、棚割情報生成方法、およびプログラム
US20230419605A1 (en) Map generation apparatus, map generation method, and non-transitory computer-readable medium storing program
JP2016225930A (ja) 棚割情報生成装置、棚割情報生成システム、棚割情報生成方法、撮像装置、およびプログラム
JP2011086249A (ja) 画像処理装置及び画像処理方法
US10089746B2 (en) Motion detection system and method
CN112291701B (zh) 定位验证方法、装置、机器人、外部设备和存储介质
US20220027623A1 (en) Object Location Determination in Frames of a Video Stream
JP2020109687A (ja) 棚割情報生成システム