JP2018102899A - かご位置推定装置、収納物検出装置及び収納物検出方法、並びに食器洗い機 - Google Patents

かご位置推定装置、収納物検出装置及び収納物検出方法、並びに食器洗い機 Download PDF

Info

Publication number
JP2018102899A
JP2018102899A JP2017145572A JP2017145572A JP2018102899A JP 2018102899 A JP2018102899 A JP 2018102899A JP 2017145572 A JP2017145572 A JP 2017145572A JP 2017145572 A JP2017145572 A JP 2017145572A JP 2018102899 A JP2018102899 A JP 2018102899A
Authority
JP
Japan
Prior art keywords
tableware
dishwasher
storage
detection
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2017145572A
Other languages
English (en)
Inventor
吉本 守男
Morio Yoshimoto
守男 吉本
克典 荒木
Katsunori Araki
克典 荒木
長 川崎
Takeru Kawasaki
長 川崎
神井 敏宏
Toshihiro Kamii
敏宏 神井
和生 清水
Kazuo Shimizu
和生 清水
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Samsung Electronics Co Ltd
Original Assignee
Samsung Electronics Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Samsung Electronics Co Ltd filed Critical Samsung Electronics Co Ltd
Priority to PCT/KR2017/009545 priority Critical patent/WO2018044094A1/ko
Priority to US16/330,055 priority patent/US11058280B2/en
Priority to EP17847019.1A priority patent/EP3485794B1/en
Priority to KR1020187032967A priority patent/KR102391425B1/ko
Publication of JP2018102899A publication Critical patent/JP2018102899A/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • AHUMAN NECESSITIES
    • A47FURNITURE; DOMESTIC ARTICLES OR APPLIANCES; COFFEE MILLS; SPICE MILLS; SUCTION CLEANERS IN GENERAL
    • A47LDOMESTIC WASHING OR CLEANING; SUCTION CLEANERS IN GENERAL
    • A47L15/00Washing or rinsing machines for crockery or tableware
    • A47L15/42Details
    • A47L15/4295Arrangements for detecting or measuring the condition of the crockery or tableware, e.g. nature or quantity
    • AHUMAN NECESSITIES
    • A47FURNITURE; DOMESTIC ARTICLES OR APPLIANCES; COFFEE MILLS; SPICE MILLS; SUCTION CLEANERS IN GENERAL
    • A47LDOMESTIC WASHING OR CLEANING; SUCTION CLEANERS IN GENERAL
    • A47L15/00Washing or rinsing machines for crockery or tableware
    • A47L15/0018Controlling processes, i.e. processes to control the operation of the machine characterised by the purpose or target of the control
    • A47L15/0021Regulation of operational steps within the washing processes, e.g. optimisation or improvement of operational steps depending from the detergent nature or from the condition of the crockery
    • A47L15/0028Washing phases
    • AHUMAN NECESSITIES
    • A47FURNITURE; DOMESTIC ARTICLES OR APPLIANCES; COFFEE MILLS; SPICE MILLS; SUCTION CLEANERS IN GENERAL
    • A47LDOMESTIC WASHING OR CLEANING; SUCTION CLEANERS IN GENERAL
    • A47L15/00Washing or rinsing machines for crockery or tableware
    • A47L15/42Details
    • AHUMAN NECESSITIES
    • A47FURNITURE; DOMESTIC ARTICLES OR APPLIANCES; COFFEE MILLS; SPICE MILLS; SUCTION CLEANERS IN GENERAL
    • A47LDOMESTIC WASHING OR CLEANING; SUCTION CLEANERS IN GENERAL
    • A47L15/00Washing or rinsing machines for crockery or tableware
    • A47L15/42Details
    • A47L15/4251Details of the casing
    • A47L15/4257Details of the loading door
    • AHUMAN NECESSITIES
    • A47FURNITURE; DOMESTIC ARTICLES OR APPLIANCES; COFFEE MILLS; SPICE MILLS; SUCTION CLEANERS IN GENERAL
    • A47LDOMESTIC WASHING OR CLEANING; SUCTION CLEANERS IN GENERAL
    • A47L15/00Washing or rinsing machines for crockery or tableware
    • A47L15/42Details
    • A47L15/50Racks ; Baskets
    • A47L15/501Baskets, e.g. for conveyor-type, in-sink type or hood-type machines
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/70Determining position or orientation of objects or cameras
    • G06T7/73Determining position or orientation of objects or cameras using feature-based methods
    • G06T7/74Determining position or orientation of objects or cameras using feature-based methods involving reference images or patches
    • AHUMAN NECESSITIES
    • A47FURNITURE; DOMESTIC ARTICLES OR APPLIANCES; COFFEE MILLS; SPICE MILLS; SUCTION CLEANERS IN GENERAL
    • A47LDOMESTIC WASHING OR CLEANING; SUCTION CLEANERS IN GENERAL
    • A47L2401/00Automatic detection in controlling methods of washing or rinsing machines for crockery or tableware, e.g. information provided by sensors entered into controlling devices
    • A47L2401/04Crockery or tableware details, e.g. material, quantity, condition
    • AHUMAN NECESSITIES
    • A47FURNITURE; DOMESTIC ARTICLES OR APPLIANCES; COFFEE MILLS; SPICE MILLS; SUCTION CLEANERS IN GENERAL
    • A47LDOMESTIC WASHING OR CLEANING; SUCTION CLEANERS IN GENERAL
    • A47L2501/00Output in controlling method of washing or rinsing machines for crockery or tableware, i.e. quantities or components controlled, or actions performed by the controlling device executing the controlling method
    • A47L2501/30Regulation of machine operational steps within the washing process, e.g. performing an additional rinsing phase, shortening or stopping of the drying phase, washing at decreased noise operation conditions
    • AHUMAN NECESSITIES
    • A47FURNITURE; DOMESTIC ARTICLES OR APPLIANCES; COFFEE MILLS; SPICE MILLS; SUCTION CLEANERS IN GENERAL
    • A47LDOMESTIC WASHING OR CLEANING; SUCTION CLEANERS IN GENERAL
    • A47L2601/00Washing methods characterised by the use of a particular treatment
    • A47L2601/20Other treatments, e.g. dry cleaning
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30204Marker
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30242Counting objects in image

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Image Analysis (AREA)
  • Washing And Drying Of Tableware (AREA)

Abstract

【課題】収納手段の見栄えを向上させ、また、得られる収納情報の精度を高める。【解決手段】かご位置推定装置1に、カメラ3と、カメラ3により撮影された映像から少なくとも1つの特徴点を検出する特徴点検出部5と、特徴点検出部5により検出された特徴点の映像内における位置に基づいて、食器洗い機のかごの位置を推定する位置推定部7とを設ける。【選択図】図1

Description

本発明は、食器洗い機のかごの位置を推定するかご位置推定装置に関する。また、収納手段における収納物の位置、大きさ及び数量の少なくとも1つを含む収納情報を得る収納物検出装置及び収納物検出方法に関し、また、食器を収納かごに載置した状態で洗浄及びすすぎをする食器洗い機に関する。
特許文献1には、移動可能な収納手段、及び該収納手段に収納された収納物を撮影し、撮影した撮影画像に基づいて、収納手段における収納物の位置を含む収納情報を得る収納物検出装置が開示されている。この収納物検出装置では、収納手段の側部に所定の領域毎に位置表示が設けられ、撮影画像に含まれる位置表示に基づいて、撮影画像に写った箇所の収納手段における位置が特定されるようになっている。
また、従来の食器洗い機には、所定量の洗浄水を給水後に加熱手段によって所定の水温に達するまで水温を上昇させ、その際の水温の上昇に要した時間から食器の量を判定し、判定した食器の量に応じて、それ以降の洗浄運転及びすすぎ運転を最適に制御するように構成したものがある(例えば、特許文献2を参照。)。
また、食器収納かごに載置した食器の量を重量センサによって検知し、さらに洗浄水の汚れによって食器の汚れ度合いを検知して、それ以降の洗浄運転及びすすぎ運転を最適に制御するように構成したものがある(例えば、特許文献3を参照。)。
米国特許第8696827号明細書 特開平10−014849号公報 特開平04−312434号公報
しかしながら、特許文献1に記載された収納物検出装置は、収納手段の側部に所定の領域毎に位置表示を設ける構成であり、収納手段の見栄えが悪い。また、撮影画像に写った箇所の収納手段における位置を、位置表示の間隔に応じた精度でしか特定できないので、得られる収納情報の精度を十分に高めることができない。
また、特許文献2に記載された食器洗い機は、洗浄対象である食器の材質、形状、及び食器洗い機に収容された際の該食器の温度等によって、水温の上昇に要する時間が大きく変動するため、結果として、正しい食器の量が判定されないという問題がある。
特許文献3に記載された食器洗い機においても、洗浄対象である食器の材質、形状、及び重量センサの測定精度等によって、正しい食器の量を判定できないという問題がある。
さらに、食器が食器収納かごの一部分に載置されていたとしても、それを検知することができず、判定した食器の量に拘わらず、食器収納かごの領域の全体を洗浄せねばならず、省エネルギー及び省運転時間の観点からは問題となっていた。
本発明は、前記従来の問題を解決し、かご位置推定装置を搭載する収納手段の見栄えを向上させることを第1の目的とし、さらに、収納物検出装置及び収納物検出方法において、収納手段の見栄えを向上させると共に、得られる収納情報の精度を高めることを第2の目的とし、また、食器洗い機において、食器収納かごに載置された食器の少なくとも載置領域を精度良く検知し判定できるようにすることを第3の目的とする。なお、本発明は、上記の3つの目的を必ずしも同時に満たすものではない。
前記第1の目的を達成するため、本発明は、撮影した映像から特徴点を検出し、前記映像内における特徴点の位置に基づいて、かごの位置を推定するようにしたことを特徴とする。
具体的には、本発明に係る第1の態様は、可視光撮影手段と、前記可視光撮影手段により撮影された映像から少なくとも1つの特徴点を検出する特徴点検出部と、前記特徴点検出部により検出された特徴点の映像内における位置に基づいて、食器洗い機のかごの位置を推定する位置推定部とを備えることを特徴とする。
これにより、特徴点の数が少なくても、かごの位置の推定が可能なので、かごに通常設けられる構成とは別に検出用の表示を特徴点として設ける場合でも、特許文献1のように領域毎に表示を設ける場合に比べ、表示の数を少なくできる。従って、食器洗い機の見栄えを向上させることができる。
また、かごに通常設けられる構成を特徴点として利用でき、必ずしも検出用の表示を別途設ける必要がないので、食器洗い機の見栄えを向上させることができる。
この場合に、特徴点検出部により検出される特徴点は、1つであってもよい。
このようにすると、かごに通常設けられる構成とは別に検出用の表示を特徴点として設ける場合でも、表示を1箇所だけに設ければよいので、表示を複数設ける場合と比べて、食器洗い機の見栄えを向上させることができる。
また、この場合に、特徴点検出部により検出される特徴点は、複数であってもよい。
このようにすると、複数の特徴点を利用することにより、かごの位置を精度良く推定することができる。
また、この場合に、特徴点検出部により検出される特徴点は、かごに設けられた目印であってもよい。
また、この場合に、目印は、取っ手であってもよい。
このようにすると、かごに通常設けられる取っ手が特徴点として利用され、検出用の表示を別途設ける必要がないので、食器洗い機の見栄えを向上させることができる。
この場合の特徴点検出部は、予め設定された取っ手の色に基づいて、特徴点の検出を行ってもよい。
また、この場合の特徴点検出部は、予め設定された取っ手の形状に基づいて、特徴点の検出を行ってもよい。
また、目印は、かごを構成する線状の材料の交差箇所であってもよい。
このようにすると、かごに通常設けられる線状の材料の交差箇所が特徴点として利用され、検出用の表示を別途設ける必要がないので、食器洗い機の見栄えを向上させることができる。
また、前記の第2の目的を達成するため、本発明は、撮影画像から目印を検出し、撮影画像における目印の位置に基づいて、撮影画像に含まれる検出画像に写った箇所の収納手段における位置を特定するようにしたことを特徴とする。
具体的には、本発明に係る第2の態様は、移動可能な収納手段、及び当該収納手段に収納された収納物を撮影する撮影手段と、撮影手段により撮影された撮影画像に基づいて、収納手段における収納物の位置、大きさ、及び数量の少なくとも1つを含む収納情報を得る制御手段とを備えた収納物検出装置を対象とし、次のような解決手段を講じた。
すなわち、第2の態様は、制御手段は撮影画像から所定の目印を検出し、撮影画像における目印の位置に基づいて、当該撮影画像の少なくとも一部を構成する検出画像に写った箇所の収納手段における位置を特定する第1ステップと、検出画像における収納物の配置領域、及び検出画像について第1ステップで特定された位置に基づいて、収納情報を得る第2ステップとを実行する。
第2の態様によると、目印の数が少なくても、検出画像に写った箇所の収納手段における位置の特定が可能なので、収納手段に通常設けられる構成とは別に検出用の表示を目印として設ける場合でも、特許文献1のように領域毎に表示を設ける場合に比べ、表示の数を少なくできる。従って、収納手段の見栄えを向上することができる。
また、収納手段に通常設けられる構成を目印として利用でき、必ずしも検出用の表示を別途設ける必要がないので、収納手段の見栄えを向上することができる。
また、目印の数が少なくても、検出画像に写った箇所の収納手段における位置を精度良く特定できるので、収納手段の見栄えを悪化させることなく、得られる収納情報の精度を高めることができる。
この場合に、検出画像は撮影画像の一部を構成するものであり、制御手段は、収納手段の位置が異なる複数の撮影画像について、第1ステップを実行し、第2ステップにおいて、複数の撮影画像の検出画像における収納物の配置領域、及び各検出画像について第1ステップで特定された位置に基づいて、収納情報を得るようにしてもよい。
このようにすると、検出画像を撮影画像の一部としたので、検出画像を撮影画像の全体とした場合と比べて、撮影画像全体における外部光の入射量や入射角度のバラツキの影響を低減し、得られる収納情報の信頼性を高めることができる。
また、この場合に、制御手段は、第1ステップにおいて、予め設定された目印の外形、色、含む文字、及び含む図形の少なくとも1つに基づいて、目印の検出を行ってもよい。
この場合に、当該目印は、取っ手であってもよい。
このようにすると、移動時等に手で握るために収納手段に設けられる取っ手が目印と利用され、検出用の目印を別途設ける必要がないので、収納手段の見栄えを向上させることができる。
また、この場合に、収納情報は収納物の三次元情報を含み、制御手段は、第1ステップにおいて、撮影画像の異なる部分を構成する複数の検出画像に写った箇所の収納手段における位置を特定し、第2ステップにおいて、複数の検出画像における収納物の配置領域、及び複数の検出画像について第1ステップで特定された位置に基づいて、収納情報を得るようにしてもよい。
このようにすると、複数の撮影手段を設けなくても、収納物の三次元情報を得ることができるので、複数の撮影手段を設ける場合と比べて、部品点数及び製造コストを削減できる。
また、この場合に、収納手段は、開口部を有する格納手段に開口部を介して引き出し可能に収容され、撮影手段は、収納手段の格納手段から引き出された部分を撮影するように格納手段の開口部の周縁部に配設され、検出画像は、撮影画像を引き出し方向に4分割したときに最も格納手段側に位置する部分に含まれるようにしてもよい。
このようにすると、撮影画像における撮影手段の近くが写った部分を検出画像としたので、収納手段における検出画像対応箇所に収納された収納物が他の収納物に隠れて検出画像に写らなくなることを防止できる。従って、得られる収納情報の信頼性を高めることができる。
本発明に係る第3の態様は、移動可能な収納手段、及び当該収納手段に収納された収納物を撮影し、撮影した撮影画像に基づいて、収納手段における収納物の位置、大きさ、及び数量の少なくとも1つを含む収納情報を得る収納物検出方法を対象とし、撮影画像から所定の目印を検出し、撮影画像における目印の位置に基づいて、当該撮影画像の少なくとも一部を構成する検出画像に写った箇所の収納手段における位置を特定する第1ステップと、検出画像における収納物の配置領域、及び検出画像について第1ステップで特定された位置に基づいて、収納情報を得る第2ステップとを実行する。
第3の態様によると、目印の数が少なくても、検出画像に写った箇所の収納手段における位置の特定が可能となる。このため、収納手段に通常設けられる構成とは別に検出用の表示を目印として設ける場合でも、特許文献1のように領域毎に表示を設ける場合と比べて、表示の数を少なくすることができる。従って、収納手段の見栄えを向上することができる。
また、収納手段に通常設けられる構成を目印として利用でき、必ずしも検出用の表示を別途設ける必要がないので、収納手段の見栄えを向上することができる。
また、目印の数が少なくても、検出画像に写った箇所の収納手段における位置を精度良く特定できるので、収納手段の見栄えを悪化させることなく、得られる収納情報の精度を高めることができる。
前記の第3の目的を達成するため、本発明は、洗浄槽又は食器収納かごに設けられた認識用マークを撮影して所定の像を得られない領域に食器が載置されていると判定する構成、又は食器収納かごに物体検知用の電磁波又は超音波を出射してその反射波の有無若しくは反射波の情報から、食器が載置されていると判定する構成としたことを特徴とする。
具体的に、本発明に係る第4の態様は、食器洗い機を対象とし、次のような解決手段を講じた。
すなわち、第4の態様は、食器を収容する洗浄槽と、洗浄槽に出し入れ可能に配置され、食器を収納する食器収納かごと、食器収納かごに載置された食器の少なくともその位置を検知する検知手段と、食器を洗浄する洗浄手段と、検知手段及び洗浄手段の動作を制御する制御手段とを備えている。検知手段は、食器収納かごに向けて配置された撮像手段であり、制御手段は、食器収納かごにおける所定の像を結ばない領域に食器が載置されていると判定する。
第4の態様によると、制御手段は、撮像手段に記録された像のうち食器収納かごの所定の像が結ばれていない領域に食器が載置されていると判定するため、食器収納かごに載置された食器の少なくとも載置領域を精度良く検知して判定することができる。このため、制御手段が、食器収納かごの食器が載置されていない領域を洗浄しないように洗浄範囲を制御することにより、省エネルギー運転及び運転時間の短縮を図ることができる。
また、この場合に、洗浄槽の内部又は食器収納かごには、撮像手段が撮影する認識用マークが設けられており、撮像手段は、カメラ、エリアセンサ又はラインセンサであり、認識用マークの撮像状態により、食器収納かごに載置された食器の配置領域、食器の量、食器の形状及び食器の素材のうち、少なくとも食器の配置領域を検出してもよい。
このようにすると、洗浄槽の内部又は食器収納かごに設けられた認識用マークが所定の像を結ばない領域に食器が載置されていると確実に判定することができる。
この場合に、認識用マークは、文字、記号、彩度、明度若しくはパターン、又はこれらの組み合わせにより構成されていてもよい。
このようにすると、撮像手段に取り込まれた認識用マークの状態から、食器の配置領域以外に、食器の形状及び食器の素材を検知することができる。
また、この場合に、認識用マークは、検知対象範囲の一部に設けられており、食器収納かごが洗浄槽の方向に移動する際に、認識用マーク及び食器収納かごを時間若しくは時刻又は位置情報と関連付けて複数枚撮影し、撮影した画像中の認識用マークの状態から、少なくとも食器の配置領域を検出してもよい。
このように、食器収納かごの下方の全体にわたって認識用マークを配置するのではなく、認識用マークを検知対象範囲の一部に設け、時間若しくは時刻又は位置情報と関連付けて複数枚を撮影すれば、簡素な構造(機構)で食器の配置領域、量、形状及び素材を検出することができる。
認識用マークを検知対象範囲の一部に設ける場合に、撮影した画像の枚数及び画像の状態が所定の条件を満たさない場合に、検知の条件を変更して再度判定を行ってもよい。
このようにすると、撮影した画像の枚数及び画像の状態が所定の条件を満たさない場合でも、すなわち、所定の枚数に達しなかったり、画像の状態が不鮮明だったりした場合であっても、その領域に食器があると判定すれば、食器の洗い残しが生じるという不具合を防ぐことができる。
また、認識用マークを検知対象範囲の一部に設ける場合に、撮影した複数の画像における位置情報が重複する場合に、時間的に最新の画像を用いて少なくとも食器の配置領域を検出してもよい。
このようにすると、食器収納かごが洗浄槽に収容される際に、戻されたり、前進及び後退を繰り返されたりした場合であっても、最新の画像を用いることができるので、少なくとも食器の配置領域を確実に判定することができる。
認識用マークが設けられている場合に、該認識用マークは、規則的に配列されたパターンであり、撮影した画像中の認識用マークに不規則な領域が存在する場合に、該不規則な領域に食器が配置されたと判定してもよい。
このようにすると、食器がガラス等の光を透過する透明な素材である場合に、撮影された認識用マークは歪んで不規則なパターンとなることから、透明な食器であっても、その存在を検知することができる。
認識用マークが設けられている場合に、単位面積当たりに検知された前記認識用マークの個数に応じて、検知した領域上で少なくとも食器の有無を検出してもよい。
このようにすると、食器がガラス等の光を透過する透明な素材である場合に、透明な素材の食器を単位面積ごとに検知できるので、当該食器の検知精度を上げることができる。また、単位面積ごとに検知できるので、情報処理量の1回当たりの処理量を減らすことができる。
また、認識用マークが設けられている場合に、食器収納かごに定義した特定の部位に関して、認識用マークの検知の有無に拘わらず、あらかじめ定義した判定を行ってもよい。
このように、あらかじめ定義した判定として、例えば、食器収納かごの両側部に設けられた車輪は食器でない、と定義しておけば、食器の判定に必要な情報処理量を削減することができる。
本発明に係る第5の態様は、食器を収容する洗浄槽と、洗浄槽に出し入れ可能に配置され、食器を収納する食器収納かごと、食器収納かごに載置された食器の少なくともその位置及び特徴を検知する検知手段と、食器を洗浄する洗浄手段と、検知手段及び洗浄手段の動作を制御する制御手段とを備えている。検知手段は、食器収納かごに向けて配置された発信手段と、該発信手段と食器収納かごを挟み且つ対向して配置された第1の受信手段、又は該発信手段と並置された第2の受信手段とであり、制御手段は、発信手段からの信号を第1の受信手段又は第2の受信手段が所定の受信レベルで受信しない食器収納かごの領域に、食器が載置されていると判定する。
第5の態様によると、制御手段は、発信手段からの信号を第1の受信手段又は第2の受信手段が所定の受信レベルで受信しない食器収納かごの領域に食器が載置されていると判定するため、食器収納かごに載置された食器の少なくとも載置領域を精度良く検知して判定することができる。このため、制御手段が、食器収納かごの食器が載置されていない領域を洗浄しないように洗浄範囲を制御することにより、省エネルギー運転及び運転時間の短縮を図ることができる。
この場合に、発信手段は発光ダイオードであり、第1の受信手段は受光素子であってもよい。
このようにすると、例えば、食器収納かごの上方に配置された発光ダイオードからの出射光が該発光ダイオードの下方の受光素子に到達しなければ、食器収納かごには、食器が載置されていると判断できる。
さらに、この場合に、発信手段及び第2の受信手段は、距離センサであってもよい。
このようにすると、食器収納かごの上方に配置された距離センサからの、反射信号が所定の距離よりも短いことを表していれば、食器収納かごには、食器が載置されていると判定することができる。
第4及び第5の態様の場合に、制御手段は、食器収納かごの食器があると判定された領域に対して選択的に洗浄を行うと共に、洗浄時間を調節してもよい。
このようにすると、検知した食器の配置領域、その量、及びその形状に応じて洗浄範囲及び洗浄時間を調節できるので、省エネルギー運転及び運転時間の短縮を図ることができる。その上、食器収納かごにおいて、食器の配置領域、量及び形状を検知することができることから、食器が何も載置されていない状態、又は洗浄不能の載置物が置かれている状態をも判定することができるので、運転開始の設定後に、使用者に知らせることができるようになる。
第4の態様に係る食器洗い機において、撮像手段により撮影された映像から少なくとも1つの特徴点を検出する特徴点検出部と、特徴点検出部により検出された特徴点の映像内における位置に基づいて、食器収納かごの位置を推定する位置推定部とをさらに備えていてもよい。
このようにすると、特徴点の数が少なくても、食器収納かごの位置の推定が可能となるので、該食器収納かごに通常設けられる構成とは別に検出用の表示を特徴点として設ける場合でも、特許文献1のように領域毎に表示を設ける場合と比べて、表示の数を少なくすることができる。従って、食器洗い機の見栄えを向上することができる。
また、食器収納かごに通常設けられる構成を特徴点として利用できるため、必ずしも検出用の表示を別途設ける必要がないので、食器洗い機の見栄えを向上することができる。
この場合に、特徴点検出部により検出される特徴点は1つであってもよい。
このようにすると、食器収納かごに通常設けられる構成とは別に検出用の表示を特徴点として設ける場合でも、表示を1箇所だけに設ければよいので、表示を複数設ける場合と比べて、食器洗い機の見栄えを向上することができる。
また、この場合に、特徴点検出部により検出される特徴点は複数であってもよい。
このようにすると、複数の特徴点を利用することにより、食器収納かごの位置を精度良く推定することができる。
また、この場合に、特徴点検出部により検出される特徴点は、食器収納かごに設けられた目印であってもよい。
また、この場合に、目印は取っ手であってもよい。
このようにすると、食器収納かごに通常設けられる取っ手が特徴点として利用されるため、検出用の表示を別途設ける必要がないので、食器洗い機の見栄えを向上することができる。
この場合の特徴点検出部は、予め設定された取っ手の色に基づいて、特徴点の検出を行ってもよい。
また、この場合の徴点検出部は、予め設定された取っ手の形状に基づいて、特徴点の検出を行ってもよい。
また、目印は、食器収納かごを構成する線状の材料の交差箇所であってもよい。
このようにすると、食器収納かごに通常設けられる線状の材料の交差箇所が特徴点として利用されるため、検出用の表示を別途設ける必要がないので、食器洗い機の見栄えを向上することができる。
本発明に係るかご位置推定装置によると、特徴点の数が少なくても、かごの位置の推定が可能となるので、かごに通常設けられる構成とは別に検出用の表示を特徴点として設ける場合でも、当該表示を多く設ける必要がない。従って、食器洗い機の見栄えを向上させることができる。また、かごに通常設けられる構成を特徴点として利用でき、必ずしも検出用の表示を別途設ける必要がないので、食器洗い機の見栄えを向上させることができる。
本発明に係る収納物検出装置及び収納物検出方法によると、目印の数が少なくても、検出画像に写った箇所の収納手段における位置の特定が可能なので、収納手段に通常設けられる構成とは別に検出用の表示を目印として設ける場合でも、特許文献1のように領域毎に表示を設ける場合と比べて、表示の数を少なくできる。従って、収納手段の見栄えを向上させることができる。
また、収納手段に通常設けられる構成を目印として利用でき、必ずしも検出用の表示を別途設ける必要がないので、収納手段の見栄えを向上させることができる。
また、目印の数が少なくても、検出画像に写った箇所の収納手段における位置を精度良く特定できるので、収納手段の見栄えを悪化させることなく、得られる収納情報の精度を高めることができる。
また、本発明に係る食器洗い機によると、食器収納かごに載置された食器の少なくとも載置領域を精度良く検知し判定することができる。
図1は本発明の第1の実施形態に係るかご位置推定装置の構成を示すブロック図である。 図2はドアを開けて下段かごの一部を引き出した状態における本発明の第1の実施形態に係るかご位置推定装置を備えた食器洗い機の概略斜視図である。 図3は図2に示す下段かごを示す概略斜視図である。 図4は第1の実施形態に係るかご位置推定装置を用いたかご位置推定方法を示す概略的なフロー図である。 図5は下段かごの取っ手に施す識別パターンを示す平面図である。 図6は図5の照合パターンを示す平面図である。 図7は下段かごに目印として定義された特徴点を示す概略平面図である。 図8は下段かごに目印として定義された他の特徴点を示す概略平面図である。 図9はドアを閉めた状態における本発明の第3の実施形態に係る収納物検出装置を備えた食器洗い機の断面図である。 図10はドアを開けて下段かご全体を引き出した状態における図9相当図である。 図11はドアを開けて下段かご全体を引き出した状態における撮影画像を示す説明図である。 図12はドアを開けて下段かごの一部を引き出した状態における図11相当図である。 図13は本発明の第3の実施形態に係る収納物検出装置を備えた食器洗い機の動作を示すフロー図である。 図14は本発明の第4の実施形態に係る収納物検出装置を備えた収納庫の概略平面図である。 図15は第5の実施形態に係る図2相当図である。 図16は下段かご全体を引き出した状態であって、本発明の第6の実施形態に係る収納物検出装置の撮影画像に写る領域を示す説明図である。 図17は下段かごの一部を引き出した状態における図16相当図である。 図18は下段かご全体を引き出した状態であって、本発明の第7の実施形態に係る収納物検出装置の撮影画像に写る領域を示す説明図である。 図19は下段かごの一部を引き出した状態における図18相当図である。 図20は認識用マークの一例を示す平面図である。 図21は図21の認識用マークから直線成分を抽出した仮想図である。 図22は透明な食器が載置されている場合の認識用マークから直線成分を抽出した仮想図である。 図23は本発明の第8の実施形態に係る食器洗い機の前後方向における模式的な断面図である。 図24は本発明の第8の実施形態に係る食器洗い機の前後方向における、ドアを開けた状態の模式的な断面図である。 図25は本発明の第8の実施形態に係る食器洗い機における食器収納かごに食器が載置されたことを容易に判定できるようにする背景である認識用マークを示す平面図である。 図26は本発明の第8の実施形態に係る食器洗い機における引き出された食器収納かごに食器類が載置された状態を示す斜視図である。 図27は図26の食器収納かごが洗浄槽内に収容され始めた状態を示す斜視図である。 図28は図26及び図27の各画像イメージを平面図として展開した状態を表す展開図である。 図29は本発明の第8の実施形態に係る食器洗い機の動作を説明するフロー図である。 図30は本発明の食器洗い機の動作に係る第9の実施形態を説明するフロー図である。 図31は本発明の食器洗い機の動作に係る第10の実施形態を説明するフロー図である。
以下、本発明の実施形態を図面に基づいて詳細に説明する。以下の好ましい実施形態の説明は、本質的に例示に過ぎず、本発明、その適用物又はその用途を制限することを意図しない。
(第1の実施形態)
本発明の第1の実施形態について図面を参照しながら説明する。
上述の特許文献1には、食器洗い機のかご位置推定方法として、ラックの側部の所定の領域毎に設けた位置表示を撮影する方法が開示されている。しかし、特許文献1では、ラックの側部の領域毎に位置表示を設けるので、見栄えが悪い。
そこで、第1の実施形態及び第2の実施形態においては、かご位置推定装置を搭載しながら、食器洗い機の見栄えを向上させるようにする。
図1は、本発明の第1の実施形態に係るかご位置推定装置1を示す。かご位置推定装置1は、本実施形態においては、一例として食器洗い機に設けられており、可視光撮影手段としてのカメラ3と、特徴点検出部5と、位置推定部7とを備えている。
本実施形態に係るかご位置推定装置1は、例えば、図2に示す食器洗い機101に搭載することができる。図2に示すように、食器洗い機101は、前端部(図2の左側)に平面視矩形状の開口部103aを有する箱形状の洗浄槽103を備えている。洗浄槽103は、上面部103b、底面部103c、開口部103aに対向する背面部103d、及び開口部103aを挟んで水平方向に対向する1対の側面部103eを有している。洗浄槽103の開口部103aの下側縁部には、開口部103aを水密に密閉可能な平面視長方形で略板状のドア104が、その長手方向の端部をヒンジ部104aと連結することで上下方向に回動可能に取り付けられている。また、洗浄槽103の内部には、上段かご105及び下段かご107が共に、洗浄槽103の開口部103a側に引き出せるように間隔をおいて配設されている。
また、洗浄槽103の開口部103aの上側周縁部、すなわち上面部103bの前側端面における両側面部103eの対向方向の中央部には、可視光カメラ119(カメラ3)が、開口部103aの開放方向に向かって斜め下側に向けた状態で配設されている。可視光カメラ119の位置及び向きは、引き出し位置に引き出された下段かご107全体と、該下段かご107に収納された食器類を撮影可能となるように設定されている。従って、本実施形態に係るかご位置推定装置1は、可視光カメラ119が配設される位置及びその後方の部位に設けることができる。
ここで、下段かご107は、図2に示すように、線状の材料を交差させて形成されており、該下段かご107には、例えば、図3の取っ手108に示すように、周囲と識別可能な色が施されている。なお、図2の詳細な構成は、後述の第3の実施形態において説明する。
以下、本実施形態に係るかご位置推定装置1を用いたかご位置推定方法について、図4を参照しながら説明する。
まず、かご位置推定装置1の電源が投入されると、カメラ3は、下段かご107の移動領域の全体を含む所定の場所に対して、可視光撮影を行う。
次に、特徴点検出部5は、カメラ3により撮影された映像から、予め設定された取っ手108の色に基づいて、下段かご107の取っ手108を特徴点として検出する(S101)。具体的には、例えば、予め設定された取っ手の色と等しい又は近い色の画素を所定の割合以上含む映像内の領域があれば、それを徴点として検出する(S102)。
次に、位置推定部7は、特徴点検出部5により検出された特徴点の映像内における位置(S103、S104)に基づいて、食器洗い機101の下段かご107の位置を推定する(S105)。
なお、特徴点検出部5及び位置推定部7は、CPU(Central Processing Unit)等の演算処理装置により実現される。
より詳細には、まず、カメラ3が下段かご107の移動領域の全体を含む特定の場所を撮影する。このとき、カメラ3は所定の場所を撮影するので、撮影された映像内における取っ手108の位置に基づいて、下段かご107の位置を正しく推定することが可能となる。その後、特徴点検出部5がカメラ3により撮影された映像から、予め設定された取っ手108の色に基づいて、該取っ手108を特徴点として検出する。
次に、位置推定部7が、特徴点検出部5により検出された特徴点の映像内における位置に基づいて、食器洗い機101の下段かご107の位置を推定する。
従って、第1の実施形態によると、かごに通常設けられる取っ手が特徴点として利用されるため、検出用の表示を別途設ける必要がないので、食器洗い機101の見栄えを向上することができる。
また、かごの位置に応じて食器の搭載位置を特定できる場合には、推定したかごの位置に基づいて洗浄範囲を限定することにより、洗浄に必要な時間及びエネルギーを削減することができる。
(第2の実施形態)
以下、本発明の第2の実施形態について説明する。
第2の実施形態においては、かごに目印として検出用の表示部が設けられている。従って、特徴点検出部5は、カメラ3により撮影された映像から、予め設定されたかごの取っ手の色、及び予め設定された検出用の表示部の色に基づいて、取っ手及び検出用の表示部を2つの特徴点として検出し、両特徴点の映像内における位置に基づいて、両特徴点の信頼性を判定する。特徴点検出部5は、両特徴点の信頼性を低いと判定した場合には、検出した両特徴点の位置を位置推定部7に出力せず、カメラ3が撮影を再度行う。一方、特徴点検出部5が両特徴点の信頼性を高いと判定した場合には、位置推定部7が、検出された両特徴点の映像内における位置に基づいて、食器洗い機のかごの位置を推定する。両特徴点の信頼性は、例えば、検出された取っ手の映像内における位置と、検出された表示部の映像内における位置との位置関係が、予め設定された所定の位置関係となっている場合には高いと判定され、所定の位置関係になっていない場合には低いと判定される。
その他の構成及び動作は、第1の実施形態と同様であるので、その詳細な説明を省略する。
従って、第2の実施形態によると、複数の特徴点を利用することにより、かごの位置を精度良く推定することができる。
(その他の変形例)
なお、上記第1及び第2の実施形態では、特徴点検出部5が、取っ手や検出用の表示部を予め設定された色に基づいて映像から検出したが、これに限られず、予め設定された形状(パターン)に基づいて検出するようにしてもよい。
例えば、図5に示すような特徴的な目印がカメラ3によって撮像可能となる構成、例えば、市松模様を持つ識別パターン150としてもよい。この構成により、図6に示す照合パターン151によって照合し、取っ手の位置を検知することにより、かごの位置を推定してもよい。
また、この照合結果が、例えば、横方向に2つ以上連続で並んでいた場合にのみ、取っ手を検出したと判断してもよい。また、図5とは異なるパターンを持つ取っ手であれば、例えば、照合結果が縦方向に2つ以上連続して配置された構成である場合にのみ、取っ手を検出したと判断してもよい。また、それらの組み合わせ、さらには、周囲と異なる色との組み合わせ等、その取っ手の形状に合わせた条件を検出条件として追加することにより、取っ手の検出精度をさらに向上することが可能となる。
また、上記の第1及び第2の実施形態では、特徴点として、かごに目印となる取っ手又は表示部を設けたが、例えば、図7及び図8に示すように、下段かご107を構成する線状の材料の交差箇所としてもよい。すなわち、図7においては、特徴点として、下段かご107の底部107bにおける線材同士の少なくとも1つの交差箇所107xとし、図8においては、特徴点として、下段かご107の周壁部107cにおける線材同士の少なくとも1つの交差箇所107xとしてもよい。これにより、下段かご107に通常設けられる線材の交差箇所107xを特徴点として利用することができる。例えば、縦方向に2つ以上連続する交点が並んでいた場合にのみ、下段かご107を検出したと判断してもよい。また、横方向に2つ以上連続して交点が並んでいた場合にのみ、下段かご107を検出したと判断してもよい。また、これらの組み合わせ、又は数量条件の変更等、かごの形状又は該かごに載置される物により、交差箇所107xが隠される状態が異なることになる。また、検出条件とする交差箇所107xの位置及び個数は容易に変更可能である。さらに、色との組み合わせ、又は取っ手の形状との組み合わせを検出条件とすることにより、かごの検出精度を向上することが可能となる。これにより、検出用の表示を別途設ける必要がなくなるので、食器洗い機の見栄えを向上することができる。
また、上記第1及び第2の実施形態においては、特徴点を1つ又は2つとしたが、3つ以上設けてもよい。
以下に、目印となる特徴点を食器収納かごに設けない場合の、ドア104上を含む洗浄槽103内での食器収納かご(下段かご107)の位置を検出する方法の種々変形例を説明する。
第1に、洗浄槽103におけるドア104と対向する壁面(ドア対向面)にTOF(time of flight:距離画像)センサを配置する。一方、下段かご107における洗浄槽103との対向部には、TOFセンサからの出射光を反射可能な反射板を設ける。TOFセンサにより反射板との距離を測定することにより、下段かご107の位置、すなわち、下段かご107の洗浄槽103からの引き出し量を算出することができる。なお、これとは逆に、TOFセンサを、下段かご107における洗浄槽103との対向部に設け、反射板を洗浄槽103のドア対向面に設けてもよい。この場合には、下段かご107に設けたTOFセンサに対して、有線、無線又は電池等によって給電する。有線又は無線による給電方法を採る場合は、通信手段が必要となる。
第2に、洗浄槽103におけるドア対向面に、ひも巻き取り機を設け、このひも巻き取り機に巻き取られるように付勢されたひもの他端を下段かご107に結びつけてもよい。この構成の場合には、例えば、ひも巻き取り機の回転数を計測して、ひもの引き出し量から、下段かご107の位置、すなわち、下段かご107の洗浄槽103からの引き出し量を算出することができる。なお、ひもの引き出し量の計測に、ひも巻き取り機の回転数を用いる構成に代えて、ひも自体に目盛りを設けておき、この目盛りを、例えば画像処理センサで読み取る構成としてもよい。
第3に、下段かご107の底部に車輪が設けられている場合に、該車輪に回転計測計(回転数センサ)を設けてもよい。この回転数から、下段かご107の洗浄槽103からの引き出し量を算出することができる。なお、回転計測計への給電は、有線、無線又は電池で行い、食器洗い機101への算出結果の通知には、有線又は無線通信により行うことができる。
第4に、ドア104の内面(開けた場合の上面)における下段かご107の走行領域に、複数の重量センサを敷き詰めてもよい。この場合には、洗浄槽103から最も離れた位置で重量を検知した重量センサの位置を、下段かご107の洗浄槽103からの引き出し量として算出することができる。
第5に、ドア104の内面(開けた場合の上面)における下段かご107の走行領域に、複数のスイッチを敷き詰めてもよい。ここでのスイッチは、例えば、下段かご107の底部の接触部分(車輪の場合を含む)によって押下された場合に導通するスイッチであってもよい。この場合にも、洗浄槽103から最も離れた位置で導通したスイッチの位置を、下段かご107の洗浄槽103からの引き出し量として算出することができる。
第6に、使用者が下段かご107を握った位置と、それを離した位置とを撮像画像から手(手指)の画像認識で検出し、その間隔から、下段かご107の洗浄槽103からの引き出し量として算出することができる。
第7に、下段かご107自体のワイヤフレームを撮像画像から画像認識で検知し、検知したワイヤフレームの位置から、下段かご107における洗浄槽103からの引き出し量を算出することができる。この場合は、下段かご107の特定の部位、例えば、下段かご107におけるドア104側の周壁部107c、又は下段かご107における洗浄槽103のドア対向面側の周壁部107c等、任意の部位を選定することができる。
(第3の実施形態)
図9、図10及び図2は、食器洗い機101を示す。以下、食器洗い機101の引き出し方向を前側とする。この食器洗い機101は、前端部に平面視矩形状の開口部103aを有する箱形状をなす略直方体状の格納手段としての洗浄槽103を備えている。この洗浄槽103は、上面部103b、底面部103c、上記開口部103aに対向する背面部103d、及び上記開口部103aを挟んで水平方向に対向する1対の側面部103eを備えている。この洗浄槽103の開口部103aの下側縁部には、当該開口部103aを水密に密閉可能な平面視長方形で略板状のドア104が、その長手方向端部をヒンジ部104aに連結することで上下方向に回動可能に取り付けられている。ドア104の裏面はステンレスで構成されている。ドア104の裏面におけるヒンジ部(回動軸)104a側端部近傍には、図12及び図13にも示すように、認識用マーク104bが側面部103eの対向方向に延びるように付されている。本実施形態においては、認識用マーク104bは、例えば、それぞれ塗りつぶした三角形を3段に積んで側面部103e対向方向に並べたパターンとしている。ここでは、複数の三角形の各頂点は、反ヒンジ部(回動軸)104a側端部側に向く。なお、認識用マーク104bは、図形を組み合わせたパターンに限られず、文字(漢字、平仮名、片仮名及び各種アルファベット等)、記号、色の彩度若しくは明度、又はこれらの組み合わせにより構成されていてもよい。
洗浄槽103の両側面部103eの内面には、上記開口部103aの開口方向(上記引き出し方向)延びる1対のガイドレール103fが上下方向に間隔を空けて取り付けられている。上側の両ガイドレール103fには、上段かご105が前後方向にスライド可能に取り付けられている。上段かご105の上記側面部103e対向方向両側には、車輪105aが設けられ、これら車輪105aが回動可能な状態で上記ガイドレール103fに係合する。同様に、下側の両ガイドレール103fには、収納手段としての下段かご107が前後方向にスライド可能に取り付けられている。下段かご107の上記側面部103e対向方向両側には、車輪107aが設けられ、これら車輪107aが回動可能な状態で上記ガイドレール103fに係合する。上段かご105及び下段かご107は、矩形状の底部105b,107bと、該底部105b,107bの全周縁から突出する矩形環状の周壁部105c,107cとを備え、金属製の線状の材料を交差させて形成されている。図11及び図12に示すように、下段かご107の前側(引き出し側)の周壁部107cには、一方の面に市松模様等の目印としての識別パターンPAが付されたシート107dが、その識別パターンPA側の面を後方(反引き出し方向)に向けた状態で取り付けられている。なお、識別パターンPAは、認識用マーク104bと同様に、図形を組み合わせたパターンに限られず、文字、記号、色の彩度若しくは明度、又はこれらの組み合わせにより構成されていてもよい。上段かご105及び下段かご107は、引き出し幅が最大のときに、その全体が開口部103aを介して洗浄槽103の外側に引き出された引き出し位置に位置する一方、引き出し幅が最小のときに、その全体が洗浄槽103の外側に収容された運転位置に位置する。
また、洗浄槽103の内部における上段かご105の運転位置と下段かご107の運転位置との間には、上方及び下方に向けて水(洗浄水又はすすぎ水)を噴射する複数の下側回転ノズル108a,108bが配設されている。また、洗浄槽103の内部における上段かご105の運転位置の上側には、下方に向けて水を噴射する複数の上側回転ノズル109が配設されている。
洗浄槽103の底部、すなわち下段かご107の運転位置の下側の後端部近傍には、両側面部103e対向方向に延びる中空状の固定ノズル110が配設され、該固定ノズル110には、前方に向けて水平に水を噴射する複数の噴射孔(図示せず)が固定ノズル110の長手方向に間隔を空けて形成されている。
また、洗浄槽103の底部、すなわち下段かご107の運転位置の下側における両側面部3e対向方向の略中央部には、前後方向に延びる支持レール111が配設されている。この支持レール111は、両側面部103e対向方向に延びる長尺状のスライド部材112を下方からスライド可能に支持している。スライド部材112には、固定ノズル110から噴射された水が衝突して該水の進行方向を上方に変える衝突面(図示せず)が形成されている。
図示はしないが、スライド部材112は、ベルトと接続されており、モータの作動により後部側のプーリを回転させると、当該ベルトが走行することにより、スライド部材112が支持レール111に沿ってスライドする。従って、ベルト、プーリ及びモータによって駆動機構が構成されている。
また、洗浄槽103の底面部103cには、流出口(図示せず)が形成され、該流出口の下方には、洗浄槽103の内部から流出口を介して流出した水を溜めるタンク113と、該タンク113に溜まった水を、下側回転ノズル108a,108b、上側回転ノズル109、及び固定ノズル110側に加圧することにより循環させるポンプ115とが配設されている。
上述のように構成された食器洗い機101のポンプ115を駆動させることにより、固定ノズル110の各噴射孔から前方に向けて水平に水を噴射させると、固定ノズル110から噴射された水は、スライド部材112の衝突面に衝突して上方に飛び、下段かご107に収容された食器類を洗浄する。このとき、固定ノズル110による水の噴射を継続させた状態でモータを作動させると、スライド部材112が支持レール111に沿って前後方向にスライドし、スライド部材112のスライド範囲の上方の空間に水が行き渡る。
また、洗浄槽103の開口部103aの上側周縁部、すなわち上面部103bの前側端面における両側面部103eの対向方向の中央部には、撮影手段としての可視光カメラ119が、開口部103a開放方向に向かって斜め下側に向けた状態で配設されている。この可視光カメラ119の位置及び向きは、引き出し位置に位置する下段かご107全体と、下段かご107に収納された収納物としての食器類を撮影可能に設定されている。具体的には、可視光カメラ119のレンズは、洗浄槽103の外側に向くように配設されている。
また、洗浄槽103の上面部103bにおける可視光カメラ119よりも若干後側には、制御手段としてのマイクロコンピュータ121が内蔵されている。このマイクロコンピュータ121は、可視光カメラ119により撮影された撮影画像P1に基づいて、下段かご107における食器類の位置、大きさ、及び数量の少なくとも1つを含む収納情報を得るようになっている。
上記可視光カメラ119とマイクロコンピュータ121とで、本発明の第3の実施形態に係る収納物検出装置123が構成されている。
上述のように構成された食器洗い機101では、下段かご107を洗浄槽103の前側に引き出した状態から運転位置に押し込む過程で、図13に示すような手順で、下段かご107における食器類の位置、大きさ、及び数量の少なくとも1つを含む収納情報を得るようになっている。
食器洗い機101に電源が投入されると、可視光カメラ119は、例えば1秒間に10枚のペースでの撮影を開始する。ステップS201において、マイクロコンピュータ121は、ドア104が開状態になるまで監視を続ける。ドア104が開状態になると、ステップS202に進み、下段かご107が洗浄槽103から引き出されるまで待機する。
下段かご107が洗浄槽103から引き出されると、ステップS203に進み、マイクロコンピュータ121が、下段かご107に食器類が適当な位置に載置され、該下段かご107の洗浄槽103への収容のための移動が開始されるまで待機する。
次に、ステップS203において、マイクロコンピュータ121は、下段かご107の移動の開始を認識すると、次のステップS204に進み、可視光カメラ119により撮影された各撮影画像P1からシート107dに付された識別パターンPAを検出し、各撮影画像P1における識別パターンPAの位置に基づいて、撮影画像P1の一部を構成する所定の検出画像P2に写った箇所の下段かご107における位置を特定する。このとき、検出画像P2は撮影画像P1の特定の領域であるので、撮影画像P1撮影時の下段かご107の引き出し量等、下段かご107の位置を示す情報を、検出画像P2に写った箇所の下段かご107における位置を示す情報として得るようにしてもよい。本実施形態においては、識別パターンPAの検出は、識別パターンPAに含まれる図形に基づいて行う。しかし、識別パターンPAの種類によっては、当該検出を、識別パターンPAの外形、色、又は含む文字に基づいて行ってもよく、また、識別パターンPAの外形、色、含む文字、含む図形のうちの複数に基づいて行ってもよい。検出画像P2は、図11及び図12に仮想線で示すように、認識用マーク104bが写った部分であり、撮影画像P1の洗浄槽103の側端縁近傍を構成する。詳しくは、検出画像P2は、撮影画像P1を引き出し方向に4分割したときに最も洗浄槽103側に位置する部分に含まれるように設定される。例えば、図12の撮影画像P1により、検出画像P2に写った箇所の下段かご107における位置が、シート107d(識別パターンPA)よりもd1に対応する距離だけ後側の位置であることを特定できる。また、図13の撮影画像P1により、検出画像P2に写った箇所の下段かご107における位置が、シート107d(識別パターンPA)よりもd2に対応する距離だけ後側の位置であることを特定できる。検出画像P2に写った箇所とシート107dとの距離は、撮影画像P1内における距離を可視光カメラ119の位置や角度に基づいて補正することで得られる。マイクロコンピュータ121は、検出画像P2と、該検出画像P2に写った箇所の下段かご107における位置とを対応づけて記憶する。なお、既に、対応する位置が共通の検出画像P2を記憶されている場合には、新たに得られた検出画像P2を上書きする。このステップS204は、下段かご107が洗浄槽103の運転位置に収容されるまで繰り返される。つまり、マイクロコンピュータ121は、下段かご107の位置が異なる複数の撮影画像P1について、ステップS204を繰り返す。
次のステップS205において、下段かご107が所定の運転位置に収容されると、ステップS206に進む。ステップS206において、マイクロコンピュータ121は、ステップS204で記憶された各検出画像P2における認識用マーク104bが判別できない領域を、食器類の配置領域として特定する。マイクロコンピュータ121は、複数の検出画像P2における食器類の配置領域、及び各検出画像P2に写った箇所の下段かご107における位置(ステップS204で特定された位置)に基づいて、下段かご107における食器類の位置、大きさ、及び数量の少なくとも1つを含む収納情報を得るようになっている。なお、何らかの事情で下段かご107の一部の領域の検出画像P2をステップS204で得られなかった場合には、得られた検出画像P2における食器類の配置領域に基づいて、検出画像P2が得られなかった領域における食器の位置、大きさ、及び数量等を推測するようにしてもよい。また、このとき、各検出画像P2に基づいて、下段かご107に収納された食器類の色、種類、材質等を特定するようにしてもよい。
次に、ステップS207において、マイクロコンピュータ121は、ステップS206で得た収納情報に応じて、上記駆動機構を制御することにより、洗浄時及びすすぎ時等、固定ノズル110による水の噴射時におけるスライド部材112の位置を制御する。例えば、スライド部材112が食器類の配置領域の下に位置する時間を、食器類の配置されていない領域の下に位置する時間よりも長く設定する等の制御により、食器類を効率的に洗浄できる。従って、洗浄時間を短縮することができる。
本実施形態によると、目印の数が少なくても、検出画像P2に写った箇所の下段かご107における位置の特定が可能であるので、検出用の識別パターンPAの配設箇所を下段かご107の1箇所だけに限定することができる。従って、特許文献1のように領域毎に表示を設ける場合と比べて、表示の数が少なく、下段かご107の見栄えが良い。
また、識別パターンPAの配設箇所が1箇所と少なくても、検出画像P2に写った箇所の下段かご107における位置を精度良く特定できるので、下段かご107の見栄えを悪化させることなく、得られる収納情報の精度を高めることができる。
また、検出画像P2を撮影画像P1の一部としたので、検出画像P2を撮影画像P1の全体とした場合と比べて、撮影画像P1全体における外部光の入射量や入射角度のばらつきの影響が低減し、得られる収納情報の信頼性が高められる。
また、撮影画像P1における可視光カメラ119の近くが写った部分を検出画像P2としたので、下段かご107における検出画像P2対応箇所に収納された食器類が他の食器類に隠れて検出画像P2に写らなくなることが防止できる。従って、得られる収納情報の信頼性が高められる。
また、下段かご107の洗浄槽103の外側に引き出された部分の撮影画像P1に基づいて収納情報を得るので、可視光カメラ119のレンズを洗浄槽103の外側に向くように配設できるので、洗浄槽103内の水、蒸気、及び洗剤がレンズに悪影響を及ぼすのを防止することができる。
(第4の実施形態)
図14は、本発明の第4の実施形態に係る収納物検出装置123を備えた収納庫125を示す。この収納庫125は、前端部に平面視矩形状の開口部127aを有する箱形状をなす略直方体状の格納手段としての収納庫本体127を備えている。この収納庫本体127の開口部127aの左側縁部(図14中の下側の縁部)には、当該開口部127aを開閉する目印としてのドア129が、二点鎖線で示すように、図示しないヒンジ部を介して左右方向に回動可能に連結されている。このドア129の裏面には、収納庫本体127に収容される回転トレイ131が収納物を載置する載置面を上方に向けた状態で取り付けられている。従って、ドア129及び回転トレイ131が収納手段を構成している。また、ドア129の移動範囲全体を撮影するように可視光カメラ119が配置され、検出画像P2が撮影画像(図14中の点線で囲まれた領域を写した画像)P1における収納庫本体127の開口部127a周り(図14中の一点鎖線で囲まれた部分)が写る部分になっている。マイクロコンピュータ121は、撮影画像P1からドア129を検出し、検出画像P2に写った箇所の回転トレイ131における位置を特定する。続いて、検出画像P2における収納物の位置、及び検出画像P2に写った箇所の回転トレイ131における位置に基づいて、収納物の位置、大きさ、及び数量の少なくとも1つを含む収納情報を得る。
その他の構成及び動作は、第3の実施形態と同様であるので、その詳細な説明を省略する。
このように、本実施形態によると、第3の実施形態と同様に、ドア129及び回転トレイ131の見栄えを向上させることができる。
(第5の実施形態)
図15は、本発明の第5の実施形態に係る収納物検出装置123を備えた食器洗い機101を示す。本実施形態においては、ドア104の裏面における引き出し方向に間隔を空けた2領域に、認識用マーク104bが付されている。ステップS204において、マイクロコンピュータ121が、撮影画像P1の各認識用マーク104bに対応する部分を構成する2つの検出画像P2、すなわち撮影画像P1の異なる部分を構成する2つの検出画像P2に写った箇所の下段かご107における位置を特定する。また、ステップS206において、当該2つの検出画像P2における食器類の配置領域、及び当該2つの検出画像P2についてステップS204で特定された位置に基づいて、上述の収納情報を得る。撮影画像P1の異なる部分を構成する2つの検出画像P2は、異なる視点からの2つの画像に近似するので、これら2つの検出画像P2を異なる視点からの画像とみなすことにより、食器類の高さ、向き、尖り具合等の三次元情報を前記収納情報に含ませることができる。
その他の構成及び動作は、第3の実施形態と同様であるので、その詳細な説明を省略する。
このように、本実施形態によると、複数の可視光カメラ119を設けなくても、食器類の三次元情報を得ることができるので、複数の可視光カメラ119を設ける場合と比べて、部品点数及び製造コストを削減することができる。
(第6の実施形態)
第6の実施形態に係る収納物検出装置123を備えた食器洗い機101では、下段かご107の左右方向の一端部に、他の部分とは異なる色での塗装が、前後方向(引き出し方向)に延びる線状に施され、当該塗装部分が、目印としての識別パターンPAを構成している。
ステップS204において、マイクロコンピュータ121が、識別パターンPAが各撮影画像P1の上端部と下端部のいずれに写っているか(識別パターンPAの位置)と、各撮影画像P1における識別パターンPAの長さ(量)とに基づいて、検出画像P2に写った箇所の下段かご107における位置を特定する。ここで、図16及び図17において、撮影画像P1に写る領域をR1、検出画像P2に写る領域をR2で示すと、図16の状態では、識別パターンPAが撮影画像P1の上端部に写り、撮影画像P1における識別パターンPAの長さが、L1に対応する長さとなる。また、図17の状態では、識別パターンPAが撮影画像P1の下端部に写り、撮影画像P1における識別パターンPAの長さが、L2に対応する長さとなる。
その他の構成及び動作は、第3の実施形態と同様であるので、その詳細な説明を省略する。
(第7の実施形態)
第7の実施形態に係る収納物検出装置123を備えた食器洗い機101では、下段かご107の左右方向一端部に、複数の目印としてのマークMAが前後方向(引き出し方向)に等しい間隔を空けて付されている。
ステップS204において、マイクロコンピュータ121が、マークMAが各撮影画像P1の上端部と下端部のいずれに写っているか(マークMAの位置)と、各撮影画像P1に写ったマークMAの数とに基づいて、検出画像P2に写った箇所の下段かご107における位置を特定する。ここで、図18及び図19において、撮影画像P1に写る領域をR1、検出画像P2に写る領域をR2で示すと、図18の状態では、マークMAが撮影画像P1の上端部に写り、撮影画像P1におけるマークMAの数が5個となる。また、図19の状態では、マークMAが撮影画像P1の下端部に写り、撮影画像P1におけるマークMAの数が2個となる。
その他の構成及び動作は、第3の実施形態と同様であるので、その詳細な説明を省略する。
なお、上述の第5の実施形態においては、撮影画像P1の異なる部分を構成する2つの検出画像P2を用いたが、撮影画像P1の異なる部分を構成する3つ以上の検出画像P2を用いるようにしてもよい。
また、上述の第3及び第5の実施形態においては、下段かご107の識別パターンPAを目印としたが、下段かご107に取っ手が移動時等に手で握るために設けられる場合には、当該取っ手を目印としてもよい。これにより、検出用の目印を別途設ける必要がなくなるので、該下段かご107の見栄えを向上させることができる。
また、上述した第3及び第5〜7の実施形態においては、洗浄槽103の開口部103aの上側周縁部に可視光カメラ119を設けたが、該可視光カメラ119の配設箇所は、下段かご107の目印を撮影でき、洗浄槽103内の水、蒸気、及び洗剤の影響を受けない箇所であれば、他の箇所でもよい。
また、上述した第3〜第7の実施形態においては、検出画像P2を撮影画像P1の一部としたが、全部としてもよい。
また、第3〜第7の各実施形態においては、食器洗い機101又は収納庫125に本発明を適用したが、本発明は、移動可能な収納手段を収容する机や倉庫にも適用できる。この場合、得られた収納情報を在庫管理又は貴重品管理に利用することができる。また、本発明は、引き出しを有する冷蔵庫にも適用でき、この場合、得られた収納情報を冷却効果の調整又は食品管理に利用することができる。
以下に、食器収納かご(下段かご107)に識別パターンPAを設けない場合の、当該食器収納かごの位置を検出する方法の種々変形例を説明する。
第1に、洗浄槽103におけるドア104と対向する壁面(ドア対向面)にTOF(距離画像)センサを配置する。一方、下段かご107における洗浄槽103との対向部には、TOFセンサからの出射光を反射可能な反射板を設ける。TOFセンサにより反射板との距離を測定することにより、下段かご107の位置、すなわち、下段かご107の洗浄槽103からの引き出し量を算出することができる。
第2に、洗浄槽103におけるドア対向面に、ひも巻き取り機を設け、このひも巻き取り機に巻き取られるように付勢されたひもの他端を下段かご107に結びつけてもよい。この構成の場合には、例えば、ひも巻き取り機の回転数又はひもの引き出し量から、下段かご107の位置、すなわち、下段かご107の洗浄槽103からの引き出し量を算出することができる。また、ひも自体に目盛りを設け、この目盛りを、例えば画像処理センサで読み取る構成としてもよい。
第3に、下段かご107における底部107bの引き出し方向のほぼ全面に、引き出し方向に向かって異なる色に塗り分けた複数の領域を設けてもよい。このような下段かご107を、例えば可視光カメラ119で撮影した場合には、特定の色の領域の撮影位置から、下段かご107の洗浄槽103からの引き出し量を推定することができる。
第4に、下段かご107の底部107bの編み目の向き又は編み方を、可視光で判別できる程度に引き出し方向に沿って複数通りに異ならせてもよい。このような下段かご107を、可視光カメラ119で撮影した場合には、編み目等の特定の領域の撮影位置から、下段かご107の洗浄槽103からの引き出し量を推定することができる。
第5に、下段かご107の平面形状(外形状)を、引き出し方向に沿って異なる形状に形成してもよい。例えば、下段かご107における引き出し方向の周壁部107cに対して、平面視で波状(凹凸状)に形成された領域と直線状に形成された領域等を混在させることにより、特定の領域の撮影位置から、下段かご107の洗浄槽103からの引き出し量を推定することができる。
第6に、下段かご107における底部107bに、引き出し方向に延びる複数のマーカを付設してもよい。複数のマーカは、例えば島状に互いに間隔をおいて配置されてもよい。また、その配置方向は、平面視で、引き出し方向に平行な方向に限られず、下段かご107の対角方向であってもよい。このような下段かご107を、例えば可視光カメラ119で撮影した場合には、特定のマーカの撮影位置から、下段かご107の洗浄槽103からの引き出し量を推定することができる。なお、各マーカは、それ自体の平面形状、又はそれ自体の色を異ならせてもよい。
次に、認識用マーク104bの撮像領域である、短冊状の検出画像P2における物体、例えば食器類の検知方法の種々変形例を説明する。
第1に、認識用マーク104bとして、直線成分を含むマークを用いてもよい。この場合、交差する複数の直線成分を含むマークが好ましい。例えば、図20に示すように、認識用マーク104bとして、複数の正三角形で複数の正六角形を構成する、いわゆる「うろこ形」を採用すると、図20の検知画像からは、図21に示すような直線成分が抽出できる。ここで、図22に示すように、撮像領域における一部の領域300において、直線成分にゆがみが生じている場合には、当該領域300に透明な食器が載置されていると検知及び推定することができる。
第2に、認識用マーク104bを、ドア104内面の下端部に設けるだけでなく、洗浄槽103の底面部103cにも設けてもよい。このようにすると、撮像状態が良好なマークを食器類の検知に使用することができ、検知精度の向上を図ることができる。
第3に、認識用マーク104b自体に発光体を用いてもよい。検出画像P2において、認識用マーク104b自体の明るさよりも暗い領域に、食器等が載置されていることを検知することができる。発光体には、例えば、LED(light emitting diode)素子、シート状の蓄光部材、又は強反射部材等を用いることができる。
次に、認識用マーク104bを設けない場合の、短冊状の検出画像P2における物体、例えば食器類の検知方法の種々変形例を説明する。
第1に、下段かご107の位置を推定し、推定されたかごの位置から下段かご107の形状を特定してもよい。この場合、下段かご107の平面形状(外形状)が引き出し方向に沿って異なっていることが好ましい。特定された位置におけるかごの画像の平面形状が、食器類が載置されていない初期状態の画像と比べて異なっていれば、食器類が載置されたことを検知することができる。
第2に、下段かご107の位置を推定し、推定された位置の背景(ドア104の内面)の形状を特定する。特定された形状の背景画像が、食器類の載置がない初期状態の画像と比べて異なっていれば食器類が載置されていることを検知することができる。
第3に、背景(ドア104の内面)の形状の画像と、下段かご107がその背景上を通過した際の画像との間に差分があれば、食器類が載置されたことを検知することができる。
第4に、下段かご107に特定の色を塗ってもよい。食器類が載置されていない初期状態の画像から、特定の色成分の画素数を初期値として記録しておき、食器類が載置されることによる、特定の色成分の画素数の変動(減少又は増加)を計測することにより、食器類が載置されていることを検知できる。
第5に、下段かご107に対して、予め、短冊状の複数の画像、例えば複数の検出画像P2を引き出し位置ごとに取得してもよい。食器類の検知動作中に撮影した短冊状の各画像と、予め取得しておいた対応する短冊状の各画像とを比較して、比較した画像同士に差分が生じていれば、食器類が載置されたことを検知することができる。
第6に、予め、空の下段かご107を撮影して、この画像から下段かご107を構成する線材(ワイヤ)の直線成分を抽出してもよい。抽出した初期状態の直線成分を基準にして、該下段かご107の位置を推定できるようにする。さらに、食器類の検知動作中に撮影した画像において、線材の直線成分が途切れた領域に、食器類が載置されたと検知することができる。
第7に、予め、空の下段かご107を撮影して、この画像から下段かご107を構成する線材(ワイヤ)の各交点を抽出してもよい。抽出した初期状態の各交点を基準にして、該下段かご107の位置を推定できるようにする。さらに、食器類の検知動作中に撮影した画像において、線材の交点が隠れた領域、すなわち存在しない領域に、食器類が載置されたと検知することができる。
第8に、1つ又は複数のカメラ(可視光カメラ119)を用いて、下段かご107を3次元モデル化してもよい。この場合、食器類の検知動作中に撮影した画像に対しても3次元モデル化し、下段かご107自体の空間座標以外に、3次元復元された空間座標が存在すれば、食器類が載置されていることを検知できる。
第9に、カメラの撮影方向から、特定のパターンからなる映像を下段かご107に向けて照射してもよい。特定のパターンとは、例えば、互いに平行な複数の直線を含むパターン、又は互いに平行な複数の直線同士が交差するパターン等をいう。このパターンの反射光をカメラで撮影し、その画像に、当該パターンのずれ又は歪み等が生じていれば、食器類が載置されたことを検知できる。
第10に、下段かご107に載置された洗浄対象とする食器類ごとに、食器洗い機101による自動散布、又は使用者による散布によって、食器用洗剤で洗浄可能な色素又は塗料をそれぞれ着色してもよい。その後、各食器類に着色された色素等をカメラで検知して、下段かご107内での食器類が載置された位置を検出することができる。
第11に、下段かご107内又はその上方において、使用者の手の先が移動する動作が、一瞬止まり、且つ、引き返した位置を、食器類が載置された位置と判定してもよい。この場合、引き返した位置から、載置されていた食器類が取り除かれたか否かの判定も必要となる。
(第8の実施形態)
以下、本発明の第8の実施形態について図面を参照しながら説明する。
図23及び図24は、本発明の第8の実施形態に係る食器洗い機201の前後方向における段面構成を示している。以下、食器洗い機201の引き出し方向を前側とする。食器洗い機201は、ほぼ直方体状で、その前方側に食器の搬入及び搬出を行う開口部を有する空洞の洗浄槽203を備えている。該開口部には、洗浄槽203を水密可能なドア204が設けられている。
図23及び図24に示すように、洗浄槽203の内部には、それぞれ食器を収容する食器収容上段かご205と、その下方の食器収容下段かご207とが設けられている。以下、それぞれ上段かご205及び下段かご207と略称する。上段かご205と下段かご207との間には、上方及び下方に向けて水(洗浄水又はすすぎ水)を噴射する複数の下部回転ノズル208a,208bが回転可能に配設されている。上段かご205の上方には、下方に向けて水を噴射する複数の上部回転ノズル209が回転可能に配設されている。
下段かご207の下側の後端部の近傍には、洗浄槽203の幅方向に延びる、洗浄手段としての中空状の固定ノズル209が配設されている。固定ノズル210には、前方に向けて水平に水を噴射する複数の噴射孔が洗浄槽203の幅方向に間隔をおいて設けられている。また、下段かご207の下側の幅方向のほぼ中央には、前後方向に延びるレール211が設けられている。
レール211は、洗浄手段としての幅方向に延びる長尺状のスライド部材212を下方からスライド可能に支持している。スライド部材212には、固定ノズル210から噴射された水が衝突して、水の進行方向を上方に変える衝突面が全長に亘って形成されている。
図示はしないが、スライド部材212は、ベルトと接続されており、モータの作動により後部側のプーリを回転させると、当該ベルト222が走行することにより、スライド部材212がレール211に沿ってスライドする。従って、ベルト、プーリ及びモータによって駆動機構が構成されている。
図23において、洗浄槽203の底面203aには、該底面203aと連結され、水を溜めるタンク213と、該タンク213に溜まった水を排出するポンプ215とが配設されている。該ポンプ215は、タンク213の水を、下部回転ノズル208a,208b、上部回転ノズル209及び固定ノズル210側にそれぞれ加圧することにより循環させる。
上述のように構成された食器洗い機201のポンプ215を駆動することにより、固定ノズル210の各噴射孔から前方に向けて水平に水を噴射させると、複数の固定ノズル210から噴射した噴射水は、スライド部材212の衝突面に衝突して上方に向かって噴水のように飛び、下段かご207に収容された食器類を洗浄する。このとき、固定ノズル210による水の噴射を継続させた状態でモータを作動させると、スライド部材212がレール211に沿って前後方向にスライドし、スライド部材212のスライド範囲の上方の空間に噴射水が行き渡る。
(食器の検知方法)
本実施形態に係る食器洗い機201は、下段かご207に収納された食器の有無及びその量だけでなく、下段かご207に載置された食器の載置位置、すなわち配置位置を認識し、認識した食器の配置位置に基づいて、その配置領域を選択的に洗浄し且つすすぎを行う。
このため、図23及び図24に示すように、本実施形態に係る食器洗い機201は、洗浄槽203の天井面における前方側(ドア204側)に、食器を検知する検知手段であるカメラ219を備えている。なお、カメラ219は、可視光に反応するカメラに限られず、赤外光に反応する、例えばエリアセンサであってもよい。
本実施形態においては、下段かご207に載置された食器を直接に撮影して検知するのではなく、カメラ219は、下段かご207の下側に配置された認識用マーク220の上側を通過する食器と共に、当該認識用マーク220を撮影する構成を採る。
具体的には、認識用マーク220は、例えば、ドア204の少なくとも下部の領域に、該ドア204を開けた状態では、該ドア204の洗浄槽203側の少なくとも端部の領域に設けられる。本実施形態においては、認識用マーク220は、図25に示すように、例えば、それぞれ塗りつぶした複数の三角形を3段に積んで、洗浄槽203の全幅方向に配置したパターンとしている。ここでは、複数の三角形の各頂点は、上方、すなわちドア204を開けた状態では手前(前方)に向く。なお、認識用マーク220は、複数の三角形の配置パターンに限られず、他の図形の配置パターンであってもよい。さらに、図形の組み合わせパターンに限られず、文字(漢字、平仮名、片仮名及び各種アルファベット等)、記号、色の彩度若しくは明度、又はこれらの組み合わせにより構成されていてもよい。
また、カメラ219により撮像された画像イメージ(画像データ)は、例えばMPU(マイクロプロセッサユニット)を含む制御部221において所定の処理が実行される。該制御部221を含む食器洗い機201の動作の制御は、洗浄槽203の前面の上端部、すなわちドア204の上部の上側に設けられたコントロール部223から行うことができる。
図26は本実施形態に係るカメラ219が撮影している画像イメージを表している。図26に示すように、下段かご207はドア204の上に引き出されており、洗浄前の食器類230,231が下段かご207の中に散在して載置されている。
本実施形態においては、下段かご207における前方側の側端部に、例えば市松模様を有する識別パターン207aを設けている。この識別パターン207aを下段かご207に取り付けることにより、ワイヤ状の下段かご207におけるカメラ219から最も遠い端部の位置、すなわち下段かご207の前方側(外側)の基準となる位置を容易に検出することができる。なお、識別パターン207aは、認識用マーク220と同様に、図形を組み合わせたパターンに限られず、文字、記号、色の彩度若しくは明度、又はこれらの組み合わせにより構成されていてもよい。図26においては、識別パターン207aと認識用マーク220との距離をd1としている。また、画像イメージにおける食器類の検知及び判定には、図26に示す第1検知領域241において行う。
図27は、下段かご207が、その洗浄槽(図示せず)の後方側の一部が押し込まれて収容された結果、識別パターン207aと認識用マーク220との距離がd2(d1>d2)となった状態の画像イメージを表している。この場合も、画像イメージにおける食器類の検知及び判定には、図27に示す第2検知領域242において行う。
このように、本実施形態においては、各画像イメージとして、識別パターン207aを常時撮影することにより、撮影された範囲(領域)が下段かご207のどの部分であるかを算出することができる。ここでは、例えば、1秒間に10枚のタイミングで順次イメージを取り込む(記録する)ようにしている。
図28は、図26及び図27の各画像イメージを平面図として展開した状態を表している。図28においては、平面図に展開した距離d1,d2は、カメラ219からの距離と、カメラ219の撮像部とドア204の下段かご207における識別パターン207aとのなす角度で補正して算出している。
補正後の距離d1、すなわち下段かご207の奥行き寸法は既知であるため、該下段かご207の移動が開始され、洗浄槽203に収容されるまでの時間から、平均の移動速度を算出することができる。この平均の移動速度は、使用者の押し込み動作の緩急によって変動する。また、ここでは、各画像イメージは毎秒10枚分が記録されるため、1枚の画像イメージが0.1秒単位のカウンタとしても用いることができる。この移動速度とカウンタ値とから、距離d2を検出することもできる。なお、下段かご207の洗浄槽203への収容動作が途中で中断された場合、さらには、一旦引き出され、その後、該収容動作が再開された場合には、画像イメージの重複部分を削除する。また、連続した画像イメージに欠落がある場合には、その前後の画像イメージから、補完して生成することもできる。
図27に示すように、第2検知領域242においては、認識用マーク220の上に食器類231の一部、ここではフライパンの一部が被さっており、該認識用マーク220がその所定の像、すなわちマークの全体像を結ばない。従って、下段かご207における識別パターン207aから、該下段かご207の引き出し量である補正後の距離d2の領域に、何らかの食器類が載置されている配置領域を特定することができる。
このように、下段かご207の収容時に、カメラ219によって連続撮影を行うことにより、下段かご207の内部における洗浄及びすすぎの必要な範囲を算出することができる。
(食器洗い機の動作)
図29は本実施形態に係る食器洗い機の動作フローを表している。
図29に示すように、食器洗い機201に電源が投入されると、ステップS301において、ドア204が開状態になるまで監視を続ける。ドア204が開状態になると、ステップS302に進み、下段かご207が洗浄槽203からドア204の上に引き出されるまで待機する。
下段かご207が洗浄槽203から引き出されると、ステップS303に進み、下段かご207に食器類が任意の位置に載置され、該下段かご207の洗浄槽203への収容のための移動が開始されるまで待機する。なお、下段かご207よりも先(又は後)に、上段かご205が引き出されて、食器類が上段かご205に載置され(又は載置されなくても)、再度、上段かご205が洗浄槽203に収容されたとしても、該動作フローに影響しない。
ここで、ステップS302からステップS303までの動作は、使用者が食器洗い機1のドア204を開けて、少なくとも下段かご207を引き出し、引き出した下段かご207に食器を載置し、その下段かご207を運転位置に再度収容する一連の動作に対応している。
次に、ステップS303において、下段かご207の収容のための移動の開始を検出すると、制御部221は、次のステップS304に進み、図26に示すように、ドア204の内面上に設けられた背景となる認識用マーク220を含め、下段かご207の撮影を開始する。ここで、上述したように、撮影した画像に下段かご207の後方(奥行方向)への撮影の開始を起点とする移動時間tと、該時間tと対応する位置情報xとを関連付けることにより、撮影された各画像イメージにおける下段かご207上の位置を判定する。この撮影ステップS304は、下段かご207が洗浄槽203の所定の洗浄位置に収容されるまで行う。
次のステップS305において、下段かご7が所定の洗浄位置(運転位置)に収容されると、ステップS306に進む。ステップS306においては、撮影時間と撮影枚数との対応から、撮影した画像が所定の枚数を含むか、さらに、撮影の状態が所定の条件を満たしているかを判断する。例えば撮影時間が3秒間とすると、撮影枚数は30枚が所定の枚数である。これらの条件を満たす場合には、次のステップS307において、制御部221は、それぞれ撮影された画像の検知領域における認識マーク220が判別できない部分に食器があると判定する。このときの食器の判定領域は、図28に示した第1検知領域241及び第2検知領域242等である。この判定作業を下段かご207の全体に亘って行う。このとき、制御部221は、食器の判定として、該食器の配置領域だけでなく、食器の量、食器の形状(食器が置かれた向き(垂直/水平)を含む)、及び食器の種類(素材)を判定する。ここで、食器の種類(素材)とは、陶磁器、樹脂食器又はガラス食器等を指し、例えば、ガラス食器と判定された場合には、このガラス食器に対して水温を低下させる等の制御が可能となる。さらに、制御部221は、判定結果に応じて、洗浄手段であるスライド部材212を制御する。すなわち、制御部221は、各食器の配置領域に対応させて洗浄範囲を選択して運転時間を調整する。このとき、投入された食器の量が相対的に少ないと判定した場合は、洗浄用の洗剤量とすすぎ用の水量とを調節してもよい。
一方、ステップS306において、撮影した画像の枚数及びその状態が所定の条件を満たしていない場合は、次のステップS308に進む。このステップS308において、検知対象である下段かご207の全体で、食器の有無、すなわち食器の配置位置を精度良く判定するだけの画像が不足していることになる。この場合には、判定条件を変更して検知を行う。例えば、画像が不足している領域については、食器が載置されていると判断して、これ以降は、所定の運転制御を行う。これにより、食器が十分に洗われていないという不具合の発生を防止することができる。
次に、ステップS307又はステップS308において設定された運転条件に従って、次のステップS309において、洗浄運転、すすぎ運転及び乾燥運転を順次行って、運転を終了する。
なお、動作フローの一変形例として、下段かご207の特定の部位に関して、認識用マーク220の検知の有無に拘わらず、あらかじめ食器でないことを定義しておいてもよい。具体的には、例えば、下段かご207の両側部に設けられた車輪を食器でないと定義しておく。このようにすれば、食器の判定に必要な情報処理量を削減することができる。
(第1変形例:認識用マークの配置位置)
第8の実施形態においては、洗浄槽203を開閉するドア204の内面上の下端部に認識用マーク220を設けて、下段かご207の全体を引き出した位置から運転位置に移動される際に、撮像手段であるカメラ219によって、下段かご207及び認識用マーク220を複数枚撮影することにより、下段かご207に載置された食器の有無の判定をし、食器があると判定した場合には、食器の位置(配置領域)、その量、その形状、及びその種類(素材)を識別する例を示した。
このように認識用マーク220をドア204の内面の一部に設ける構成ではなく、ドア204の内側の全面に認識用マーク220を設ける構成としてもよい。このようにすると、下段かご207及び認識用マーク220の撮影画像を1枚のみとし、下段かご207の全体に載置された食器の有無、位置、形状、及び種類(素材)を判定することも可能である。従って、洗浄槽203に認識用マーク220を設ける範囲、及び撮影する画像の枚数を限定されない。
(第2変形例:収納かごの認識)
第8の実施形態においては、撮影した画像に、下段かご207の奥行方向への移動時間tと該時間tと対応する位置xの情報とを関連付けることにより、下段かご207の奥行方向への位置xの検知を行うようにしている。但し、下段かご207の位置の検知は、撮影画像からの検知、又は光学式若しくは磁気式等の距離センサによっても可能である。
また、第8の実施形態においては、下段かご207における前端部の認識を容易にするために、該下段かご207の前端部に識別パターン207aを設けている。この下段かご207に配設した識別パターン207aは、一例であって、必ずしも設ける必要はない。識別子を設ける場合には、下段かご207の前端部の識別パターン207aに代えて、例えば、下段かご207の両側部の少なくとも一方に、前端部からの距離(位置)を判別可能な記号(インデックス)等を配設してもよい。
(第3変形例:選択的洗浄)
第8の実施形態においては、下段かご207に載置された食器の配置領域に対して選択的に洗浄を行うことができる洗浄手段として、レール211上を自在にスライド可能で、幅方向に延びる長尺状のスライド部材212を用い、複数の固定ノズル210からの噴射された噴射水をスライド部材212における斜めの衝突面に当てる構成としたが、これに限られない。
例えば、固定ノズル210に設けた複数のノズルのそれぞれが独立して開閉すると共に、それぞれ噴射量を制御可能な構成としてもよい。これにより、制御部221は、下段かご7に載置された食器の有無、位置、及び形状の判定結果に基づいて、洗浄範囲を変更したり、洗浄時間を最適に制御したりすることができる。
(第4変形例:食器の検知デバイス:認識用マークあり)
第8の実施形態においては、下段かご207とその背景となる認識用マーク220とを撮影するデバイスとして、エリアセンサであるカメラ219を用いたが、認識用マーク220の上方の領域を選択的に撮影するラインセンサを用いてもよい。
(第5変形例:食器の検知デバイス:認識用マークなし)
第8の実施形態においては、下段かご207の検知部分にその背景となる認識用マーク220を設けたが、該認識用マーク220は必ずしも設ける必要はない。
認識用マーク220を設けない構成の場合には、カメラ219に代えて、発光(発信)手段である、例えば発光ダイオード(Light Emitting Diode:LED)を洗浄槽203の幅方向に複数個設ける。また、認識用マーク220に代えて、上記の複数のLEDと対向するようにそれぞれ受光(受信)手段である、例えばCMOS(Complementary Metal-Oxide Semiconductor)センサを複数個配置する。このとき、LEDとCMOSセンサとは、必ずしも1対1に設ける必要はない。
この構成により、LEDからの発光光を受光しないCMOSセンサがあれば、その上に食器があると判定する。
(第6変形例:食器の検知デバイス:認識用マークなし)
第6変形例においても、認識用マーク220を用いず、第5変形例で用いた検知手段である発光手段のLEDと受光信手段のCMOSセンサとに代えて、1つのデバイスとして構成される距離センサ(近接センサ)とする。該距離センサは、公知のように、出射される信号は光(可視光を含む電磁波)に限られず、超音波であってもよい。
この構成の場合には、洗浄槽203における天井面の前方側に配設されたカメラ219に代えて、少なくとも1つの距離センサを配設する。
なお、上述した第4、第5及び第6変形例の場合には、下段かご207の位置の認識用として、第2変形例に記載した距離センサ等を用いることができる。
上述した各変形例は、第8の実施形態を含め、他の変形例とは、物理的に矛盾が生じない範囲で互いに組み合わせることができる。
−効果−
以上説明したように、第8の実施形態によると、画像撮影手段であるカメラ219によって、撮影し且つ判定した食器の配置領域、その量及びその形状に応じて洗浄手段であるスライド部材212を制御して、食器が載置されていない領域を洗浄しないように洗浄範囲を制御することにより、省エネルギー運転が可能となり、且つ運転時間の短縮を図ることができる。
また、第8の実施形態においては、下段かご207の下側であって、画像の背景となるその一部に所定の認識用マーク220を設け、下段かご207の奥行方向への移動時間tと該時間tと対応する位置xの情報とを関連付けている。このため、撮影した複数の画像における認識用マーク220の撮像状態から、下段かご207に載置された食器の配置位置、量、形状及び種類(素材)を精度良く検知することができる。
また、第8の実施形態においては、撮影した画像において認識用マーク220が判別できない部分には食器があると判定する。このため、カメラ221のレンズに汚れ若しくは曇りが生じたり、湯気が当たったり、認識用マーク220の表面に汚れ等が付着したり、カメラ221と下段かご207又は認識用マーク220との間に使用者の手や遮蔽物に遮られる等したりして、正しい検知を行えない場合でも、食器があると判定して、その領域を洗浄するよう制御を行う。これにより、誤検知によって洗浄されない食器が残ることを防止することができる。
なお、第8の実施形態においても、食器収納かご(下段かご207)の位置の検出方法として、第1及び第2の実施形態で説明した目印となる特徴点(識別パターン207a)を食器収納かごに設けない場合の変形例である、第1〜第7の各変形例を適用することができる。
(第9の実施形態)
以下、本発明の食器洗い機に係る動作の第9の実施形態について図面を参照しながら説明する。第9の実施形態においても、食器洗い機201の構成は第8の実施形態の構成と同一である。
図30は第9の実施形態に係る食器洗い機の動作フローを表している。
図30において、制御部221は、食器洗い機201が動作を開始すると、ドア204が開状態となり、その後、下段かご207が引き出され、使用者によって下段かご207に食器が収納され、食器が収納された下段かご207の収容のための移動が開始されるまでの動作は第1の実施形態と同一であるため、その説明を省略する。
制御部221は、下段かご207の洗浄槽203への移動が開始されると、ステップS404において、ドア204の内面上に設けられた背景となる認識用マーク220を含め、下段かご207の撮影を開始する。撮影した画像に下段かご207の後方(奥行方向)への移動時間tと、該時間tと対応する位置情報xとを関連付けることにより、撮影された各画像イメージにおける下段かご207上の位置を判定する。この撮影ステップS404は、下段かご207が洗浄槽203の所定の洗浄位置に収容されるまで行う。
次のステップS405において、撮影した画像と位置情報とが重複する画像の有無を判定し、位置情報が重複した画像が存在する場合には、次のステップS406に進む。ステップS406において、位置情報が重複している画像の中から、撮影した時刻が先の(古い)画像を削除して、撮影した時刻が後の(新しい)画像を採用する。この一連の撮影をステップS407で下段かご207が運転位置に収納されるまで、ステップS404から繰り返して行う。
ステップS407において下段かご207が洗浄位置(運転位置)に収容されると、ステップS408に進む。ステップS408においては、撮影した画像の枚数、及び撮影の状態が所定の条件を満たしているか否かを判断し、該条件を満たしている場合には、次のステップS409に進む。ステップS409において、制御部221は、撮影したそれぞれの画像の検知領域において認識マーク220が判別できない部分に食器があると判定する。さらに、制御部221は、下段かご207の全体に亘って、食器の配置領域に加え、食器の量、形状(載置された向き)、及び種類(素材)を判定する。制御部221は、この判定結果に応じて、洗浄手段であるスライド部材212を制御して洗浄範囲を変更し、且つ運転時間の制御を行う。
一方、ステップS408において、撮影した画像の枚数及びその状態が所定の条件を満たしていない場合には、次のステップS410に進む。このステップS410において、検知対象である下段かご207の全体で、食器の有無、すなわち食器の配置位置を精度良く判定するだけの画像が不足しており、従って、判定条件を変更して検知を行う。例えば、画像が不足している領域には食器が載置されていると判断して、これ以降は、所定の運転制御を行う。
すなわち、ステップS409又はステップS410において設定された運転条件に従って、次のステップS411において、洗浄運転、すすぎ運転及び乾燥運転を順次行って、運転を終了する。
−効果−
第9の実施形態によると、第8の実施形態と同等の効果を得られる上に、撮影した画像とその位置情報とが重複する画像が存在する場合に、位置情報が重複した画像の中から、撮影時刻が古い画像を削除し、撮影した時刻が新しい画像を採用する。これにより、使用者が下段かご207に食器を載置し、該下段かご207を運転位置に収容する際に、該下段かご207を再度前面側に戻したり、移動させる途中で停止したりするなど、下段かご207を不規則に移動する場合があったとしても、撮影した複数の画像から食器の検知に必要な最新の画像を選択し、撮影した複数の画像における認識マーク220の状態から、下段かご207に載置された食器の配置領域、その量、その形状及びその種類(素材)を精度良く検知することができる。
なお、第9の実施形態においても、食器収納かご(下段かご207)の位置の検出方法として、第1及び第2の実施形態で説明した目印となる特徴点(識別パターン207a)を食器収納かごに設けない場合の変形例である、第1〜第7の各変形例を適用することができる。
(第10の実施形態)
以下、本発明の食器洗い機の動作に係る第10の実施形態について図面を参照しながら説明する。第10の実施形態においても、食器洗い機201の構成は第1の実施形態の構成と同一である。また、撮影の背景として用いる認識用マーク220は、図25に示すように、規則的な図形の配列(パターン)で構成されている。
図31は第10の実施形態に係る食器洗い機の動作フローを表している。
図31において、制御部221は、食器洗い機201が動作を開始すると、ドア204が開状態となり、その後、下段かご207が引き出され、使用者によって下段かご207に食器が収納され、食器が収納された下段かご207の収容のための移動が開始されるまでの動作は第8の実施形態と同一であるため、その説明を省略する。
制御部221は、下段かご207の洗浄槽203への移動が開始されると、ステップS504において、ドア204の内面上に設けられた背景となる認識用マーク220を含め、下段かご207の撮影を開始する。撮影した画像に下段かご207の後方(奥行方向)への移動時間tと、該時間tと対応する位置情報xとを関連付けることにより、撮影された各画像イメージにおける下段かご207上の位置を判定する。この撮影ステップS504は、下段かご207が洗浄槽203の所定の洗浄位置に収容されるまで行う。
次のステップS505において下段かご207が洗浄位置(運転位置)に収容されると、ステップS506に進む。ステップS506においては、撮影した画像の枚数、及び撮影の状態が所定の条件を満たしているか否かを判断し、該条件を満たしている場合には、次のステップS507に進む。ステップS507においては、撮影したそれぞれの画像の検知領域において認識マーク220が判別できない部分に食器があると判定する。このとき、制御部221は、下段かご207の全体に亘って、食器の配置領域に加え、食器の量、形状(載置された向き)、及び種類(素材)を判定する。
次に、ステップS509において、撮影した認識用マーク220の配列に不規則な領域が存在するか否かを判定する。すなわち、認識用マーク220が物に完全に隠れているのではなく、認識用マーク220に歪んだパターンが存在するか否かを判定する。認識用マーク220の配列に不規則な領域が存在する場合には、次のステップS510において、認識用マーク220の配列に不規則な領域があると判定した領域に対しても食器があると判定する。さらに、下段かご207の全体に亘って、載置された食器の配置領域、量、形状(載置された向き)、及び種類(素材)を再度判定する。これらの判定結果に基づいて、制御部221は、固定ノズル212を制御して洗浄範囲を必要な領域に変更して運転時間を調整する。
一方、認識用マーク220の配列に不規則な領域が存在しない場合には、ステップS507で設定した内容によって、洗浄等のステップS511に進む。
また、ステップS506において、撮影した画像の枚数及び撮影の状態が所定の条件を満たしていない場合には、次のステップS508に進む。このステップS508において、検知対象である下段かご207の全体で、食器の有無、すなわち食器の配置位置を精度良く判定するだけの画像が不足しており、従って、判定条件を変更して検知を行う。例えば、画像が不足している領域には食器が載置されていると判断して、これ以降は、所定の運転制御を行う。
すなわち、ステップS507,S508又はS510において設定されたいずれかの運転条件に従って、次のステップS511において、洗浄運転、すすぎ運転及び乾燥運転を順次行って、運転を終了する。
−効果−
第10の実施形態によると、第8の実施形態と同等の効果を得られる上に、下段かご207の背景の一部に、規則的な配列を持つ認識用マーク220を設け、該下段かご207及び認識用マーク220を撮影し、撮影した画像において認識用マーク220の配列に不規則な領域の有無を判別する。このとき、認識用マーク220の配列に不規則な領域が含まれる場合には、該不規則な領域に食器が存在すると判定する。
これにより、下段かご207にガラス製の食器、例えばガラスコップ等の透明で光を透過する素材の食器が載置された場合には、撮影した画像において光の屈折による影響で透明な食器の背景である認識用マーク220の配列が不規則となる。このような不規則な配列を検知することにより、下段かご207に載置された食器が光を透過する素材であっても、その食器の配置位置、量、形状、及び種類(素材)を精度良く検知することができる。
なお、画像撮影手段であるカメラ219は、可視光に限定されず、赤外線カメラであってもよい。
また、第10の実施形態の一変形例として、単位面積当たりに検知された認識用マーク220の個数に応じて、検知した領域上で少なくとも食器の有無を検出してもよい。これにより、食器がガラス等の光を透過する透明な素材であっても、ガラス等の透明な素材の食器を単位面積ごとに検知できるので、ガラス食器の検知精度を上げることができる。また、単位面積ごとに検知すると、情報処理量の1回当たりの処理量を減らすことができるので、搭載するMPU又はCPUには最低限の能力があればよく、製造コストを削減することができる。
なお、上述した各実施形態及び各変形例において、上段かご205についても、洗浄手段が上段かご205の食器載置領域に対して選択的に水流を噴射できる構成を有していれば、下段かご207だけでなく、上段かご205においても、本発明を適用することができる。
さらに、上述した第1〜第7の実施形態においても、洗浄手段が上段かごの食器載置領域に対して選択的に水流を噴射できる構成を有していれば、下段かごだけでなく、上段かごにおいても、本発明を適用することができる。
また、第10の実施形態においても、食器収納かご(下段かご207)の位置の検出方法として、第1及び第2の実施形態で説明した目印となる特徴点(識別パターン207a)を食器収納かごに設けない場合の変形例である、第1〜第7の各変形例を適用することができる。
本発明は、移動可能な収納手段、及び当該収納手段に収納された収納物を撮影し、撮影した撮影画像に基づいて、収納手段における収納物の位置、大きさ、及び数量の少なくとも1つを含む収納情報を得る収納物検出装置及び収納物検出方法として有用である。また、食器収納かごに載置された食器の少なくとも載置領域を判定できる食器洗い機として有用である。
1 かご位置推定装置
3 カメラ(可視光撮影手段)
5 特徴点検出部
7 位置推定部
103 洗浄槽(格納手段)
103a 開口部
104 ドア
104b 認識用マーク
107 下段かご(収納手段)
119 可視光カメラ(撮影手段)
121 マイクロコンピュータ(制御手段)
123 収納物検出装置
127 収納庫本体(格納手段)
127a 開口部
129 ドア(目印、収納手段)
131 回転トレイ(収納手段)
150 識別パターン
P1 撮影画像
P2 検出画像
PA 識別パターン(目印)
201 食器洗い機
203 洗浄槽
205 食器収納上段かご(上段かご)
207 食器収納下段かご(下段かご)
207a 識別パターン
210 固定ノズル(洗浄手段)
212 スライド部材(洗浄手段)
219 カメラ(検知手段/撮像手段)
220 認識用マーク
221 制御部(制御手段)
241 第1検知領域
242 第2検知領域

Claims (36)

  1. 可視光撮影手段と、
    前記可視光撮影手段により撮影された映像から少なくとも1つの特徴点を検出する特徴点検出部と、
    前記特徴点検出部により検出された特徴点の前記映像内における位置に基づいて、食器洗い機のかごの位置を推定する位置推定部とを備えることを特徴とするかご位置推定装置。
  2. 請求項1に記載のかご位置推定装置において、
    前記特徴点検出部により検出される特徴点は、1つであることを特徴とするかご位置推定装置。
  3. 請求項1に記載のかご位置推定装置において、
    前記特徴点検出部により検出される特徴点は、複数であることを特徴とするかご位置推定装置。
  4. 請求項1〜3のいずれか1項に記載のかご位置推定装置において、
    前記特徴点検出部により検出される特徴点は、かごに設けられた目印であることを特徴とするかご位置推定装置。
  5. 請求項4に記載のかご位置推定装置において、
    前記目印は、取っ手であることを特徴とするかご位置推定装置。
  6. 請求項5に記載のかご位置推定装置において、
    前記特徴点検出部は、予め設定された取っ手の色に基づいて、前記特徴点の検出を行うことを特徴とするかご位置推定装置。
  7. 請求項5に記載のかご位置推定装置において、
    前記特徴点検出部は、予め設定された取っ手の形状に基づいて、前記特徴点の検出を行うことを特徴とするかご位置推定装置。
  8. 請求項4に記載のかご位置推定装置において、
    前記目印は、かごを構成する線状の材料の交差箇所であることを特徴とするかご位置推定装置。
  9. 移動可能な収納手段、及び当該収納手段に収納された収納物を撮影する撮影手段と、
    前記撮影手段により撮影された撮影画像に基づいて、前記収納手段における前記収納物の位置、大きさ、及び数量の少なくとも1つを含む収納情報を得る制御手段とを備えた収納物検出装置であって、
    前記制御手段は、
    前記撮影画像から所定の目印を検出し、前記撮影画像における目印の位置に基づいて、当該撮影画像の少なくとも一部を構成する検出画像に写った箇所の前記収納手段における位置を特定する第1ステップと、
    前記検出画像における前記収納物の配置領域、及び前記検出画像について前記第1ステップで特定された位置に基づいて、前記収納情報を得る第2ステップとを実行する、収納物検出装置。
  10. 請求項9に記載の収納物検出装置において、
    前記検出画像は、前記撮影画像の一部を構成するものであり、
    前記制御手段は、前記収納手段の位置が異なる複数の撮影画像について、前記第1ステップを実行し、
    前記第2ステップにおいて、前記複数の撮影画像の検出画像における前記収納物の配置領域、及び各検出画像について第1ステップで特定された位置に基づいて、前記収納情報を得る、収納物検出装置。
  11. 請求項9又は10に記載の収納物検出装置において、
    前記制御手段は、前記第1ステップにおいて、予め設定された目印の外形、色、含む文字、及び含む図形の少なくとも1つに基づいて、前記目印の検出を行う、収納物検出装置。
  12. 請求項9〜11のいずれか1項に記載の収納物検出装置において、
    前記目印は、取っ手である、収納物検出装置。
  13. 請求項9〜12のいずれか1項に記載の収納物検出装置において、
    前記収納情報は、前記収納物の三次元情報を含み、
    前記制御手段は、
    前記第1ステップにおいて、前記撮影画像の異なる部分を構成する複数の検出画像に写った箇所の前記収納手段における位置を特定し、
    前記第2ステップにおいて、前記複数の検出画像における前記収納物の配置領域、及び前記複数の検出画像について第1ステップで特定された位置に基づいて、前記収納情報を得る、収納物検出装置。
  14. 請求項9〜13のいずれか1項に記載の収納物検出装置において、
    前記収納手段は、開口部を有する格納手段に前記開口部を介して引き出し可能に収容され、
    前記撮影手段は、前記収納手段の前記格納手段から引き出された部分を撮影するように前記格納手段の開口部の周縁部に配設され、
    前記検出画像は、前記撮影画像を引き出し方向に4分割したときに最も格納手段側に位置する部分に含まれる、収納物検出装置。
  15. 移動可能な収納手段、及び当該収納手段に収納された収納物を撮影し、
    撮影した撮影画像に基づいて、前記収納手段における前記収納物の位置、大きさ、及び数量の少なくとも1つを含む収納情報を得る収納物検出方法であって、
    前記撮影画像から所定の目印を検出し、前記撮影画像における目印の位置に基づいて、当該撮影画像の少なくとも一部を構成する検出画像に写った箇所の前記収納手段における位置を特定する第1ステップと、
    前記検出画像における前記収納物の配置領域、及び前記検出画像について前記第1ステップで特定された位置に基づいて、前記収納情報を得る第2ステップとを実行する、収納物検出方法。
  16. 食器を収容する洗浄槽と、
    前記洗浄槽に出し入れ可能に配置され、食器を収納する食器収納かごと、
    前記食器収納かごに載置された食器の少なくともその位置を検知する検知手段と、
    食器を洗浄する洗浄手段と、
    前記検知手段及び洗浄手段の動作を制御する制御手段とを備え、
    前記検知手段は、前記食器収納かごに向けて配置された撮像手段であり、
    前記制御手段は、前記食器収納かごにおける所定の像を結ばない領域に、食器が載置されていると判定する、食器洗い機。
  17. 請求項16に記載の食器洗い機において、
    前記洗浄槽の内部又は前記食器収納かごには、前記撮像手段が撮影する認識用マークが設けられており、
    前記撮像手段は、カメラ、エリアセンサ又はラインセンサであり、
    前記認識用マークの撮像状態により、前記食器収納かごに載置された食器の配置領域、食器の量、食器の形状及び食器の素材のうち、少なくとも食器の配置領域を検出する、食器洗い機。
  18. 請求項17に記載の食器洗い機において、
    前記認識用マークは、文字、記号、彩度、明度若しくはパターン、又はこれらの組み合わせにより構成されている、食器洗い機。
  19. 請求項17又は18に記載の食器洗い機において、
    前記認識用マークは、検知対象範囲の一部に設けられており、
    前記食器収納かごが前記洗浄槽の方向に移動する際に、前記認識用マーク及び食器収納かごを、時間又は位置情報と関連付けて複数枚撮影し、撮影した画像中の認識用マークの状態から、前記少なくとも食器の配置領域を検出する、食器洗い機。
  20. 請求項19に記載の食器洗い機において、
    撮影した画像の枚数及び画像の状態が所定の条件を満たさない場合に、検知の条件を変更して再度判定を行う、食器洗い機。
  21. 請求項19に記載の食器洗い機において、
    撮影した複数の画像における位置情報が重複する場合に、時間的に最新の画像を用いて前記少なくとも食器の配置領域を検出する、食器洗い機。
  22. 請求項17〜20のいずれか1項に記載の食器洗い機において、
    前記認識用マークは、規則的に配列されたパターンであり、
    撮影した画像中の認識用マークに不規則な領域が存在する場合に、前記不規則な領域に食器が配置されたと判定する、食器洗い機。
  23. 請求項17〜22のいずれか1項に記載の食器洗い機において、
    単位面積当たりに検知された前記認識用マークの個数に応じて、検知した領域上の少なくとも食器の有無を検出する、食器洗い機。
  24. 請求項17〜23のいずれか1項に記載の食器洗い機において、
    前記食器収納かごに定義した特定の部位に関して、前記認識用マークの検知の有無に拘わらず、あらかじめ定義した判定を行う、食器洗い機。
  25. 食器を収容する洗浄槽と、
    前記洗浄槽に出し入れ可能に配置され、食器を収納する食器収納かごと、
    前記食器収納かごに載置された食器の少なくともその位置及び特徴を検知する検知手段と、
    食器を洗浄する洗浄手段と、
    前記検知手段及び洗浄手段の動作を制御する制御手段とを備え、
    前記検知手段は、前記食器収納かごに向けて配置された発信手段と、該発信手段と前記食器収納かごを挟み且つ対向して配置された第1の受信手段、又は前記発信手段と並置された第2の受信手段とであり、
    前記制御手段は、前記発信手段からの信号を前記第1の受信手段又は前記第2の受信手段が所定の受信レベルで受信しない食器収納かごの領域に、食器が載置されていると判定する、食器洗い機。
  26. 請求項25に記載の食器洗い機において、
    前記発信手段は発光素子であり、前記第1の受信手段は受光素子である、食器洗い機。
  27. 請求項25に記載の食器洗い機において、
    前記発信手段及び第2の受信手段は、距離センサである、食器洗い機。
  28. 請求項16〜27のいずれか1項に記載の食器洗い機において、
    前記制御手段は、前記食器収納かごにおける食器があると判定された領域に対して選択的に洗浄を行うと共に、洗浄時間を調節する、食器洗い機。
  29. 請求項16に記載の食器洗い機において、
    前記撮像手段により撮影された映像から少なくとも1つの特徴点を検出する特徴点検出部と、
    前記特徴点検出部により検出された特徴点の前記映像内における位置に基づいて、前記食器収納かごの位置を推定する位置推定部とをさらに備えている、食器洗い機。
  30. 請求項29に記載の食器洗い機において、
    前記特徴点検出部により検出される特徴点は1つである、食器洗い機。
  31. 請求項29に記載の食器洗い機において、
    前記特徴点検出部により検出される特徴点は複数である、食器洗い機。
  32. 請求項29〜31のいずれか1項に記載の食器洗い機において、
    前記特徴点検出部により検出される特徴点は、前記食器収納かごに設けられた目印である、食器洗い機。
  33. 請求項32に記載の食器洗い機において、
    前記目印は取っ手である、食器洗い機。
  34. 請求項33に記載の食器洗い機において、
    前記特徴点検出部は、予め設定された取っ手の色に基づいて、前記特徴点の検出を行う、食器洗い機。
  35. 請求項33に記載の食器洗い機において、
    前記特徴点検出部は、予め設定された取っ手の形状に基づいて、前記特徴点の検出を行う、食器洗い機。
  36. 請求項32に記載の食器洗い機において、
    前記目印は、前記食器収納かごを構成する線状の材料の交差箇所である、食器洗い機。
JP2017145572A 2016-09-01 2017-07-27 かご位置推定装置、収納物検出装置及び収納物検出方法、並びに食器洗い機 Pending JP2018102899A (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
PCT/KR2017/009545 WO2018044094A1 (ko) 2016-09-01 2017-08-31 식기 세척기
US16/330,055 US11058280B2 (en) 2016-09-01 2017-08-31 Dishwasher
EP17847019.1A EP3485794B1 (en) 2016-09-01 2017-08-31 Dishwasher
KR1020187032967A KR102391425B1 (ko) 2016-09-01 2017-08-31 식기 세척기

Applications Claiming Priority (6)

Application Number Priority Date Filing Date Title
JP2016170910 2016-09-01
JP2016170910 2016-09-01
JP2016254139 2016-12-27
JP2016253750 2016-12-27
JP2016254139 2016-12-27
JP2016253750 2016-12-27

Publications (1)

Publication Number Publication Date
JP2018102899A true JP2018102899A (ja) 2018-07-05

Family

ID=62784325

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2017145572A Pending JP2018102899A (ja) 2016-09-01 2017-07-27 かご位置推定装置、収納物検出装置及び収納物検出方法、並びに食器洗い機

Country Status (3)

Country Link
US (1) US11058280B2 (ja)
EP (1) EP3485794B1 (ja)
JP (1) JP2018102899A (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109528138A (zh) * 2018-12-18 2019-03-29 华帝股份有限公司 一种智能洗碗机

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020249282A1 (en) * 2019-06-14 2020-12-17 Arcelik Anonim Sirketi A dishwasher comprising an identifier
US11058281B2 (en) * 2019-06-20 2021-07-13 Midea Group Co., Ltd. Dishwasher including rack position sensor to control capture of rack images by a camera
DE102020202142A1 (de) * 2020-02-19 2021-08-19 BSH Hausgeräte GmbH System mit einer Geschirrspülmaschine und Verfahren zum Betreiben einer Geschirrspülmaschine
DE102020207578A1 (de) * 2020-06-18 2021-12-23 BSH Hausgeräte GmbH System mit einer Geschirrspülmaschine, Verfahren zum Betreiben einer Geschirrspülmaschine und Computerprogrammprodukt
US20220000331A1 (en) * 2020-07-06 2022-01-06 Kitchen Robotics Ltd Automated Cleaning of Cookware
DE102020211543A1 (de) 2020-09-15 2022-03-17 BSH Hausgeräte GmbH System mit einer Geschirrspülmaschine, Verfahren zum Betreiben einer Geschirrspülmaschine und Computerprogrammprodukt
KR20220039059A (ko) * 2020-09-21 2022-03-29 엘지전자 주식회사 식기 세척기 및 식기 세척기의 3차원 이미지 획득 방법
KR20220043611A (ko) * 2020-09-29 2022-04-05 엘지전자 주식회사 식기 세척기 및 식기 세척기의 카메라 고장 검출 방법
CN112741580B (zh) * 2021-01-11 2022-03-25 佛山市顺德区美的洗涤电器制造有限公司 用于确定洗涤剂用量的方法、洗碗机、处理器及存储介质

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6463940B1 (en) 2000-04-13 2002-10-15 Ecolab Inc. Smart rack and machine system
DE10048088A1 (de) 2000-09-28 2002-04-11 Miele & Cie Verfahren zur Erkennung der Beladung einer programmgesteuerten Geschirrspülmaschine mit Spülgut und Geschirrspülmaschine zur Durchführung des Verfahrens
DE10048081A1 (de) 2000-09-28 2002-04-18 Miele & Cie Verfahren zur Erkennung der Spülgutbeladung und/oder des Verschmutzungsgrades von Spülgut in einer programmgesteuerten Geschirrspülmaschine und Geschirrspülmaschine dafür
JP2003235781A (ja) * 2002-02-19 2003-08-26 Matsushita Electric Ind Co Ltd 食器洗い乾燥機
DE102004035847A1 (de) 2004-07-23 2006-03-23 BSH Bosch und Siemens Hausgeräte GmbH Verfahren zur Erkennung der Spülgutbeladung und Geschirrspülmaschine
KR101071831B1 (ko) 2004-12-30 2011-10-11 엘지전자 주식회사 식기세척기의 유아 출입 방지장치
US8528230B2 (en) * 2009-02-19 2013-09-10 Whirlpool Corporation Laundry treating appliance with bulky item detection
US8696827B2 (en) 2010-12-01 2014-04-15 Whirlpool Corporation Dishwasher with imaging device for measuring load characteristics and a method for controlling same
KR102083802B1 (ko) 2013-12-31 2020-03-03 삼성전자주식회사 식기 세척기 및 그 제어 방법

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109528138A (zh) * 2018-12-18 2019-03-29 华帝股份有限公司 一种智能洗碗机

Also Published As

Publication number Publication date
EP3485794B1 (en) 2023-10-04
EP3485794A4 (en) 2019-08-07
EP3485794A1 (en) 2019-05-22
US11058280B2 (en) 2021-07-13
US20190200841A1 (en) 2019-07-04

Similar Documents

Publication Publication Date Title
KR102391425B1 (ko) 식기 세척기
JP2018102899A (ja) かご位置推定装置、収納物検出装置及び収納物検出方法、並びに食器洗い機
ES2805458T3 (es) Método para evaluar automáticamente el desplazamiento de un objeto en un área de lavado de una máquina lavavajillas
US8696827B2 (en) Dishwasher with imaging device for measuring load characteristics and a method for controlling same
JP5161221B2 (ja) 家畜の自動搾乳装置
US11259681B2 (en) Dishwasher with image-based diagnostics
US10809685B2 (en) Dishwasher with cloud connected cameras
CN109363587A (zh) 清洁机器人及其喷洒组件
TWI386871B (zh) 用以控制在一諸如一咖啡機的一飲料自動販賣機中填注一杯子的裝置及方法
CN109381124A (zh) 运行自动前进的地面处理设备的方法
DE10048081A1 (de) Verfahren zur Erkennung der Spülgutbeladung und/oder des Verschmutzungsgrades von Spülgut in einer programmgesteuerten Geschirrspülmaschine und Geschirrspülmaschine dafür
CN104739343B (zh) 洗碗机及其控制方法
US20210093155A1 (en) Dishwasher with image-based fluid condition sensing
CN105899114B (zh) 洗碗机及其控制方法
US11464389B2 (en) Dishwasher with image-based detergent sensing
US11185209B2 (en) Dishwasher steam generator
DE102014114652A1 (de) Haushaltsgerät und Verfahren zum Öffnen von diesem
DE102004035847A1 (de) Verfahren zur Erkennung der Spülgutbeladung und Geschirrspülmaschine
CN106324609B (zh) 激光测距传感器lds、机器人及距离测量方法
US11497378B2 (en) Dish washing machine and method of controlling the same
KR101274147B1 (ko) 당구대 자동청소장치 및 그 방법
KR20180022205A (ko) 로봇 청소기
ES2924888T3 (es) Lavavajillas con detección de carga
CN112325982A (zh) 基于tof的液位检测方法、自动注液方法及液体饮用机
JP2008206909A (ja) 食器洗い機