CN113688964A - 具有自动对象识别的配件和用于借助于自动对象识别来控制配件的方法 - Google Patents
具有自动对象识别的配件和用于借助于自动对象识别来控制配件的方法 Download PDFInfo
- Publication number
- CN113688964A CN113688964A CN202110534625.6A CN202110534625A CN113688964A CN 113688964 A CN113688964 A CN 113688964A CN 202110534625 A CN202110534625 A CN 202110534625A CN 113688964 A CN113688964 A CN 113688964A
- Authority
- CN
- China
- Prior art keywords
- accessory
- fluid
- fitting
- object recognition
- imaging sensor
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 29
- 238000003384 imaging method Methods 0.000 claims abstract description 44
- 230000009471 action Effects 0.000 claims abstract description 31
- 239000012530 fluid Substances 0.000 claims description 37
- 238000012545 processing Methods 0.000 claims description 29
- 238000004140 cleaning Methods 0.000 claims description 23
- 238000013528 artificial neural network Methods 0.000 claims description 18
- 230000033001 locomotion Effects 0.000 claims description 13
- 239000000344 soap Substances 0.000 claims description 8
- 230000001960 triggered effect Effects 0.000 claims description 8
- 238000011109 contamination Methods 0.000 claims description 6
- 239000011521 glass Substances 0.000 claims description 6
- 229910000831 Steel Inorganic materials 0.000 claims description 5
- 239000010959 steel Substances 0.000 claims description 5
- 210000002268 wool Anatomy 0.000 claims description 5
- 238000004891 communication Methods 0.000 claims description 4
- 239000000645 desinfectant Substances 0.000 claims description 4
- 239000004744 fabric Substances 0.000 claims description 4
- 239000006210 lotion Substances 0.000 claims description 4
- 238000005406 washing Methods 0.000 claims description 4
- 210000004209 hair Anatomy 0.000 claims description 3
- 238000005286 illumination Methods 0.000 claims description 3
- 238000001931 thermography Methods 0.000 claims description 2
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 39
- 239000007788 liquid Substances 0.000 description 20
- 238000012549 training Methods 0.000 description 8
- 230000008901 benefit Effects 0.000 description 4
- 235000013361 beverage Nutrition 0.000 description 3
- 238000009835 boiling Methods 0.000 description 3
- 230000001276 controlling effect Effects 0.000 description 3
- 238000001514 detection method Methods 0.000 description 3
- 239000007789 gas Substances 0.000 description 3
- 230000001105 regulatory effect Effects 0.000 description 3
- 238000010411 cooking Methods 0.000 description 2
- 238000006073 displacement reaction Methods 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 230000001537 neural effect Effects 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 238000001454 recorded image Methods 0.000 description 2
- LFQSCWFLJHTTHZ-UHFFFAOYSA-N Ethanol Chemical compound CCO LFQSCWFLJHTTHZ-UHFFFAOYSA-N 0.000 description 1
- CBENFWSGALASAD-UHFFFAOYSA-N Ozone Chemical compound [O-][O+]=O CBENFWSGALASAD-UHFFFAOYSA-N 0.000 description 1
- 241001122767 Theaceae Species 0.000 description 1
- 230000002730 additional effect Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 239000000919 ceramic Substances 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 239000006071 cream Substances 0.000 description 1
- 230000003247 decreasing effect Effects 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 239000003599 detergent Substances 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 230000001771 impaired effect Effects 0.000 description 1
- 238000009434 installation Methods 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 239000006072 paste Substances 0.000 description 1
- 239000000843 powder Substances 0.000 description 1
- 230000008569 process Effects 0.000 description 1
- 230000005180 public health Effects 0.000 description 1
- 239000008213 purified water Substances 0.000 description 1
- 230000002787 reinforcement Effects 0.000 description 1
- 239000004576 sand Substances 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 235000014347 soups Nutrition 0.000 description 1
- 239000011345 viscous material Substances 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06K—GRAPHICAL DATA READING; PRESENTATION OF DATA; RECORD CARRIERS; HANDLING RECORD CARRIERS
- G06K17/00—Methods or arrangements for effecting co-operative working between equipments covered by two or more of main groups G06K1/00 - G06K15/00, e.g. automatic card files incorporating conveying and reading operations
-
- E—FIXED CONSTRUCTIONS
- E03—WATER SUPPLY; SEWERAGE
- E03C—DOMESTIC PLUMBING INSTALLATIONS FOR FRESH WATER OR WASTE WATER; SINKS
- E03C1/00—Domestic plumbing installations for fresh water or waste water; Sinks
- E03C1/02—Plumbing installations for fresh water
- E03C1/04—Water-basin installations specially adapted to wash-basins or baths
- E03C1/0408—Water installations especially for showers
-
- E—FIXED CONSTRUCTIONS
- E03—WATER SUPPLY; SEWERAGE
- E03C—DOMESTIC PLUMBING INSTALLATIONS FOR FRESH WATER OR WASTE WATER; SINKS
- E03C1/00—Domestic plumbing installations for fresh water or waste water; Sinks
- E03C1/02—Plumbing installations for fresh water
- E03C1/05—Arrangements of devices on wash-basins, baths, sinks, or the like for remote control of taps
- E03C1/055—Electrical control devices, e.g. with push buttons, control panels or the like
- E03C1/057—Electrical control devices, e.g. with push buttons, control panels or the like touchless, i.e. using sensors
-
- E—FIXED CONSTRUCTIONS
- E03—WATER SUPPLY; SEWERAGE
- E03D—WATER-CLOSETS OR URINALS WITH FLUSHING DEVICES; FLUSHING VALVES THEREFOR
- E03D5/00—Special constructions of flushing devices, e.g. closed flushing system
- E03D5/10—Special constructions of flushing devices, e.g. closed flushing system operated electrically, e.g. by a photo-cell; also combined with devices for opening or closing shutters in the bowl outlet and/or with devices for raising/or lowering seat and cover and/or for swiveling the bowl
- E03D5/105—Special constructions of flushing devices, e.g. closed flushing system operated electrically, e.g. by a photo-cell; also combined with devices for opening or closing shutters in the bowl outlet and/or with devices for raising/or lowering seat and cover and/or for swiveling the bowl touchless, e.g. using sensors
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
-
- A—HUMAN NECESSITIES
- A47—FURNITURE; DOMESTIC ARTICLES OR APPLIANCES; COFFEE MILLS; SPICE MILLS; SUCTION CLEANERS IN GENERAL
- A47K—SANITARY EQUIPMENT NOT OTHERWISE PROVIDED FOR; TOILET ACCESSORIES
- A47K5/00—Holders or dispensers for soap, toothpaste, or the like
- A47K5/06—Dispensers for soap
- A47K5/12—Dispensers for soap for liquid or pasty soap
- A47K2005/1218—Table mounted; Dispensers integrated with the mixing tap
-
- A—HUMAN NECESSITIES
- A47—FURNITURE; DOMESTIC ARTICLES OR APPLIANCES; COFFEE MILLS; SPICE MILLS; SUCTION CLEANERS IN GENERAL
- A47K—SANITARY EQUIPMENT NOT OTHERWISE PROVIDED FOR; TOILET ACCESSORIES
- A47K5/00—Holders or dispensers for soap, toothpaste, or the like
- A47K5/06—Dispensers for soap
- A47K5/12—Dispensers for soap for liquid or pasty soap
- A47K5/1217—Electrical control means for the dispensing mechanism
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10016—Video; Image sequence
- G06T2207/10021—Stereoscopic video; Stereoscopic image sequence
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
Landscapes
- Engineering & Computer Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- Theoretical Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Physics & Mathematics (AREA)
- Water Supply & Treatment (AREA)
- Public Health (AREA)
- Hydrology & Water Resources (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Computer Vision & Pattern Recognition (AREA)
- General Engineering & Computer Science (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Biology (AREA)
- Bioinformatics & Computational Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Computational Linguistics (AREA)
- Biophysics (AREA)
- Biomedical Technology (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Aviation & Aerospace Engineering (AREA)
- Domestic Plumbing Installations (AREA)
Abstract
本发明涉及用于卫生设备的配件(1)，尤其是出口配件。该配件(1)包括控制单元(3)和可由控制单元(3)控制的卫生元件(4)。另外，该配件(1)具有至少一个成像传感器(5)。控制单元(3)被适配成取决于基于来自至少一个成像传感器(5)的至少一个输出信号的对象识别来触发卫生元件(4)的动作。此外，本发明涉及具有根据本发明的配件的配件布置以及用于控制根据本发明的配件的方法。
Description
技术领域
本发明涉及用于卫生设备的配件(尤其是出口配件)、具有根据本发明的配件的配件布置、以及用于控制根据本发明的配件的方法。
背景技术
在卫生工程中，用于改变和控制材料流动(例如，流体，即液体或气体)的组件被称为配件。它们尤其被用于管道和锅炉。取决于应用，所谓的出口配件在家庭中也被称为水龙头、淋浴莲蓬头或浴缸进口配件。热水和冷水出口组合阀通常称为混合龙头。例如，取决于它们在哪里使用，配件更具体地被称为厨房水龙头或浴室水龙头。配件通常包括操作单元和/或控制单元以及由控制单元控制的卫生元件，诸如带有用于调节流体流量的阀的管道。
众所周知，借助于电子控制单元来操作卫生系统。相应用户能够在不接触的情况下触发预定功能是合需的。红外传感器或电容传感器通常被用于此目的，它们对用户迫近传感器作出反应。然而，最近，语音控制的水龙头也已经可用，可以使用语音助手(诸如，Amazon、Alexa、Apple Siri或Google Assistant)通过语音命令进行控制。这意味着用户总是空出两手，并且不必触摸任何控件，这具有实用和卫生的优点。然而，在嘈杂的环境中(诸如公共卫生间)，语音识别经常受损，从而使得语音控制不可靠。在非常不同的应用中使用配件时，还需要改进自动支撑。特别地，如果配件能够自动识别并触发或执行用户所期望的各种不同动作，则这将是合需的。
发明内容
因此，本发明的目的是提供一种用于卫生设备的配件，该配件自动协助用户使用该配件，使得该配件能够被控制，特别是在不接触的情况下。此外，这种配件应该能够被用于许多不同的应用领域。根据本发明，该目的通过权利要求1中定义的配件来解决。
本发明的另一目的是公开了一种包括卫生设备和配件的配件布置。权利要求13公开了这种配件布置。
本发明的另一目的是提出一种方法，该方法自动地协助用户使用配件，使得该配件能够被控制，特别是在不接触的情况下。根据本发明，该目的通过权利要求15中提出的方法来解决。
从属权利要求中给出了根据本发明的具体实施例变型。
根据本发明的用于卫生设备的配件包括控制单元和可用控制单元控制的卫生元件。另外，该配件具有至少一个成像传感器。控制单元被适配成取决于基于来自至少一个成像传感器的至少一个输出信号的对象识别来触发卫生元件的动作。成像传感器被用于检测配件的空间区域(例如配件的出口区域)中的场景。
例如，配件可以是水龙头、淋浴器或浴缸入口配件，但也可以是肥皂、洗液或消毒液施予器的一部分(例如嘴)、或烘手机或吹风机的一部分(例如喷气嘴)。
在配件的一个实施例变型中，至少一个成像传感器是2D或3D/立体(光学)相机(用于可见光范围)、热成像相机(用于红外/IR光范围)、超声波传感器、雷达传感器或激光测距传感器，尤其是激光雷达(＝光探测和测距)或ToF(＝飞行时间)传感器或激光扫描仪，或所述传感器类型的组合。如果仅使用一个传感器(元件)来检测配件的空间区域中的场景，则其特别被适配成连续(和周期性地)扫描(即，空间扫描)空间区域，例如，通过改变其中随时间拾取传感器信号的方向，从而捕获空间区域的二维(或三维)图像(由多个像素或体素组成)。例如，2D光学相机和ToF传感器(其可以定向在不同的空间方向上)的组合也可被用于额外的距离测量。特别地，多个ToF传感器也可被用于同时确定不同方向上的多个距离。
在另一实施例变型中，该配件额外包括用于照明对象的照明单元，其中该照明单元尤其包括一个或多个LED(发光二极管)或者激光二极管或者紫外/UV或红外/IR光源。
在另一实施例变型中，配件额外包括图像处理单元以执行对象识别。图像处理单元可以包括例如微处理器/控制器(MPU/MCU)或信号处理器(DSP)，其中这些是可编程的。替换地(或另外地)，图像处理单元可以包括因应用而异的硬件，诸如ASIC或FGPA(现场可编程门阵列)。图像处理单元也可被实现为控制单元的一部分。图像处理单元和/或控制单元通常可被称为配件的(诸)处理器。
在另一实施例变型中，该配件额外包括用于将来自至少一个成像传感器的至少一个输出信号发送给远程图像处理单元(例如，服务器，尤其在云中)以用于对象识别和用于接收对象识别的结果的通信单元。
在配件的另一实施例变型中，图像处理单元被适配成借助于神经网/网络，特别是借助于在配件(例如由制造商)投产之前训练的神经网/网络来执行对象识别。
在配件的另一实施例变型中，神经网/网络是自学习神经网/网络，其中尤其可以执行所谓的“增强学习”。在这种情况下，用户向控制单元或图像处理单元或执行对象识别的单元提供反馈，用反馈来指示由控制单元触发的动作是否正确。来自用户的反馈可以由成像传感器拾取，例如，如果触发的动作不正确，则用户用他的手短时间盖住成像传感器。
在另一实施例变型中，该配件额外包括麦克风，用户可以使用该麦克风，特别是向控制单元提供反馈，其中控制单元被适配成，特别是基于来自麦克风的输出信号来检测拍手和/或口哨噪声。
在配件的另一实施例变型中，图像处理单元被适配成作为对象识别的一部分来执行对象分类，以便向对象指派来自多个预定义类的特定类。在此上下文中，每个对象类包含特定类型的对象。
在配件的另一实施例变型中，对象分类可被用于识别不同类别的厨房用具，诸如盘子、玻璃器、杯子、餐具、炊具、平底锅等，或者配件或清洁用具(诸如，清洁刷、清洁海绵、钢棉或清洁布)的用户的肢体，诸如手(包括各个体手指)、手臂、脚或腿。
在配件的另一实施例变型中，图像处理单元被适配成确定对象的至少一个属性，诸如透明度、颜色、大小或污染程度。
在配件的另一实施例变型中，图像处理单元被适配成确定对象的位置，(特别是相对于参考位置)和/或移动。
在配件的另一实施例变型中，控制单元被适配成取决于对象分类和/或对象的属性和/或对象的位置和/或对象的移动来触发卫生元件的特定动作。
在配件的另一实施例变型中，可以触发以下动作中的一个或多个：
-选择卫生元件的预设，并执行根据该预设定义的卫生元件的行为；
-施予指定量的流体；
-每单位时间施予指定量的流体；
-以待施予流体的预设最大、最小或优选温度来施予流体；
-施予来自多个(即，两个或更多个)不同流体中的指定流体，具体地取决于对象(诸如用户的手)的位置；
-打开和/或关闭流体的递送。
流体被理解为气体(例如，空气或臭氧)、液体(例如，水或消毒剂)和/或气体/液体混合物(起泡水)。代替流体，配件可被适配成施予细粒固体(诸如粉末或沙子)。然而，在本发明的上下文中，流体还可以包括粘性物质，诸如肥皂、洗液、乳霜和糊状物。
根据本发明的另一方面，配件布置包括卫生设备和根据上面列出的实施例之一的配件，其中(至少一个)成像传感器按以下方式被布置：使得配件的入口区域(特别是用于施予流体)和/或出口区域(特别是用于带走施予的流体)可由(至少一个)成像传感器检测到。
在固定装置布置的一个实施例变型中，卫生设备是水槽或洗衣盆、坐浴盆、淋浴器、浴缸、肥皂施予器、洗液施予器、消毒剂施予器、烘手机、吹风机、马桶、淋浴马桶、小便器或洗涤设施。
根据本发明的另一方面，一种根据上述任一实施例的用于触发配件的卫生元件的动作的方法包括以下步骤：
-在具有至少一个成像传感器的卫生元件处，特别是在配件的入口区域和/或出口区域处检测场景，其中借助于作为至少一个成像传感器的输出的一个或多个图像来检测场景，其中特别是在多个图像的情况下，以时间交错的方式来记录这些图像，例如作为电影或视频，或(同时)从不同的视角记录；
-执行对象识别以识别至少一个对象，诸如固定装置、厨房用具或清洁用具的用户的手；以及
-取决于对象识别来触发卫生元件的动作。
在该方法的一个实施例变型中，借助于照明单元，特别是一个或多个LED或者激光二极管或者UV或IR光源来照明场景。
在该方法的另一实施例变型中，由至少一个成像传感器记录的场景作为至少一个成像传感器的输出被发送到远程图像处理单元，例如服务器，特别是在云中(即，例如，通过因特网提供的IT基础设施)，用于对象识别，以及由远程图像处理单元接收对象识别的结果。
在该方法的另一实施例变型中，借助于神经网/网络，特别是借助于在配件投入操作之前(例如由制造商)训练的神经网/网络来执行对象识别。
在该方法的另一实施例中，作为对象识别过程的一部分来执行对象分类以向对象指派来自多个预定义类的特定类。
在该方法的另一实施例变型中，不同类别的厨房用具，诸如盘子、玻璃器、杯子、餐具、炊具、平底锅等，或肢体，诸如配件或清洁用具(诸如清洁刷、清洁海绵、钢棉或清洁布)的用户的手(包括各个体手指)、手臂、脚和腿，都是借助于对象分类来识别的。
在该方法的另一实施例变型中，确定对象的至少一个属性，诸如透明度、颜色、大小或污染程度。
在该方法的另一实施例变型中，确定对象的位置(特别是相对于参考位置)和/或移动。
在该方法的另一实施例变型中，取决于对象分类和/或对象的属性和/或对象的位置和/或对象的移动来触发卫生元件的特定动作。
在该方法的另一实施例变型中，该动作包括以下中的至少一者：
-选择卫生元件的预设，并执行根据该预设定义的卫生元件的行为；
-施予指定量的流体；
-每单位时间施予指定量的流体；
-以待施予流体的预设最大、最小或优选温度来施予流体；
-施予来自多个(即，两个或更多个)不同流体中的特定流体，具体取决于对象(诸如用户的手)的位置；
-打开和/或关闭流体的递送。
在该方法的另一实施例变型中，该方法额外包括以下步骤中的至少一者：
-使用该(至少一个)成像传感器或(独立于配件的)分开的相机(例如智能手机的相机)捕获新的(即先前未知的)对象的图像(或电影或视频)；
-将训练数据(例如新的(即先前未知的)对象的先前记录的图像(或电影或视频))传送给(远程)服务器，可任选地带有关于训练数据被指派的(对象)类别的指示；
-处理训练数据以创建经训练的神经网/网络，例如，以TensorFlow Lite模型的形式；
-将经训练的神经网/网络(例如，以TensorFlow Lite模型的形式)从(远程)服务器传送到配件；
-向指定对象(或关于该对象的手势)指派控制单元的指定动作，特别是由用户，例如通过智能手机上的web app或移动app(用于移动设备的应用软件)。
应注意，上述实施例变型的组合是可能的，这进而导致本发明的更具体实施例。
附图说明
下面参考附图进一步详细说明本发明的非限制性示例性实施例，其中：
图1示出了根据本发明的用于卫生设备的配件的第一示例性实施例的示意表示；
图2a)示出了根据本发明的用于卫生设备的配件(诸如洗脸盆或水槽)的第二示例性实施例的侧视图中的表示；
b)示出了第二示例性实施例的底视图中的表示；
图3示出了根据本发明的用于卫生设备，诸如浴室或公共卫生间中的洗脸盆的配件的第三示例性实施例的示意表示；
图4示出了根据本发明的用于卫生设备，诸如浴室或公共卫生间中的洗脸盆的配件的第四示例性实施例的示意表示；
图5示出了解说用于洗手的用例的第二示例性实施例的表示；
图6示出了解说用于洗涤脏餐具的用例的第二示例性实施例的表示；
图7示出了解说用于向茶杯充热水的用例的第二示例性实施例的表示；
图8示出了解说用于向测量杯充冷水的用例的第二示例性实施例的表示；
图9示出了根据本发明的用于卫生设备，诸如浴室或公共淋浴间中的淋浴的配件的第五示例性实施例的示意表示；以及
图10示出了根据本发明的用于具有针对两种不同液体的两个出口的卫生设备的配件的第六示例性实施例的示意表示。
在附图中，相同的参考符号指代相同的元素。
具体实施方式
为了解释本发明的基本原理，图1以示意图的形式示出了根据本发明的用于卫生设备的配件1，诸如用于浴室的洗脸盆或用于厨房的水槽的第一简单示例性实施例。在本情形中，配件1例如是嘴配件(也称为水龙头)。配件1包括卫生元件4，其形式为带有一个针对液体11(例如水)的出口17的管道。从出口17流出的液体11的流速由阀(图1中未示出)调节。该阀进而由控制单元3调整。通常，阀由必须由用户操作的手动控制元件控制。替换地，阀自动触发，例如借助于接近传感器，诸如红外/IR传感器。根据本发明，现在使用诸如相机之类的成像传感器5经由控制单元3来触发阀。为此目的，分析成像传感器5的输出信号，例如一个(或多个)2D图像或者电影或视频(即图像的时间序列)，并执行对象识别，例如以检测出口17下的手7的存在。取决于对象识别的结果，经由控制单元3打开阀以允许用户洗手7。一旦用户从由成像传感器5检测和监视的入口区域13离开手7，对象识别系统就检测到这一点，并且再次经由控制单元3关闭阀，使得不再有液体11从出口17逸出。
对象识别的优点是，现在可以取决于检测到的对象及其运动来执行不同的操作。例如，可以由成像传感器5取决于对象7(例如，手)的距离来控制水的流速，例如，手离相机5越远，每单位时间施予的水越多。另外，例如，在混合龙头的情况下，即，组合的热水和冷水出口阀，可以取决于对象7的移动来调节水温，例如，手7向右移动/移位导致更冷的水，而手7向左移动/移位导致更暖的水。
图2示出了根据本发明的用于卫生设备的配件1(诸如洗脸盆或水槽)的第二示例性实施例的a)侧视图和b)底视图。如在根据图1的示例中，这里成像传感器5(例如相机)也被布置在卫生元件4的出口17附近(在图2中在出口17的上方，在图1中在出口17的下方)的出口管上，使得入口区域13可以被成像传感器5(例如相机)完全覆盖。
图3示出了根据本发明的用于卫生设备的配件1(诸如浴室中的洗脸盆2)的第三示例性实施例的示意表示。由成像传感器5(例如相机)记录的信号(例如图像、电影或视频)被传送给图像处理单元8以用于对象识别。图像处理单元8可以直接位于成像传感器5处(例如，在公共电子模块中)，或者它可以是位于例如远离出口管的单独单元。成像传感器5(例如相机)和图像处理单元8之间的信号/数据传输可以经由电缆或无线(在图3中示为“无线电闪光”)。例如，图像处理单元8可以位于控制单元3处(例如，在公共电子模块中，或者两者都由公共处理器实现)。然而，替换地，也可以例如在诸如云服务器10之类的远程服务器中执行对象识别。那里的连接可以部分是无线的(例如经由IR、蓝牙、WLAN、移动无线电)，也可以是有线的(例如经由控制器局域网(CAN)总线、以太网)，特别是经由互联网。为了实现成像传感器5(例如相机)的无线连接，配件1额外包括无线通信单元9(发射器/接收器、收发器)。
图3示出了根据本发明的用于卫生设备的配件1(诸如浴室中的洗脸盆2)的第四示例性实施例的示意表示。与根据图3的第三示例性实施例相比，这里成像传感器5(例如相机)没有被布置在出口管4上，而是安装在墙上并且朝向入口区域13(以及出口区域14)的方向。另外，配件1包括布置在所述出口管4上的照明单元6。这用于照亮入口区域13(以及出口区域14)，使得成像传感器5能够记录具有尽可能高的对比度的图像，这有助于对象识别。由照明单元6发射的光被适配于成像传感器5的检测区域。然而，照明单元6还可以被用作用户的工作照明，以及例如用作显示器/指示器——例如，红光表示热水，而蓝光表示冷水，以及闪灯指示故障。
例如，作为对象识别的一部分，执行对象分类以向对象指派来自各种预定义类的特定类。每个对象类包括特定类型的对象，诸如厨房用具(例如盘子、玻璃器、杯子、餐具、炊具、平底锅等)或者配件或清洁用具(例如清洁刷、清洁海绵、钢棉或清洁布)的用户的肢体(例如，手、手指、手臂、脚或腿)。取决于检测到的对象，随后可以触发卫生元件的各种动作，即，为每个对象(或每种类型的对象)指派指定动作。
特别地，可以借助于神经网或网络来执行对象识别。在配件被投入操作之前(例如，由配件制造商)对神经网络进行了训练。这意味着神经网络的设置是在训练数据的帮助下来确定的。用于训练神经网络的训练数据包括成像传感器5的输出信号/数据以及对指定(已知)对象的指派(在机器学习领域中称为“数据标记”)。如上所述，神经网络的训练是离线进行的，并且通常使用功能强大的计算机(例如在云中)和专门的软件工具进行。在配件处的本地对象识别(例如，通过使用神经网络的“推断”)具有这样的优点，即所记录的图像不必被传送到外部服务器，这尤其对于数据保护原因以及保护隐私是优选的。可以想象，用户借助于成像传感器记录要被识别的新对象的训练数据，并将其传送给(自动)服务，该服务将用于神经网络的新设置(例如，以“TensorFlow Lite”模型的形式)或用于对象识别或分类的新固件发送回用户。
图5到8现在示出了如何借助于根据图2示出的实施例变型的配件来检测各种对象，其随后导致卫生元件的相应指派动作。
在图5中，用户把手7放在水龙头4下面。一旦相机5检测到入口区域13中的手7，水11就打开。当用户将手7从入口区域13移开时，水11再次关闭。手部动作(例如，某些手势)也可被用于触发各种附加动作，诸如设置水暖器/冷却器、增加/减少供水强度、打开/关闭淋浴。特别地，手势评估识别某些运动模式(方向/速度)。例如，打开(一个或两个)手(从握拳到伸出的手指)可以触发施予一部分肥皂或消毒剂的动作。
在图6中，用户把脏盘子7放在水龙头4下面。一旦相机5检测到入口区域13中的脏盘子7，温/热(或者冷)水11就打开。另外，洗碗机洗涤剂可被添加到水11中，特别是如果检测到盘子7(严重)污染，因为对象识别还允许确定对象的属性，诸如污染程度。同样，一旦用户从入口区域13移除(现在是干净的)盘子7，水11就被关闭。
在图7中，用户把茶杯7放在水龙头4下面。一旦相机5检测到入口区域13中的茶杯7，热/沸水11就打开。对象识别还使得确定对象的属性，诸如透明度、颜色和/或大小成为可能。一方面，这使得区分不同尺寸和颜色的杯子(例如由玻璃还是陶瓷制成)成为可能，以便也充入相应量的热/沸水。也可以通过将杯7从喷射水流拉出来中断充水。一旦配件1记录了喷射水流与杯子边缘之间的距离变化或该距离低于某个值，水11就会自动关闭。出于安全原因，一旦在入口区域13中检测到用户的手，就可以立即关闭沸水11(->紧急关闭安全功能)。
在图8中，用户把测量杯7放在水龙头4下面。一旦相机5检测到入口区域13中的测量杯7，冷水11就打开。另外，用户可以通过伸出手(例如伸出1到4个手指)来指示测量杯7应被填充多少水11(例如，四分之一满、半满、四分之三满或全满)。如果用户用双手将烹饪锅放在入口区域13的水龙头4下方，则它被充水11，直到烹饪锅再次从喷射水流拉出。
图9示出了根据本发明的配件1在淋浴2中的应用。一旦相机5识别出入口区域13中淋浴下面的人15，或者特别是他的头部或上半身7，水11就流出。人15可以例如通过手势来调整温度以及水射流的强度。还可能调整淋浴头的位置(例如，高于头部的高度)和/或朝向，如有必要，还可以跟踪他们。
与用于淋浴的应用的实施例类似，根据本发明的配件也可被用于安装在墙上的烘手机或吹风机，其中气流可被打开和关闭，并且温度和强度(以及方向)可取决于对象识别来调节。
图10示出了根据本发明的用于卫生设备的配件1的第六示例性实施例的示意表示。在根据图1的第一示例性实施例的扩展中，该变型具有用于两种不同液体11、11'的两个液体出口17、17'，其中第一液体11可以是例如水，而第二液体11'可以是例如肥皂或(酒精)手消毒剂。如果用户将手7保持在由成像传感器5检测和监视的入口区域13中在第一出口17下方的位置P1处，则这由对象识别系统检测，并且针对第一液体11的阀经由控制单元3被打开，使得水11流出例如以清洗手7。如果用户现在将入口区域13内的手7从位置P1移动到第二出口17′下方的位置P2，则图像处理单元检测到这一点，于是控制单元3立即关闭第一液体11的阀并短暂打开第二液体11′的阀，例如，以施予指定量的肥皂或消毒剂。第二液体11′也可以例如经由具有第二液体出口17′的第二管道来施予，第二液体出口17′例如相对于针对第一液体11的管道被布置成横向(并且朝向后部)偏移。因此，图像处理单元能够确定对象7(例如手)的位置P1和P2，并且控制单元3根据对象7(例如手)的相应位置P1、P2执行不同的动作。
如果要识别某个(新的、以前未知的)对象，则用户可以使用配件的相机(或另一相机，例如智能手机的相机)来拍摄相应的图像(或电影或视频)作为训练数据。如上所述，该数据可以被传送到服务器，然后服务器将适当训练的神经网络返回到配件(例如，以“TensorFlow Lite”模型的形式)。向某个对象(或关于该对象的手势)指派指定动作可以由用户自己完成或更改，例如借助于web app或其智能手机上的app。
可以设想根据本发明的配件的进一步应用领域，例如在饮料机或自动清洗系统中。取决于检测到的容器(大的、小的、透明的、某种颜色的)，在饮料自动售货机中施予不同的饮料，例如纯净水、起泡水、茶、咖啡、汤等。
提议的配件可被用于私营部门和公共卫生设施两者，尽管对于私营部门的应用，可能会有更高程度的个性化，以及更多种类的不同动作。然而，对于公共部门而言，所提议的配件还具有以下优势：安装人员、管道工或维修技术人员可以在不使用控制元件的情况下简单地通过使用内置成像传感器(例如相机)来配置系统，并且不需要特殊的配置/编程设备来这样做。
参考符号列表
1配件、出口配件、水龙头、淋浴入口配件
2卫生设备、水槽、淋浴 3控制单元，处理器
4卫生元件，带阀的(出口)管道 5成像传感器，(2D/3D)相机
6照明单元，显示器/指示器
7对象，手，盘子，厨具，头 8图像处理单元，处理器 9通信单元，发射器/接收器(收发器)
10(云)服务器
11,11'液体(水，消毒剂，肥皂)12配件布置
13入口区域
14出口区域
15用户
16阀
17,17'(液体)出口
P1，P2位置。
Claims (24)
1.一种用于卫生设备(2)的配件(1)，包括控制单元(3)和能用所述控制单元(3)控制的卫生元件(4)，其特征在于，所述配件(1)包括至少一个成像传感器(5)，其中所述控制单元(3)被适配成取决于基于来自所述至少一个成像传感器(5)的至少一个输出信号的对象识别来触发所述卫生元件(4)的动作。
2.如权利要求1所述的配件(1)，其特征在于，所述至少一个成像传感器(5)是2D或3D相机、热成像相机、超声传感器、雷达传感器或激光测距传感器，尤其是LIDAR或ToF传感器或激光扫描仪，或所述传感器类型的组合。
3.如权利要求1或2所述配件(1)，其特征在于，所述配件(1)额外包括用于照明对象(7)的照明单元(6)，其中所述照明单元(6)特别包括一个或多个LED或者激光二极管或者UV或IR光源。
4.如权利要求1到3之一所述的配件(1)，其特征在于，所述配件(1)额外包括图像处理单元(8)以执行对象识别。
5.如权利要求1到3之一所述的配件(1)，其特征在于，所述配件(1)额外包括用于将来自所述至少一个成像传感器(5)的所述至少一个输出信号发送给远程图像处理单元(8)(例如，服务器，尤其在云(10)中)以用于对象识别和用于接收所述对象识别的结果的通信单元(9)。
6.如权利要求1到5之一所述的配件(1)，其特征在于，所述图像处理单元(8)被适配成借助于神经网络，尤其是借助于在所述配件(1)被投入操作之前训练的神经网络来执行所述对象识别。
7.如权利要求1到6之一所述的配件(1)，其特征在于，所述图像处理单元(8)被适配成作为所述对象识别的一部分来执行对象分类，以便向对象(7)指派来自多个预定义类的特定类。
8.如权利要求7所述的配件(1)，其特征在于，借助于所述对象识别，不同类别的厨房用具(诸如盘子、玻璃器、杯子、餐具、炊具、平底锅等)或肢体(诸如所述配件或清洁用具(诸如清洁刷、清洁海绵、钢棉或清洁布)的用户的手、手臂、脚或腿)能被识别。
9.如权利要求1到8之一所述的配件(1)，其特征在于，所述图像处理单元(8)被适配成确定对象(7)的至少一个属性，诸如透明度、颜色、大小或污染程度。
10.如权利要求1到9之一所述的配件(1)，其特征在于，所述图像处理单元(8)被适配成确定对象(7)的位置(特别是相对于参考位置)和/或的移动。
11.如权利要求7到10之一所述的配件(1)，其特征在于，所述控制单元(3)被适配成取决于所述对象分类和/或所述对象(7)的属性和/或所述对象(7)的位置和/或所述对象(7)的移动来触发所述卫生元件(4)的特定动作。
12.如权利要求11所述的配件(1)，其特征在于，以下动作中的一者或多者是能触发的：
-选择所述卫生元件(4)的预设，并执行根据所述预设定义的所述卫生元件(4)的行为；
-施予指定量的流体(11)；
-每单位时间施予指定量的流体(11)；
-以待施予的所述流体(11)的预设最大、最小或优选温度来施予流体(11)；
-施予来自多种不同的流体中的特定流体(11)，尤其是取决于所述对象(7)的位置；
-打开和/或关闭流体(11)的递送。
13.一种配件布置(12)，包括卫生设备(2)和根据权利要求1到12之一所述的配件(1)，其中所述成像传感器(5)按以下方式来布置：使得所述配件(1)的入口区域(13)，特别是用于施予流体(11)的入口区域(13)，和/或出口区域，特别是用于带走所施予的流体(11)的出口区域，能由所述成像传感器(8)检测到。
14.权利要求13所述的配件布置(12)，其特征在于，所述卫生设备(2)是水槽或洗衣盆、坐浴盆、淋浴器、浴缸、肥皂施予器、洗液施予器、消毒剂施予器、烘手机、吹风机、马桶、淋浴马桶、小便器或洗涤站。
15.一种用于触发如权利要求1到12之一所述的配件(1)的卫生元件(4)的动作的方法，包括以下步骤：
-在具有至少一个成像传感器(5)的卫生元件(4)处，特别是在所述配件(1)的入口区域(13)和/或出口区域(14)处检测场景，其中借助于所述至少一个成像传感器(8)的输出的一个或多个图像来检测所述场景，其中特别是在多个图像的情况下，以时间交错的方式来记录这些图像，例如作为电影或视频，或从不同的视角记录；
-执行对象识别用于识别至少一个对象(7)，诸如所述配件(1)、厨房用具或清洁用具的用户(15)的手；以及
-取决于所述对象识别来触发所述卫生元件(4)的动作。
16.如权利要求15所述的方法，其特征在于，借助于照明单元(6)，特别是一个或多个LED或者激光二极管或者UV或IR光源来照明所述场景。
17.如权利要求15或16所述的方法，其特征在于，由所述至少一个成像传感器(5)检测到的所述场景作为所述至少一个成像传感器(5)的输出被发送到远程图像处理单元(8)，例如服务器，特别是在所述云(10)中，用于对象识别，以及从所述远程图像处理单元(8)接收所述对象识别的结果。
18.如权利要求15到17之一所述的方法，其特征在于，借助于神经网络，尤其是借助于在所述配件(1)被投入操作之前训练的神经网络来执行所述对象识别。
19.如权利要求15到18之一所述的方法，其特征在于，作为所述对象识别的一部分，执行对象分类以向对象(7)指派来自多个预定义类的特定类。
20.如权利要求15到19之一所述的方法，不同类别的厨房用具(诸如盘子、玻璃器、杯子、餐具、炊具、平底锅等)或肢体(诸如配件或清洁用具(诸如清洁刷、清洁海绵、钢棉或清洁布)的用户的手、手臂、脚和腿)都是借助于所述对象分类来识别的。
21.如权利要求15到20之一所述的方法，其特征在于，确定对象(7)的至少一个属性，诸如透明度、颜色、大小或污染程度。
22.如权利要求15到21之一所述的方法，确定对象(7)的位置(特别是相对于参考位置)和/或移动。
23.如权利要求20到22之一所述的方法，其特征在于，取决于所述对象分类和/或所述对象(7)的属性和/或所述对象(7)的位置和/或所述对象(7)的移动来触发所述卫生元件(4)的特定动作。
24.如权利要求23所述的方法，其特征在于，所述动作包括以下中的至少一者：
-选择所述卫生元件(4)的预设，并执行根据所述预设定义的所述卫生元件(4)的行为；
-施予指定量的流体(11)；
-每单位时间施予指定量的流体(11)；
-以待施予的所述流体(11)的预设最大、最小或优选温度来施予流体(11)；
-施予来自多种不同的流体中的特定流体(11)，尤其是取决于所述对象(7)的位置；
-打开和/或关闭流体(11)的递送。
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CH00602/20A CH717445A1 (de) | 2020-05-18 | 2020-05-18 | Armatur mit automatischer Objekterkennung sowie Verfahren zum Steuern einer Armatur mittels automatischer Objekterkennung. |
| CH00602/20 | 2020-05-18 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN113688964A true CN113688964A (zh) | 2021-11-23 |
Family
ID=75825556
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110534625.6A Pending CN113688964A (zh) | 2020-05-18 | 2021-05-17 | 具有自动对象识别的配件和用于借助于自动对象识别来控制配件的方法 |
Country Status (4)
| Country | Link |
|---|---|
| US (1) | US11781298B2 (zh) |
| EP (1) | EP3913153A1 (zh) |
| CN (1) | CN113688964A (zh) |
| CH (1) | CH717445A1 (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116678446A (zh) * | 2023-08-03 | 2023-09-01 | 北京小米移动软件有限公司 | 配件识别方法、装置、电子设备及存储介质 |
Families Citing this family (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20220298764A1 (en) * | 2013-10-14 | 2022-09-22 | Gary A. Burgo, SR. | Faucet system comprising a liquid soap delivery line |
| TWI830619B (zh) * | 2023-03-08 | 2024-01-21 | 和光工業股份有限公司 | 流體供應龍頭 |
Family Cites Families (21)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CH680143A5 (zh) * | 1989-11-28 | 1992-06-30 | Karrer Weber & Cie Ag | |
| JPH10213670A (ja) * | 1996-10-30 | 1998-08-11 | Toto Ltd | 物体検知装置 |
| AU8564401A (en) * | 2000-10-03 | 2002-04-15 | Edo Lang | Device for controlling and/or regulating the supply of a medium, devices of thistype comprising washing or drying units and a corresponding method |
| CH695570A5 (de) * | 2002-06-17 | 2006-06-30 | Sanimatic Ag | Vorrichtung und Verfahren zur Ausgabe flüssiger Medien. |
| DE20209799U1 (de) * | 2002-06-24 | 2003-11-13 | Bolderheij Fok Cornelis | Multifunktionsarmatur |
| WO2006058650A1 (de) * | 2004-11-29 | 2006-06-08 | Cornelis Bolderheij Fok | Multifunktionsarmatur |
| DE102007011183B4 (de) * | 2007-03-06 | 2014-04-17 | Aquis Sanitär AG | Elektrisch betätigbare Sanitäraramtur |
| DE102008030533B4 (de) * | 2008-06-27 | 2011-07-21 | Kennerknecht, Stephan, 82395 | Vorrichtung und Verfahren zur Reinigung des Intimbereichs |
| EP2208831A1 (de) * | 2009-01-20 | 2010-07-21 | Geberit International AG | Verfahren und elektronische Steuervorrichtung zur berührungslosen Steuerung einer sanitären Anlage |
| JP2012002033A (ja) * | 2010-06-21 | 2012-01-05 | Konica Minolta Holdings Inc | 自動給水装置 |
| EP2543779A3 (en) * | 2011-07-07 | 2015-05-06 | Markon Holdings Limited | A water mixing system, a sanitary fitting, a bath filling system and a system for selectively introducing an additive into a water stream |
| JP6176337B2 (ja) * | 2013-12-16 | 2017-08-09 | パナソニックＩｐマネジメント株式会社 | 水栓装置 |
| JP6823337B2 (ja) * | 2014-09-16 | 2021-02-03 | ジュン シア，リ | 流体排出システム |
| EP3273835A1 (en) * | 2015-03-25 | 2018-01-31 | Gojo Industries, Inc. | Dispenser dosing based on hand size |
| US9756297B1 (en) * | 2015-07-06 | 2017-09-05 | sigmund lindsay clements | Camera for viewing and sensing the health of a user sitting on a toilet |
| DE202017007173U1 (de) * | 2017-11-08 | 2019-11-18 | András Lelkes | Befülleinrichtung |
| EP3714338A1 (de) * | 2017-11-23 | 2020-09-30 | Oblamatik AG | Vorrichtung mit steuerbarem ventil und verfahren zum steuern des ventils |
| DE102019106584A1 (de) * | 2018-03-14 | 2019-09-19 | Drehteam Gmbh | Maschine zur Zubereitung von Brühgetränken und Betriebsverfahren für eine Maschine zur Zubereitung von Brühgetränken |
| US20200122175A1 (en) * | 2018-10-19 | 2020-04-23 | Greg Floyd | System for monitoring a shower stream |
| DE202019100120U1 (de) * | 2019-01-10 | 2020-04-15 | Biljana Bauer | Sanitär- oder Dekorationsobjekt |
| EP3964653A1 (de) * | 2020-09-08 | 2022-03-09 | Ideal Standard International NV | Hygienesystem und verfahren zum betreiben eines hygienesystems |
-
2020
- 2020-05-18 CH CH00602/20A patent/CH717445A1/de unknown
-
2021
- 2021-05-05 EP EP21172311.9A patent/EP3913153A1/de active Pending
- 2021-05-13 US US17/319,723 patent/US11781298B2/en active Active
- 2021-05-17 CN CN202110534625.6A patent/CN113688964A/zh active Pending
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116678446A (zh) * | 2023-08-03 | 2023-09-01 | 北京小米移动软件有限公司 | 配件识别方法、装置、电子设备及存储介质 |
Also Published As
| Publication number | Publication date |
|---|---|
| EP3913153A1 (de) | 2021-11-24 |
| US11781298B2 (en) | 2023-10-10 |
| US20210355663A1 (en) | 2021-11-18 |
| CH717445A1 (de) | 2021-11-30 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11781298B2 (en) | Fitting with automatic object recognition and method for controlling a fitting by means of automatic object recognition | |
| AU2021201109B2 (en) | A fluid dispensing system, a system for processing waste material and a fluid monitoring system | |
| EP3925500B1 (en) | Communication system for providing feedback data for at least one water consuming device | |
| US20210333772A1 (en) | User identity in household appliances | |
| US7107631B2 (en) | Device for controlling and/or regulating the supply of a medium, devices of this type comprising washing or drying units and a corresponding method | |
| US11921794B2 (en) | Feedback for water consuming appliance | |
| US10448762B2 (en) | Mirror | |
| US8413952B2 (en) | Method for controlling the water supply in a sanitary installation | |
| US10428498B1 (en) | Touchless water and liquid soap dispensing faucet | |
| CN207236713U (zh) | 红外线控制装置 | |
| US20060145111A1 (en) | Method for controlling the water supply in a sanitary installation | |
| US11852963B2 (en) | Systems and methods for controlling a plumbing fixture, smart mirror, and the like using projected images | |
| CN111971439B (zh) | 喷水控制装置、喷水控制系统以及喷水控制方法 | |
| WO2019207589A1 (en) | Contactless temperature control of fluid in a fluid dispenser | |
| JP2009235734A (ja) | キッチン水栓装置 | |
| JP2009235732A (ja) | 手洗い装置 | |
| JP2017212565A (ja) | 給湯装置 | |
| TR201608309A2 (tr) | Sivi temi̇zli̇k ürünleri̇ ve suyun tek aparattan kullanimini sağlayan si̇stem |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |