JP2017162372A - 制御装置、処理装置及びプログラム - Google Patents

制御装置、処理装置及びプログラム Download PDF

Info

Publication number
JP2017162372A
JP2017162372A JP2016048444A JP2016048444A JP2017162372A JP 2017162372 A JP2017162372 A JP 2017162372A JP 2016048444 A JP2016048444 A JP 2016048444A JP 2016048444 A JP2016048444 A JP 2016048444A JP 2017162372 A JP2017162372 A JP 2017162372A
Authority
JP
Japan
Prior art keywords
operation mode
image processing
unit
detection
people
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2016048444A
Other languages
English (en)
Other versions
JP6686565B2 (ja
Inventor
健資 岡本
Kensuke Okamoto
健資 岡本
祐一 河田
Yuichi Kawada
祐一 河田
英樹 山崎
Hideki Yamazaki
英樹 山崎
齋藤　玲子
Reiko Saito
玲子 齋藤
義文 板東
Yoshibumi Bando
義文 板東
知世 西田
Tomoyo Nishida
知世 西田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujifilm Business Innovation Corp
Original Assignee
Fuji Xerox Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fuji Xerox Co Ltd filed Critical Fuji Xerox Co Ltd
Priority to JP2016048444A priority Critical patent/JP6686565B2/ja
Priority to US15/202,312 priority patent/US9871937B2/en
Priority to EP16182314.1A priority patent/EP3217251B1/en
Priority to CN201610685557.2A priority patent/CN107181907B/zh
Publication of JP2017162372A publication Critical patent/JP2017162372A/ja
Application granted granted Critical
Publication of JP6686565B2 publication Critical patent/JP6686565B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/00885—Power supply means, e.g. arrangements for the control of power supply to the apparatus or components thereof
    • H04N1/00888—Control thereof
    • H04N1/00891—Switching on or off, e.g. for saving power when not in use
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/65—Control of camera operation in relation to power supply
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03G—ELECTROGRAPHY; ELECTROPHOTOGRAPHY; MAGNETOGRAPHY
    • G03G15/00—Apparatus for electrographic processes using a charge pattern
    • G03G15/50—Machine control of apparatus for electrographic processes using a charge pattern, e.g. regulating differents parts of the machine, multimode copiers, microprocessor control
    • G03G15/5004—Power supply control, e.g. power-saving mode, automatic power turn-off
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/26—Power supply means, e.g. regulation thereof
    • G06F1/32—Means for saving power
    • G06F1/3203—Power management, i.e. event-based initiation of a power-saving mode
    • G06F1/3206—Monitoring of events, devices or parameters that trigger a change in power modality
    • G06F1/3231—Monitoring the presence, absence or movement of users
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G06V40/166—Detection; Localisation; Normalisation using acquisition arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172—Classification, e.g. identification
    • G06V40/173—Classification, e.g. identification face re-identification, e.g. recognising unknown faces across different face tracks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/00127—Connection or combination of a still picture apparatus with another apparatus, e.g. for storage, processing or transmission of still picture signals or of information associated with a still picture
    • H04N1/00326—Connection or combination of a still picture apparatus with another apparatus, e.g. for storage, processing or transmission of still picture signals or of information associated with a still picture with a data reading, recognizing or recording apparatus, e.g. with a bar-code apparatus
    • H04N1/00328—Connection or combination of a still picture apparatus with another apparatus, e.g. for storage, processing or transmission of still picture signals or of information associated with a still picture with a data reading, recognizing or recording apparatus, e.g. with a bar-code apparatus with an apparatus processing optically-read information
    • H04N1/00336—Connection or combination of a still picture apparatus with another apparatus, e.g. for storage, processing or transmission of still picture signals or of information associated with a still picture with a data reading, recognizing or recording apparatus, e.g. with a bar-code apparatus with an apparatus processing optically-read information with an apparatus performing pattern recognition, e.g. of a face or a geographic feature
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/00885—Power supply means, e.g. arrangements for the control of power supply to the apparatus or components thereof
    • H04N1/00888—Control thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/00885—Power supply means, e.g. arrangements for the control of power supply to the apparatus or components thereof
    • H04N1/00888—Control thereof
    • H04N1/00896—Control thereof using a low-power mode, e.g. standby
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Artificial Intelligence (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Human Computer Interaction (AREA)
  • Microelectronics & Electronic Packaging (AREA)
  • Facsimiles In General (AREA)
  • Image Analysis (AREA)
  • Control Or Security For Electrophotography (AREA)
  • Power Sources (AREA)
  • Accessory Devices And Overall Control Thereof (AREA)
  • Image Processing (AREA)

Abstract

【課題】利用者の利便性を損なわずに、消費電力を少なくする。【解決手段】第１の検出部は、領域の出入り口から出入りする人を検出する。計数部は、第１の検出部の検出結果を用いて、領域内の人数を計数する。動作モード制御部は、計数部により計数された人数によって、処理装置の動作モードを制御する。具体的には、動作モード制御部は、計数部により計数された人数が閾値に達した場合に、第１の動作モードより電力消費が少ない第２の動作モードで処理装置を起動する。また、動作モード制御部は、計数部により計数された人数が閾値より小さくなった場合に、処理装置の電源を切る。【選択図】図１

Description

本発明は、制御装置、処理装置及びプログラムに関する。
利用者がいない間、装置の消費電力を抑制するための技術が提案されている。例えば、特許文献１には、画像処理装置の周辺にいる人を所定の時間間隔で検出し、検出された人が画像処理装置を操作する場所に向かう方向に移動している場合には、画像処理装置の動作モードを省電力モードから非消費電力モードへ切り替える技術が記載されている。特許文献２には、室内の照明が消灯され、感応時間の閾値を超えて消灯状態が継続した場合には、画像形成装置の少なくとも一部への電源供給を遮断する技術が記載されている。
特開２０１１−１７２１３２号公報 特開２００５−０８８５２１号公報
本発明は、利用者の利便性を損なわずに、消費電力を少なくすることを目的とする。
請求項１に係る発明は、領域の出入り口から出入りする人を検出する第１の検出部の検出結果を用いて、前記領域内の人数を計数する計数部から前記計数された人数を取得する取得部と、前記取得された人数によって、処理装置の動作モードを制御する動作モード制御部とを備える制御装置である。
請求項２に係る発明は、前記動作モード制御部は、前記取得された人数が第１の閾値に達した場合に、第１の動作モードより電力消費が少ない第２の動作モードで前記処理装置を起動する請求項１に記載の制御装置である。
請求項３に係る発明は、前記動作モード制御部は、前記取得された人数が第２の閾値より小さくなった場合に、前記処理装置の電源を切る請求項１又は２に記載の制御装置である。
請求項４に係る発明は、前記動作モード制御部は、前記処理装置が起動された後、前記処理装置の周辺に設けられた検出範囲にいる人を検出する第２の検出部により、前記検出範囲で検出された前記人が前記処理装置の前で前記処理装置の方を向き、又は前記検出範囲で検出された前記人が前記処理装置の前で立ち止まったと判定された場合には、前記処理装置の動作モードを前記第２の動作モードから前記第１の動作モードに切り替える請求項２又は３に記載の制御装置である。
請求項５に係る発明は、前記動作モード制御部は、前記処理装置の動作モードが前記第１の動作モードに切り替えられた後に、前記第２の検出部によって前記検出範囲で前記人が検出されなくなると、前記処理装置の動作モードを前記第１の動作モードから前記第２の動作モードに切り替える請求項４に記載の制御装置である。
請求項６に係る発明は、予め登録された顔画像を記憶する記憶部をさらに備え、前記第１の検出部は、前記出入り口を含む撮影範囲の画像を撮影する撮影装置から取得された前記画像を用いて、前記出入り口から出入りした前記人の顔画像を前記記憶部に記憶された前記顔画像と照合し、照合の結果、前記顔画像の類似度が第３の閾値より高い場合には、前記出入りした人を除外対象と判定し、前記計数部は、前記第１の検出部により前記除外対象と判定された人の数を除いて、前記領域内の前記人数を計数する請求項１から５のいずれか１項に記載の制御装置である。
請求項７に係る発明は、請求項１から６のいずれか１項に記載の制御装置と、前記第１の動作モードの間、指示に応じた処理を行う処理部とを備える処理装置である。
請求項８に係る発明は、コンピュータに、領域の出入り口から出入りする人を検出する第１の検出部の検出結果を用いて、前記領域内の人数を計数する計数部から前記計数された人数を取得するステップと、前記取得された人数によって、処理装置の動作モードを制御するステップとを実行させるためのプログラムである。
請求項１に係る発明によれば、領域内の人数とは無関係に動作モードを制御する場合に比べて、利用者の利便性を損なわずに、消費電力を少なくすることができる。
請求項２に係る発明によれば、領域内の人数とは無関係に動作モードを制御する場合に比べて、利用者の利便性を損なわずに、消費電力を少なくすることができる。
請求項３に係る発明によれば、領域内の人数とは無関係に動作モードを制御する場合に比べて、利用者の利便性を損なわずに、消費電力を少なくすることができる。
請求項４に係る発明によれば、処理装置の動作モードを第２の動作モードから第１の動作モードに切り替えない場合に比べて、動作モードの切り替えに係る待ち時間の発生を抑制することができる。
請求項５に係る発明によれば、処理装置の動作モードを第１の動作モードから第２の動作モードに切り替えない場合に比べて、消費電力を少なくすることができる。
請求項６に係る発明によれば、除外対象の人が出入り口から領域に出入りしたときに、処理装置の動作モードが切り替えられるのを防ぐことができる。
請求項７に係る発明によれば、領域内の人数とは無関係に動作モードを制御する場合に比べて、利用者の利便性を損なわずに、消費電力を少なくすることができる。
請求項８に係る発明によれば、領域内の人数とは無関係に動作モードを制御する場合に比べて、利用者の利便性を損なわずに、消費電力を少なくすることができる。
画像処理システムの一例を示す図である。 画像処理装置のハードウェア構成を示す図である。 画像処理装置の機能構成を示す図である。 画像処理装置の動作を示すフローチャートである。
１．構成
図１は、本発明に係る画像処理システム１の一例を示す図である。画像処理システム１は、店舗、ビル、部屋等の出入り口を有する領域に設置される。画像処理システム１は、撮影装置１０と、検出装置２０と、画像処理装置３０とを備える。検出装置２０は、本発明の第２の検出部の一例である。画像処理装置３０は、本発明の処理装置の一例である。撮影装置１０及び検出装置２０はそれぞれ、通信回線を介して画像処理装置３０に接続されている。この通信回線は、有線であってもよいし、無線であってもよい。
撮影装置１０は、領域の出入り口付近に設置される。撮影装置１０は、出入り口を含む撮影範囲１１の画像を撮影する。撮影装置１０は、撮影した画像を画像処理装置３０に送信する。
検出装置２０は、画像処理装置３０の利用者の顔を正面から撮影できる位置に設置される。検出装置２０は、撮影装置を備える。撮影装置は、画像処理装置３０の周辺に設けられた検出範囲２１の画像を撮影する。検出装置２０は、撮影装置によって撮影された画像を用いて画像処理を行うことにより、予め決められた時間間隔で検出範囲２１にいる人を検出する。この検出には、フレーム間差分法や背景差分法等の周知の技術が用いられてもよい。検出装置２０は、検出範囲２１で人が検出された場合には、画像処理装置３０に検出情報を送信する。
また、検出装置２０は、撮影装置によって撮影された画像を用いて画像処理を行うことにより、検出範囲２１で検出された人が画像処理装置３０の前で画像処理装置３０の方を向いたか否かを判定する。なお、画像処理装置３０の前とは、画像処理装置３０を操作する人が立つ場所をいう。具体的には、検出装置２０は、検出範囲２１で検出された人が画像処理装置３０の前に移動すると、撮影装置によって撮影された画像から、画像処理装置３０の前にいる人の顔を認識する。この認識には、例えば特開２００５−９２２６２号公報や特開２００５−２０２５４３号公報に記載されたような周知の技術が用いられてもよい。検出装置２０は、正面を向いた顔が認識された場合には、検出範囲２１で検出された人が画像処理装置３０の前で画像処理装置３０の方を向いたと判定する。この場合、検出装置２０は、画像処理装置３０に第１の判定情報を送信する。一方、検出装置２０は、正面を向いた顔が認識されなかった場合には、検出範囲２１で検出された人が画像処理装置３０の前で画像処理装置３０の方を向いていないと判定する。この場合、検出装置２０は、画像処理装置３０に第２の判定情報を送信する。
図２は、画像処理装置３０のハードウェア構成を示す図である。画像処理装置３０は、コピー機能、プリント機能、ファクシミリ機能等の複数の機能を有する。画像処理装置３０は、制御部３１と、通信部３２と、操作部３３と、表示部３４と、記憶部３５と、画像読取部３６と、画像形成部３７と、電源回路３８とを備える。制御部３１は、本発明の制御装置の一例である。
制御部３１は、例えばＣＰＵ（Central Processing Unit）及びメモリにより構成される。制御部３１は、画像処理装置３０の各部を制御する。通信部３２は、通信回線に接続され、外部の装置と通信回線を介して通信を行う。この外部の装置には、撮影装置１０及び検出装置２０の他、外部のファクシミリ装置が含まれる。操作部３３は、例えばタッチパネル及びキーにより構成される。操作部３３は、利用者の操作に応じた信号を制御部３１に入力する。表示部３４は、例えば液晶ディスプレイにより構成される。表示部３４は、各種の情報を表示する。記憶部３５は、例えばハードディスクにより構成される。記憶部３５は、ＣＰＵによって実行されるプログラムや各種のデータを記憶する。
画像読取部３６は、例えばイメージスキャナにより構成される。画像読取部３６は、原稿の画像を読み取って画像データを生成する。画像形成部３７は、例えばプリンターにより構成される。画像形成部３７は、画像データに応じた画像を用紙等の媒体上に形成する。画像形成部３７は、電子写真方式により画像を形成してもよいし、その他の方式により画像を形成してもよい。電源回路３８は、画像処理装置３０の各部に電力を供給する。
画像処理装置３０は、通常動作モードと省電力モードとを有する。通常動作モードは、指示に応じて各種の処理が実行される動作モードである。通常動作モードでは、電源回路３８から画像処理装置３０の各部に電力が供給される。省電力モードは、通常動作モードより電力消費が少ない動作モードである。省電力モードでは、電源回路３８から画像処理装置３０の一部に電力が供給される。例えば、省電力モードでは、制御部３１、記憶部３５、画像読取部３６、画像形成部３７、及び表示部３４への電力の供給が維持される一方、それ以外の部位への電力の供給は停止される。
図３は、画像処理装置３０の機能構成を示す図である。画像処理装置３０は、第１の検出部３０１と、計数部３０２と、動作モード制御部３０３と、処理部３０４とを有する。第１の検出部３０１、計数部３０２、及び動作モード制御部３０３は、例えばＣＰＵがプログラムを実行することにより実現される。処理部３０４は、例えば制御部３１の制御の下、画像読取部３６、画像形成部３７、又は通信部３２により実現される。
第１の検出部３０１は、撮影装置１０と協働して、領域の出入り口から出入りする人を検出する。具体的には、第１の検出部３０１は、撮影装置１０から受信した画像内の出入り口付近にカウントラインを設定する。撮影範囲１１に人が入ると、第１の検出部３０１は、撮影装置１０から受信した画像を用いて画像処理を行うことにより、この人の動線を生成する。生成された動線が領域内に入る方向にカウントラインを横切った場合、第１の検出部３０１は、出入り口から領域内に入った人を検出する。一方、生成された動線が領域から出る方向にカウントラインを横切った場合、第１の検出部３０１は、出入り口から領域外に出た人を検出する。
計数部３０２は、第１の検出部３０１の検出結果を用いて、領域内にいる人の数を計数する。例えば、計数部３０２は、第１の検出部３０１により出入り口から領域内に入った人が検出された場合には、領域内の人数を１人増やす。一方、計数部３０２は、第１の検出部３０１により出入り口から領域外に出た人が検出された場合には、領域内の人数を１人減らす。
なお、店舗の店員等の画像処理装置３０の利用者とならない人については、出入り口から出入りしても領域内の人数に計数されない。具体的には、画像処理装置３０の利用者とならない人の顔画像を予め画像処理装置３０に登録しておく。この顔画像は、記憶部３５に記憶される。第１の検出部３０１は、撮影装置１０から受信した画像を用いて画像処理を行うことにより、出入り口から領域に出入りした人の顔画像を記憶部３５に記憶された顔画像と照合する。照合の結果、これらの顔画像の類似度が閾値より高い場合、第１の検出部３０１は、この人は除外対象であると判定する。計数部３０２は、第１の検出部３０１により除外対象であると判定された人の数を除いて、領域内の人数を計数する。具体的には、計数部３０２は、第１の検出部３０１により出入り口から出入りした人が検出されても、その人が除外対象であると判定された場合には、領域内の人数を変更しない。
動作モード制御部３０３は、取得部３０５を有する。取得部３０５は、計数部３０２から計数された人数を取得する。動作モード制御部３０３は、取得部３０５により取得された人数によって、動作モードを制御する。具体的には、動作モード制御部３０３は、取得された人数が閾値に達した場合に、画像処理装置３０を省電力モードで起動する。また、動作モード制御部３０３は、取得された人数が閾値より小さくなった場合に、画像処理装置３０の電源を切る。
また、動作モード制御部３０３は、検出装置２０の検出結果又は判定結果により、動作モードを制御する。具体的には、動作モード制御部３０３は、画像処理装置３０が起動された後、検出装置２０により検出範囲２１で検出された人が画像処理装置３０の前で画像処理装置３０の方を向いたと判定された場合には、画像処理装置３０の動作モードを省電力モードから通常動作モードに切り替える。また、動作モード制御部３０３は、画像処理装置３０の動作モードが通常動作モードに切り替えられた後に、検出装置２０により検出範囲２１で人が検出されなくなると、画像処理装置３０の動作モードを通常動作モードから省電力モードに切り替える。
処理部３０４は、通常動作モードの間、指示に応じた処理を行う。例えば、処理部３０４は、利用者が操作部３３を操作して指示を行うと、その指示に応じてコピー処理、プリント処理、又はファクシミリ送信処理を行う。
２．動作
図４は、画像処理装置３０の動作を示すフローチャートである。この例では、画像処理システム１は、コンビニエンスストア等の店舗の室内に設置されている。初期状態では、室内には２人の店員がおり、客は０人である場合を想定する。店員の顔画像は、予め画像処理装置３０に登録されているため、店員の人数は室内の人数には計数されない。したがって、初期状態では、室内の人数は０人である。また、初期状態では、画像処理装置３０の電源は切断されている。
ステップＳ１において、動作モード制御部３０３は、室内の人数が閾値に達したか否かを判定する。この例では、閾値は予め１人に設定されている。室内の人数が閾値より小さいと判定された場合（ステップＳ１でＮＯ）、動作モード制御部３０３はこの判定を繰り返す。一方、例えば１人の客が出入り口から室内に入ると、第１の検出部３０１により出入り口から室内に入る人が検出される。第１の検出部３０１により出入り口から室内に入る人が検出されると、計数部３０２により室内の人数が１人増加される。これにより、室内の人数が１人になる。この場合、動作モード制御部３０３は、室内の人数が閾値に達したと判定する。室内の人数が閾値に達したと判定された場合（ステップＳ１でＹＥＳ）、動作はステップＳ２に進む。
ステップＳ２において、動作モード制御部３０３は、画像処理装置３０を省電力モードで起動する。具体的には、制御部３１の制御の下、電源回路３８が画像処理装置３０の一部に電力を供給する。
ステップＳ３において、動作モード制御部３０３は、室内の人数が閾値以上であるか否かを判定する。室内の人数が閾値より小さくなったと判定された場合（ステップＳ３でＮＯ）、動作はステップＳ９に進む。一方、例えば出入り口から室内に入った客がそのまま室内に留まっている場合には、室内の人数は１人のまま変わらない。この場合、動作モード制御部３０３は、室内の人数が閾値以上であると判定する。室内の人数が閾値以上であると判定された場合（ステップＳ３でＹＥＳ）、動作はステップＳ４に進む。
ステップＳ４において、動作モード制御部３０３は、検出範囲２１で人が検出されたか否かを判定する。検出範囲２１で人が検出されていない場合（ステップＳ４でＮＯ）、動作はステップＳ３に戻る。一方、例えば室内に入った客が画像処理装置３０に近づいて検出範囲２１に入ると、検出装置２０により人が検出される。この場合、検出装置２０から画像処理装置３０に検出情報が送信される。検出装置２０から検出情報を受信すると、動作モード制御部３０３は、検出範囲２１で人が検出されたと判定する。検出範囲２１で人が検出されたと判定された場合（ステップＳ４でＹＥＳ）、動作はステップＳ５に進む。
ステップＳ５において、動作モード制御部３０３は、検出範囲２１で検出された人が画像処理装置３０の前で画像処理装置３０の方を向いたか否かを判定する。例えば、検出範囲２１に入った人が画像処理装置３０の方を向かずに画像処理装置３０の前を通過した場合には、検出装置２０により正面を向いた顔が認識されないため、検出範囲２１で検出された人が画像処理装置３０の前で画像処理装置３０の方を向いていないと判定される。この場合、検出装置２０から画像処理装置３０に第２の判定情報が送信される。検出装置２０から第２の判定情報を受信すると、動作モード制御部３０３は、検出範囲２１で検出された人が画像処理装置３０の前で画像処理装置３０の方を向いていないと判定する。検出範囲２内で検出された人が画像処理装置３０の前で画像処理装置３０の方を向いていないと判定された場合（ステップＳ５でＮＯ）、動作はステップＳ３に戻る。
一方、検出範囲２１に入った人が画像処理装置３０の前で画像処理装置３０の方を向いて立ち止まった場合には、検出装置２０により正面を向いた顔が認識されるため、検出範囲２１で検出された人が画像処理装置３０の前で画像処理装置３０の方を向いたと判定される。この場合、検出装置２０から画像処理装置３０に第１の判定情報が送信される。検出装置２０から第１の判定情報を受信すると、動作モード制御部３０３は、検出範囲２１で検出された人が画像処理装置３０の前で画像処理装置３０の方を向いたと判定する。検出範囲２１内で検出された人が画像処理装置３０の前で画像処理装置３０の方を向いたと判定された場合（ステップＳ５でＹＥＳ）、動作はステップＳ６に進む。
ステップＳ６において、動作モード制御部３０３は、画像処理装置３０の動作モードを省電力モードから通常動作モードに切り替える。具体的には、制御部３１の制御の下、電源回路３８が画像処理装置３０の各部に電力を供給する。これにより、画像処理装置３０は指示に応じた処理を実行可能な状態になる。例えば、画像処理装置３０の前に移動した人により操作部３３が操作され、プリント処理が指示された場合には、制御部３１の制御の下、画像形成部３７によりプリント処理が行われる。
ステップＳ７において、動作モード制御部３０３は、検出範囲２１で人が検出されているか否かを判定する。検出範囲２１で人が検出されている間（ステップＳ７でＹＥＳ）、動作モード制御部３０３はこの判定を繰り返す。一方、例えば画像処理装置３０を利用し終わった人が検出範囲２１から出ると、検出装置２０により人が検出されなくなる。この場合、検出装置２０から画像処理装置３０に検出情報が送信されなくなる。検出装置２０から検出情報が受信されなくなると、動作モード制御部３０３は、検出範囲２１で人が検出されなくなったと判定する。検出範囲２１で人が検出されなくなったと判定された場合（ステップＳ７でＮＯ）、動作はステップＳ８に進む。
ステップＳ８において、動作モード制御部３０３は、画像処理装置３０の動作モードを通常動作モードから省電力モードに切り替える。具体的には、制御部３１の制御の下、電源回路３８が画像処理装置３０の一部への電力の供給を維持する一方、その他の部位への電力の供給を停止する。
ステップＳ８の後、動作はステップＳ３に戻る。例えば、画像処理装置３０を利用し終わった人が出入り口から室外に出ると、第１の検出部３０１により出入り口から室外に出た人が検出される。第１の検出部３０１により出入り口から室外に出た人が検出されると、計数部３０２により室内の人数が１人減少される。これにより、室内の人数が０人になる。この場合、動作モード制御部３０３は、室内の人数が閾値より小さくなったと判定する（ステップＳ３でＮＯ）。この場合、動作はステップＳ９に進む。
ステップＳ９において、動作モード制御部３０３は、画像処理装置３０の電源を切る。具体的には、制御部３１の制御の下、電源回路３８が画像処理装置３０の各部への電力の供給を停止する。
上述した実施形態によれば、店舗に来る客等、画像処理装置３０の利用者となる可能性がある人が出入り口から領域内に入ると、画像処理装置３０が省電力モードで起動される。さらに、利用者となる可能性がある人が画像処理装置３０に近づいて、画像処理装置３０の前で画像処理装置３０の方を向くと、画像処理装置３０の動作モードが省電力モードから通常動作モードに切り替えられる。この場合、利用者が画像処理装置３０に到達したときに、動作モードの切り替えに係る待ち時間なしに、画像処理装置３０が利用可能となる。つまり、上述した実施形態によれば、画像処理装置３０の動作モードの切り替えに係る待ち時間の発生が抑制される。そのため、利用者の利便性が損なわれない。
また、店舗にいる店員等、画像処理装置３０の利用者とならない人が領域内にいたとしても、利用者となる可能性がある人が領域内にいない場合には、画像処理装置３０は起動されずに、電源が切断された状態が維持される。したがって、画像処理装置３０の消費電力が少なくなる。特に、コンビニエンスストア等の２４時間営業の店舗では、店舗に店員だけがおり、画像処理装置３０の利用者となる客がいない時間帯がある。このような時間帯に画像処理装置３０を電源が切断された状態にすることにより、消費電力が少なくなる。
また、上述した実施形態によれば、画像処理装置３０に撮影装置１０や検出装置２０を設けなくても、領域内の人数により動作モードが制御される。コンビニエンスストア等の店舗には、監視用に撮影装置１０や検出装置２０が既に設置されている場合がある。これを利用すれば、画像処理システム１を構築するコストも低減される。
３．変形例
上述した実施形態は、本発明の一例である。この実施形態は、以下のように変形してもよい。また、以下の変形例を互いに組み合わせて実施してもよい。
（１）上述した実施形態において、検出装置２０は、撮影装置に代えて第１の人感センサー及び第２の人感センサーを備えてもよい。第１の人感センサーは、例えば赤外線や超音波を用いて、予め決められた時間間隔で検出範囲２１にいる人を検出する。第１の人感センサーにより検出範囲２１にいる人が検出されると、検出装置２０は画像処理装置３０に検出情報を送信する。この検出情報は、ステップＳ４の判定及びステップＳ７の判定に用いられる。
また、この変形例では、ステップＳ５において、検出範囲２１で検出された人が画像処理装置３０の前で立ち止まったか否かが判定されてもよい。具体的には、第２の人感センサーは、例えば赤外線や超音波を用いて、予め決められた時間間隔で判定範囲にいる人を検出する。この判定範囲は、検出範囲２１内において画像処理装置３０の前に設けられる。第２の人感センサーにより予め決められた時間継続して判定範囲で人が検出されると、検出装置２０は、検出範囲２１で検出された人が画像処理装置３０の前で立ち止まったと判定する。この場合、検出装置２０は、画像処理装置３０に第３の判定情報を送信する。検出装置２０から第３の判定情報を受信すると、動作モード制御部３０３は、検出範囲２１で検出された人が画像処理装置３０の前で立ち止まったと判定する（ステップＳ５でＹＥＳ）。この場合、動作はステップＳ６に進む。
一方、第２の人感センサーにより判定範囲で人が検出されない場合、又は第２の人感センサーにより判定範囲で人が検出されたが、予め決められた時間経過する前に判定範囲で人が検出されなくなった場合、検出装置２０は、検出範囲２１で検出された人が画像処理装置３０の前で立ち止まっていないと判定する。この場合、検出装置２０は、画像処理装置３０に第４の判定情報を送信する。検出装置２０から第４の判定情報を受信すると、動作モード制御部３０３は、検出範囲２１内で検出された人が画像処理装置３０の前で立ち止まっていないと判定する（ステップＳ５でＮＯ）。この場合、動作はステップＳ３に戻る。
（２）上述した実施形態において、撮影装置１０に代えて検出装置が用いられてもよい。この検出装置は、複数の人感センサーを備える。複数の人感センサーは、例えば出入り口を出入りする人の移動方向に沿って設置される。各人感センサーは、例えば赤外線や超音波を用いて、予め決められた時間間隔で出入り口から領域に出入りする人を検出する。複数の人感センサーが人を検出した順番によって、出入り口から領域内に入った人と出入り口から領域外に出た人とが識別される。人感センサーにより出入り口から領域内に入る人が検出された場合、検出装置は、第１の検出情報を画像処理装置３０に送信する。検出装置から第１の検出情報を受信すると、計数部３０２は、領域内の人数を１人増やす。一方、風数の人感センサーにより出入り口から領域外に出る人が検出された場合、検出装置は、第２の検出情報を画像処理装置３０に送信する。検出装置から第２の検出情報を受信すると、計数部３０２は、領域内の人数を１人減らす。なお、この変形例では、検出装置が本発明の第１の検出部として機能するため、画像処理装置３０に第１の検出部３０１を設ける必要はない。
（３）上述した実施形態において、第１の検出部３０１又は計数部３０２は、画像処理装置３０が備えなくてもよい。例えば、撮影装置１０が第１の検出部３０１及び計数部３０２を備えてもよい。この場合、通信部３２が本発明の取得部として機能する。
（４）上述した実施形態において、ステップＳ１の判定及びステップＳ３の判定で用いられる閾値には、店員等の画像処理装置３０の利用者とならない人の数を含む値が設定されてもよい。例えば、店員の人数が２人であり、客が１人室内に入ったときに画像処理装置３０を起動する場合には、客の人数に店員の人数を加えた３人が閾値として設定されてもよい。この場合、店員の顔画像を画像処理装置３０に登録しておく必要はない。
また、ステップＳ１の判定及びステップＳ３の判定で用いられる閾値は、時間帯によって変更されてもよい。この場合、時間帯毎の店員の人数が予め画像処理装置３０に登録される。登録された人数は記憶部３５に記憶される。例えば、１０時から１２時の店員の人数が２人であり、１２時から１４時の店員の人数が３人である場合を想定する。客が１人室内に入ったときに画像処理装置３０を起動する場合、１０時から１２時の時間帯には客の人数に店員の人数を加えた３人が閾値として設定される。１２時から１４時の時間帯は店員の人数が１人増える。そのため、１２時になると閾値は４人に変更される。
（５）上述した実施形態において、室内の明るさによって動作モードが切り替えられてもよい。この場合、画像処理装置３０又は画像処理装置３０の周辺に、照度センサーが設けられる。照度センサーは、画像処理装置３０周辺の照度を測定する。照度センサーによって測定された照度が閾値より低い場合、計数部３０２は、人が出入り口から室内に入っても、室内の人数を変更しない。画像処理装置３０周辺の照度が低い場合には、例えば夜間に画像処理装置３０周辺の照明が付けられていないような状況であり、室内に人が入っても画像処理装置３０が利用される可能性が低いと考えられる。したがって、このような場合に画像処理装置３０を起動しないことにより、無駄な電力の消費が防止される。
（６）上述した実施形態において、画像処理装置３０を起動する判定に用いられる閾値と、画像処理装置３０の電源を切る判定に用いられる閾値とは必ずしも同じ値でなくてもよい。例えば、画像処理装置３０を起動する判定には第１の閾値が用いられ、画像処理装置３０の電源を切る判定には第１の閾値とは異なる第２の閾値が用いられてもよい。
（７）上述した実施形態において、検出装置２０は、画像処理装置３０の利用者の顔を正面から撮影できる位置以外の位置に設置されてもよい。検出装置２０は、画像処理装置３０の近傍に設置されてもよい。
（８）上述した実施形態では、処理部３０４がコピー処理、プリント処理、ファクシミリ送信処理等の画像処理を行う例について説明したが、処理部３０４が行う処理は画像処理に限定されない。処理部３０４は、画像処理以外の処理を行ってもよい。また、本発明は、画像処理装置３０の動作モードを制御するものに限定されない。本発明は、何らかの処理を行う処理装置の動作モードを制御するものであってもよい。
（９）上述した実施形態において、画像処理装置３０は必ずしも省電力モードで起動されなくてもよい。画像処理装置３０は、通常動作モードで起動されてもよい。
（１０）上述した実施形態において、制御部３１のＣＰＵにより実行されるプログラムは、インターネットなどの通信回線を介してダウンロードされてもよい。また、このプログラムは、磁気記録媒体（磁気テープ、磁気ディスクなど）、光記録媒体（光ディスクなど）、光磁気記録媒体、半導体メモリなどの、コンピュータが読取可能な記録媒体に記録した状態で提供されてもよい。
１…画像処理システム、１０…撮影装置、２０…検出装置、３０…画像処理装置、３１…制御部、３２…通信部、３３…操作部、３４…表示部、３５…記憶部、３６…画像読取部、３７…画像形成部、３８…電源回路、３０１…第１の検出部、３０２…計数部、３０３…動作モード制御部、３０４…処理部、３０５…取得部

Claims (8)

  1. 領域の出入り口から出入りする人を検出する第１の検出部の検出結果を用いて、前記領域内の人数を計数する計数部から前記計数された人数を取得する取得部と、
    前記取得された人数によって、処理装置の動作モードを制御する動作モード制御部と
    を備える制御装置。
  2. 前記動作モード制御部は、前記取得された人数が第１の閾値に達した場合に、第１の動作モードより電力消費が少ない第２の動作モードで前記処理装置を起動する
    請求項１に記載の制御装置。
  3. 前記動作モード制御部は、前記取得された人数が第２の閾値より小さくなった場合に、前記処理装置の電源を切る
    請求項１又は２に記載の制御装置。
  4. 前記動作モード制御部は、前記処理装置が起動された後、前記処理装置の周辺に設けられた検出範囲にいる人を検出する第２の検出部により、前記検出範囲で検出された前記人が前記処理装置の前で前記処理装置の方を向き、又は前記検出範囲で検出された前記人が前記処理装置の前で立ち止まったと判定された場合には、前記処理装置の動作モードを前記第２の動作モードから前記第１の動作モードに切り替える
    請求項２又は３に記載の制御装置。
  5. 前記動作モード制御部は、前記処理装置の動作モードが前記第１の動作モードに切り替えられた後に、前記第２の検出部により前記検出範囲で前記人が検出されなくなると、前記処理装置の動作モードを前記第１の動作モードから前記第２の動作モードに切り替える
    請求項４に記載の制御装置。
  6. 予め登録された顔画像を記憶する記憶部をさらに備え、
    前記第１の検出部は、前記出入り口を含む撮影範囲の画像を撮影する撮影装置から取得された前記画像を用いて、前記出入り口から出入りした前記人の顔画像を前記記憶部に記憶された前記顔画像と照合し、照合の結果、前記顔画像の類似度が第３の閾値より高い場合には、前記出入りした人を除外対象と判定し、
    前記計数部は、前記第１の検出部により前記除外対象と判定された人の数を除いて、前記領域内の前記人数を計数する
    請求項１から５のいずれか１項に記載の制御装置。
  7. 請求項１から６のいずれか１項に記載の制御装置と、
    前記第１の動作モードの間、指示に応じた処理を行う処理部と
    を備える処理装置。
  8. コンピュータに、
    領域の出入り口から出入りする人を検出する第１の検出部の検出結果を用いて、前記領域内の人数を計数する計数部から前記計数された人数を取得するステップと、
    前記取得された人数によって、処理装置の動作モードを制御するステップと
    を実行させるためのプログラム。
JP2016048444A 2016-03-11 2016-03-11 制御装置、処理装置及びプログラム Active JP6686565B2 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
JP2016048444A JP6686565B2 (ja) 2016-03-11 2016-03-11 制御装置、処理装置及びプログラム
US15/202,312 US9871937B2 (en) 2016-03-11 2016-07-05 Control device, processing device, control method, and non-transitory computer readable medium
EP16182314.1A EP3217251B1 (en) 2016-03-11 2016-08-02 Control device, processing device, control method, and program
CN201610685557.2A CN107181907B (zh) 2016-03-11 2016-08-18 控制装置、处理装置和控制方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2016048444A JP6686565B2 (ja) 2016-03-11 2016-03-11 制御装置、処理装置及びプログラム

Publications (2)

Publication Number Publication Date
JP2017162372A true JP2017162372A (ja) 2017-09-14
JP6686565B2 JP6686565B2 (ja) 2020-04-22

Family

ID=56567473

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2016048444A Active JP6686565B2 (ja) 2016-03-11 2016-03-11 制御装置、処理装置及びプログラム

Country Status (4)

Country Link
US (1) US9871937B2 (ja)
EP (1) EP3217251B1 (ja)
JP (1) JP6686565B2 (ja)
CN (1) CN107181907B (ja)

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20180071031A (ko) * 2016-12-19 2018-06-27 엘지전자 주식회사 공기조화기 및 그 제어방법
JP2018144424A (ja) * 2017-03-08 2018-09-20 コニカミノルタ株式会社 画像形成システム、画像形成システムの制御方法及び画像形成システムの制御プログラム
CN109712573A (zh) * 2017-10-25 2019-05-03 晨星半导体股份有限公司 背光模组的功耗管理装置与功耗管理方法
JP2019186608A (ja) * 2018-04-02 2019-10-24 コニカミノルタ株式会社 画像形成装置、起動方法および起動プログラム
US10634380B2 (en) * 2018-04-10 2020-04-28 Osram Sylvania Inc. System for monitoring occupancy and activity in a space
US10416936B1 (en) * 2018-07-06 2019-09-17 Toshiba Tec Kabushiki Kaisha Image forming apparatus and image forming method
CN109830192B (zh) * 2019-01-19 2021-10-08 浙江威克特光电有限公司 一种具有控制系统的发光字
US11336789B1 (en) * 2020-12-22 2022-05-17 Xerox Corporation Controlling a multi-function device based on a user limit associated with a policy
CN116166113B (zh) * 2023-04-20 2023-06-30 深圳市华图测控系统有限公司 智能办证机的动态功耗调整方法及系统

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005234947A (ja) * 2004-02-20 2005-09-02 Omron Corp 人数計数装置
JP2008123352A (ja) * 2006-11-14 2008-05-29 Sharp Corp 印刷装置電源システム
JP2011104790A (ja) * 2009-11-12 2011-06-02 Sharp Corp 画像処理装置および画像処理装置の制御方法
JP2013073505A (ja) * 2011-09-28 2013-04-22 Casio Comput Co Ltd 動作制御装置、動作制御方法及びプログラム
JP2014191498A (ja) * 2013-03-26 2014-10-06 Oki Data Corp 画像処理システム

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4448304B2 (ja) 2003-09-11 2010-04-07 セコム株式会社 顔検知装置
JP2005088521A (ja) 2003-09-19 2005-04-07 Ricoh Co Ltd 画像形成装置および画像形成装置の制御方法
JP2005202543A (ja) 2004-01-14 2005-07-28 Canon Inc 被写体抽出方法
US20080277486A1 (en) * 2007-05-09 2008-11-13 Johnson Controls Technology Company HVAC control system and method
JP2011172132A (ja) 2010-02-22 2011-09-01 Sharp Corp 画像処理装置およびその制御方法
JP5518553B2 (ja) * 2010-04-13 2014-06-11 文平 馬郡 相互学習による建築物の省エネルギー化ユニット及びシステム
JP5817267B2 (ja) 2011-07-07 2015-11-18 富士ゼロックス株式会社 制御装置、画像処理装置
US20130184876A1 (en) 2012-01-12 2013-07-18 International Business Machines Corporation Managing Power Consumption In A User Space
US20140160505A1 (en) * 2012-12-03 2014-06-12 Canon Kabushiki Kaisha Image processing apparatus, method of controlling image processing apparatus, and program
JP2014200165A (ja) * 2013-03-14 2014-10-23 株式会社リコー 調停装置、調停方法およびプログラム
US9791872B2 (en) * 2013-03-14 2017-10-17 Pelco, Inc. Method and apparatus for an energy saving heating, ventilation, and air conditioning (HVAC) control system

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005234947A (ja) * 2004-02-20 2005-09-02 Omron Corp 人数計数装置
JP2008123352A (ja) * 2006-11-14 2008-05-29 Sharp Corp 印刷装置電源システム
JP2011104790A (ja) * 2009-11-12 2011-06-02 Sharp Corp 画像処理装置および画像処理装置の制御方法
JP2013073505A (ja) * 2011-09-28 2013-04-22 Casio Comput Co Ltd 動作制御装置、動作制御方法及びプログラム
JP2014191498A (ja) * 2013-03-26 2014-10-06 Oki Data Corp 画像処理システム

Also Published As

Publication number Publication date
EP3217251A1 (en) 2017-09-13
EP3217251B1 (en) 2019-09-25
JP6686565B2 (ja) 2020-04-22
CN107181907A (zh) 2017-09-19
CN107181907B (zh) 2021-01-29
US20170264766A1 (en) 2017-09-14
US9871937B2 (en) 2018-01-16

Similar Documents

Publication Publication Date Title
JP6686565B2 (ja) 制御装置、処理装置及びプログラム
JP6304319B2 (ja) 人判別装置
US11979533B2 (en) Image forming apparatus, method for controlling image forming apparatus, and recording medium
JP5620928B2 (ja) 装置をアクティブモードにするシステム、方法及び装置
JP5804525B2 (ja) 入退室検出装置、入退室検出方法およびプログラム
KR101545777B1 (ko) 제스처 입력 장치, 컴퓨터 판독 가능한 기록 매체, 전자 기기, 제스처 입력 시스템, 및, 제스처 입력 장치의 제어 방법
JP5884434B2 (ja) 電力供給制御装置、画像処理装置、電力供給制御プログラム
JP2018067840A (ja) 情報処理装置及び画像処理装置
JP2005172288A (ja) 空気調和装置の制御システム
EP3223197A1 (en) Information processing apparatus and image processing apparatus
JP2016178348A (ja) 情報処理装置、情報処理装置の制御方法、及びプログラム
TWM538179U (zh) 一種低耗電且快速反應的監視裝置
JP2016055550A (ja) 画像形成装置、その制御方法、及びプログラム
JP5971239B2 (ja) 機器制御装置、機器制御システム、及び、機器制御方法
JP2009169381A (ja) 節電機能を有するデジタルフレーム及びその節電方法
JP5942624B2 (ja) 電力供給制御装置、画像処理装置、電力供給制御プログラム
JP2012197985A (ja) 空気調和機
JP2001005550A (ja) コンピュータシステムの電源制御システム
US20160338177A1 (en) Lighting control system and lighting control method
CN104822017A (zh) 拍照控制方法及装置
JP6357821B2 (ja) 接近者監視装置、接近者監視システム、および接近者監視プログラム
US20220006955A1 (en) Control device, non-transitory storage medium, and control system
JP2019142125A (ja) 画像形成装置、その制御方法、およびプログラム
JP2005115521A (ja) 機器制御システムおよび機器制御方法
KR102423930B1 (ko) 듀얼 카메라를 포함하는 도어캠

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20190123

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20190626

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20190702

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20190726

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20200107

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20200214

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20200303

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20200316

R150 Certificate of patent or registration of utility model

Ref document number: 6686565

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

S533 Written request for registration of change of name

Free format text: JAPANESE INTERMEDIATE CODE: R313533

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350