JP2016148895A - Instrument with face authentication function - Google Patents
Instrument with face authentication function Download PDFInfo
- Publication number
- JP2016148895A JP2016148895A JP2015023979A JP2015023979A JP2016148895A JP 2016148895 A JP2016148895 A JP 2016148895A JP 2015023979 A JP2015023979 A JP 2015023979A JP 2015023979 A JP2015023979 A JP 2015023979A JP 2016148895 A JP2016148895 A JP 2016148895A
- Authority
- JP
- Japan
- Prior art keywords
- face
- image
- unit
- display
- authentication function
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Landscapes
- Accessory Devices And Overall Control Thereof (AREA)
- Control Or Security For Electrophotography (AREA)
- Facsimiles In General (AREA)
- User Interface Of Digital Computer (AREA)
Abstract
Description
本発明は、顔認証機能付機器に関する。 The present invention relates to a device with a face authentication function.
特許文献１には、反射鏡で位置決めして顔を撮影し画像照合装置で照合して照合結果を対象装置に送信することで、対象装置の負荷を軽減する画像照合ログインシステムが開示されている。 Patent Document 1 discloses an image collation login system that reduces the load on the target device by photographing with a reflector and photographing a face, collating with an image collation device, and transmitting the collation result to the target device. .
本発明は、認証時の使い勝手の良さと負荷の軽減とを両立させた顔認識機能付機器を提供することを目的とする。 An object of the present invention is to provide a device with a face recognition function that achieves both ease of use at the time of authentication and reduction in load.
請求項１は、
前に立つ人に向けられたカメラを備えて、該カメラで得られた撮影画像が該人の顔の撮影により得られた顔画像であるか否か、および該顔画像があらかじめ登録されている人の顔画像であるか否かを認識する顔認識部と、
画像を表示する表示部と、
前記カメラで得られた撮影画像を、前記表示部に、前記顔認識部により該撮影画像が顔画像であると認識された場合には第１の表示態様で表示させ、顔画像とは認識されない場合には、該第１の表示態様よりも表示処理負荷の小さい第２の表示態様で表示させる表示制御部とを備えたことを特徴とする顔認証機能付機器である。
Claim 1
A camera directed to a person standing in front is provided, and whether or not the captured image obtained by the camera is a face image obtained by photographing the person's face, and the face image is registered in advance A face recognition unit for recognizing whether the image is a human face image;
A display for displaying an image;
The captured image obtained by the camera is displayed on the display unit in the first display mode when the captured image is recognized as a face image by the face recognition unit, and is not recognized as a face image. In such a case, the face authentication function-equipped device includes a display control unit configured to display in a second display mode having a display processing load smaller than that of the first display mode.
請求項２は、
人による操作を受ける操作部と、
外部機器との間の通信を担う通信部とをさらに備え、
当該顔認証機能付機器が、前記操作部での操作を契機として実行される第１種類の処理と前記通信部による外部機器との間の通信を契機として実行される第２種類の処理との双方の処理を実行する機器であって、
前記表示制御部は、前記第２種類の処理のうちの少なくとも一部種類の処理の実行中を除き、前記カメラで得られた撮影画像が前記顔認識部により顔画像とは認識されない場合であっても、該撮影画像を、前記表示部に、前記第１の表示態様で表示させるものであることを特徴とする請求項１記載の顔認証機能付機器である。
Claim 2
An operation unit that receives a human operation;
A communication unit that is responsible for communication with external devices;
The device with face authentication function includes a first type of process executed when triggered by an operation at the operation unit and a second type of process executed when triggered by communication between the communication unit and an external device. A device that executes both processes,
The display control unit is a case where a captured image obtained by the camera is not recognized as a face image by the face recognition unit, except when at least a part of the second type of processing is being executed. However, the apparatus with a face authentication function according to claim 1, wherein the captured image is displayed on the display unit in the first display mode.
請求項３は、
当該顔認証機能付機器が、前記通信部で受信した画像データに基づく画像を用紙上にプリント出力するプリント機能を有する機器であって、
前記表示制御部は、前記通信部で受信した画像データをプリント出力形式の画像データに変換するデコンポーズ処理を前記少なくとも一部種類の処理とし、前記顔認識部により前記撮影画像が顔画像とは認識されず、かつ該デコンポーズ処理の実行期間中は、前記撮影画像を前記表示部に前記第２の表示態様で表示させるものであることを特徴とする請求項２記載の顔認証機能付機器である。
Claim 3
The device with face authentication function is a device having a print function for printing out an image based on image data received by the communication unit on paper,
The display control unit uses a decomposing process for converting the image data received by the communication unit into image data in a print output format as the at least some types of processes, and the face recognition unit recognizes the captured image as a face image. 3. The apparatus with face authentication function according to claim 2, wherein the captured image is displayed on the display unit in the second display mode during the execution of the decomposing process. .
請求項４は、前記表示制御部は、前記第２の表示態様として、前記撮影画像を、前記表示部に、前記第１の表示態様と比べ時間間隔が広い表示更新周期、少ない色数、および低い解像度のうちの少なくとも１つの表示態様で表示させるものであることを特徴とする請求項１から３のうちいずれか１項記載の顔認証機能付機器である。 According to a fourth aspect of the present invention, the display control unit, as the second display mode, displays the photographed image on the display unit with a display update period, a smaller number of colors, and a wider time interval than the first display mode, and The device with a face authentication function according to any one of claims 1 to 3, wherein the device is displayed in at least one display mode of low resolution.
請求項５は、当該顔認証機能付機器が、少なくとも原稿上の画像を読み取ってコピー画像をプリント出力するコピー機能と、外部機器から送信されてきた画像データに基づく画像をプリント出力するプリント機能とを備えた複合機であることを特徴とする請求項１から４のうちいずれか１項記載の顔認証機能付機器である。 According to a fifth aspect of the present invention, the device with the face authentication function reads at least an image on a document and prints out a copy image, and a print function that prints out an image based on image data transmitted from an external device; 5. The device with face authentication function according to claim 1, wherein the device has a face authentication function.
請求項１の顔認証機能付機器によれば、反射鏡で位置決めするシステムと比較して使い勝手が向上し、かつその使い勝手の良さと表示処理負荷の軽減との両立が図られる。 According to the device with the face authentication function of the first aspect, the usability is improved as compared with the system for positioning by the reflecting mirror, and both the usability and the reduction of the display processing load are achieved.
請求項２および請求項３の顔認証機能付機器によれば、顔画像の認識のみに応じて表示態様を変更する場合と比較して、機器の負荷に応じて表示処理負荷が調整される。 According to the device with the face authentication function of claims 2 and 3, the display processing load is adjusted according to the load of the device, as compared with the case where the display mode is changed only according to the recognition of the face image.
請求項４の顔認証機能付機器によれば、これらの表示態様により表示処理負荷が軽減される。 According to the device with the face authentication function of claim 4, the display processing load is reduced by these display modes.
本発明は、請求項５の複合機に好適である。 The present invention is suitable for the multifunction machine according to claim 5.
以下、本発明の実施の形態を説明する。 Embodiments of the present invention will be described below.
図１は、本発明の顔認証機能付機器の一例としての複合機の外観を示した図である。この図１には、通信回線５１を介して複合機１０に接続された複数台の、クライアント機器としてのパーソナルコンピュータ（以下、「ＰＣ」と略記する）５０Ａ，・・・，５０Ｎも示されている。
FIG. 1 is a diagram illustrating an appearance of a multifunction peripheral as an example of a device with a face authentication function according to the present invention. FIG. 1 also shows a plurality of personal computers (hereinafter abbreviated as “PCs”) 50A,..., 50N as client devices connected to the
この複合機１０は、コピー機能、プリント機能、ファクシミリ送受信機能など、複数の機能を有する機器である。
The
この複合機１０には、ＵＩ（Ｕｓｅｒ Ｉｎｔｅｒｆａｃｅ）１０Ａが備えられている。このＵＩ１０Ａには、この複合機１０に関する設定内容や内部状態などを表示する表示部１１と、この複合機１０に各種の指示を与える操作部１２とが備えられている。また、このＵＩ１０Ａにはさらに、カメラ１３が備えられている。このカメラ１３は、この複合機１０のユーザの顔の撮影を担っている。なお、ＵＩ１０Ａはタッチパネルのように、表示部１１と操作部１２の全て、もしくは一部が同一であっても良い。
The
さらに、この複合機１０には、赤外線センサ１４が備えられている。この赤外線センサ１４は、赤外線を感知することで、この複合機１０に人が近づいてきたことを検知するセンサである。この複合機１０は、使用されていないときは消費電力を抑えたスリープ状態にあり、赤外線センサ１４により人が近づいてきたことが検知されると、この複合機１０を使用可能なスタンバイ状態とすべく、電力の供給等の使用準備が開始される。
Further, the
また、ＰＣ５０Ａ，・・・，５０Ｎは、各ＰＣ５０Ａ，・・・，５０Ｎの所有者の机の上など、複合機１０から離れた位置に設置されている。複合機１０とＰＣ５０Ａ，・・・，５０Ｎは通信回線５１により接続されている。
Further, the
複合機１０にはさらに、ファクシミリ送受信のための電話回線５２が接続されている。
Further, a
図２は、図１に示す複合機の内部構成を示した図である。 FIG. 2 is a diagram showing an internal configuration of the multifunction machine shown in FIG.
ここには、制御部２１と、通信部２２と、ファクシミリ送受信部２３と、図１にも示す表示部１１および操作部１２が備えられている。
Here, a
制御部２１は、不図示のＣＰＵとメモリを備えており、プログラムの実行によって、この複合機１０の各部を制御する。
The
通信部２２は、図１に示す通信回線５１を介して、ＰＣ５０Ａ，・・・，５０Ｎとの間で通信を行なう。
The
ファクシミリ送受信部２３は、電話回線５２（図１参照）を介してファクシミリの送受信を行なう。
The facsimile transmission /
表示部１１は、制御部２１による制御の下で各種の情報を表示する。この表示部１１には、図１に示すカメラ１３での撮影画像も表示される。
The
操作部１２は、この複合機１０のユーザによる操作を受け、その操作内容を制御部２１に送る。
The
また、この複合機１０にはさらに、画像読取部２４、画像形成部２５、電力制御部２６、記憶部２７、および顔認識部２８を備えている。
The
画像読取部２４は、原稿上の画像を読み取って画像データを生成する。
The
画像形成部２５は、画像データに基づく画像を用紙上にプリント出力する。
The
電力制御部２６は、この複合機１０の各部に電力を供給する。ここで、この複合機１０には、動作可能なスタンバイ状態と消費電力を抑えたスリープ状態とが存在する。スリープ状態は、例えば赤外線センサ１４（図１参照）による人が近づいてきたことの検知や通信部２２によるＰＣ５０Ａ，・・・，５０Ｎからの受信など、一部の機能のみ動作させ、その他の機能は停止あるいは電力が抑えられた状態をいう。電力制御部２６は、スタンバイ状態およびスリープ状態のそれぞれに応じて、各部に供給する電力を制御する。
The
また、記憶部２７は、制御部２１で実行される各種プログラムや必要なデータ等を記憶している。
The
さらに顔認識部２８は、この複合機１０の前に立つ人を撮影し、その撮影画像がその人の顔を撮影した顔画像であるか否か、および、その顔画像から顔情報を算出し、その算出した顔情報がこの顔認識部２８内にあらかじめ登録されている顔情報と一致するか否か（すなわち、この複合機１０の前に立った人があらかじめ登録されている人物であるか否か）を判定する。
Further, the
この複合機１０では、スキャン処理、コピー処理、プリント処理、およびファクシミリ処理が実行される。
In the
スキャン処理では、画像読取部２４で原稿上の画像が読み取られて画像データが生成され、その生成された画像データが、通信部２２から、ＰＣ５０Ａ，・・・，５０Ｎのうちの指定されたＰＣに向けて送信される。
In the scanning process, the
コピー処理では、画像読取部２４で原稿上の画像が読み取られて画像データが生成され、次いで画像形成部２５において、その生成された画像データに基づく画像がプリント出力される。
In the copy process, the
プリント処理では、ＰＣ５０Ａ，・・・，５０ＮのうちのいずれかのＰＣから通信回線５１を経由してきた画像データが通信部２２で受信され、画像形成部２５１において、その受信された画像データに基づく画像がプリント出力される。
In the print processing, the image data transmitted from any one of the
ただし、このプリント処理では、プリント出力は自動的には行なわれない。このプリント処理では、通信部２２で画像データを受信すると、その画像データを、画像形成部２５でのプリント出力に適合した形式の画像データに変換するデコンポーズ処理を実行して待機し、ＰＣ操作により画像データを送信した人がこの複合機１０の前に来て操作部１２を操作することによってプリント出力の指示を行ない、その後に、プリント出力が実行される。
However, in this print processing, print output is not automatically performed. In this print processing, when image data is received by the
また、ファクシミリ処理のうちのファクシミリ送信処理では、画像読取部２４において原稿上の画像が読み取られて画像データが生成され、その画像データがファクシミリ送受信部２３により電話回線５２（図１参照）経由で送信される。
In the facsimile transmission process of the facsimile process, an image on the original is read by the
また、ファクシミリ処理のうちのファクシミリ受信処理では、電話回線５２を経由して送信されてきた画像データがファクシミリ送受信部２３で受信され、その受信された画像データに基ずく画像が画像形成部２５においてプリント出力される。
In the facsimile reception process of the facsimile process, image data transmitted via the
ここで、制御部２１は、未認証状態と認証状態との２つの状態を持っている。
Here, the
未認証状態は、この複合機１０の前に、この複合機１０を使用する権限のある人が立っていることが認証されていない状態をいう。この未認証状態では、制御部２１は、この複合機１０の前に立って操作することにより実行される処理、すなわち、スキャン処理、コピー処理、ファクシミリ送信処理、および、プリント処理が禁止されるように各部を制御する。
The unauthenticated state refers to a state in which it is not authenticated that a person with authority to use the
一方、認証状態は、顔認証部２８によりこの複合機１０の前に立つ人がこの複合機１０を使用する権限のある人であることが認証された状態をいう。この認証状態では、制御部２１は上記の各種の処理の実行が可能となるように各部を制御する。
On the other hand, the authentication state refers to a state where the
未認証状態から認証状態への移行は、顔認識部２８からの、あらかじめ登録されている人の顔が認識されたことの通知を受けて行なわれる。未認証状態から認証状態への移行は、操作部１２の操作によりＩＤとパスワードからなるアカウントが入力され、そのアカウントがあらかじめ登録されているアカウントと一致したときにも行なわれるが、ここでは顔画像の認証による移行について説明する。
The transition from the unauthenticated state to the authenticated state is performed upon receiving a notification from the
図３は、図２に１つのブロックで示す顔認識部の内部構成を示すブロック図である。 FIG. 3 is a block diagram showing an internal configuration of the face recognition unit shown by one block in FIG.
この顔認識部２８は、撮影部２８１と、人物検出部２８２と、認証処理部２８３とを備えており、さらに、認証処理部２８３は、画像処理部２８３ａと通信制御部２８３ｂとで構成されている。
The
撮影部２８１は、図１に示すカメラ１３を備えており、そのカメラ１３により複合機１０の前に立つ人を繰り返し撮影する。この撮影により得られた撮影画像は、画像処理部２８３ａに送られる。また、この撮影画像は、通信制御部２８３ｂ経由で、制御部２１からの求めに応じて制御部２１に送信され、制御部２１の表示制御の下で表示部１１に表示される。
The photographing
人物検出部２８２は、図１に示す赤外線センサ１４を備えており、その赤外線センサ１４を使って赤外線の強弱を検知することにより、この複合機１０に人が近づいてきたか否か、また、この複合機１０から人が遠ざかったか否かを判定する。その判定結果は、通信制御部２８３ｂを経由して制御部２１に伝えられる。制御部２１は、人が近づいてきたことの通知を受けると、この複合機１０がスリープ状態にあるときは電力制御部２６に指示して各部に電力を供給させるなど、この複合機１０をスタンバイ状態に移行させる。
The
ただし、制御部２１は、顔認識部２８から登録された人の顔が認識されたことの通知を受けるまでは未認証状態に制御し、顔認識部２８からその通知を受けると認証状態に制御する。
However, the
図３に示す顔認証部２８の画像処理部２８３ａには、この複合機１０を使用する権限を有する者の顔画像から算出した顔情報があらかじめ登録されている。そして、この画像処理部２８３ａは、撮影部２８１での撮影により得られた撮影画像を受け取って、その撮影画像が、そこに顔が含まれている顔画像であるか否かを判定し、さらに、顔画像であると判定した場合には、その顔画像から顔情報を算出して、その算出した顔情報がこの複合機１０を使用する権限がある者としてあらかじめ登録されている者の顔情報と一致するか否かが判定される。これらの判定結果は、通信制御部２８３ｂに伝えられる。通信制御部２８３ｂは、画像処理部２８３ａでの判定結果を制御部２１に報告する。
In the
また、この通信制御部２８３ｂは、上述の通り、撮影部２８１での撮影で得られた撮影画像も制御部２１に送信する。制御部２１はその送信されてきた撮影画像を表示部１１に表示する。
Further, as described above, the
さらに、これも前述した通り、この通信制御部２８３ｂは、人物検出部２８２における人が接近したことや人が遠ざかったことの検知結果も制御部２１に通知する。制御部２１は、人の接近が通知されると、この複合機１０がスリープ状態にあったときはスタンバイ状態に移行させる。一方、この制御部２１は、人が遠ざかったことが通知されるとこの複合機１０をあらかじめ定められた時間経過後にスリープ状態に移行させる。
Further, as described above, the
ただし、この通信制御部２８３ｂも制御部２１による制御の下で動作する。具体的には、この通信制御部２８３ｂは、制御部２１からの指示を受けて撮影画像を送信し、また、制御部２１からの顔認識の開始、停止の指示を受けて画像処理部２８３ａに顔認識処理を開始させ、あるいは停止させる。
However, the
図４は、スタンバイ状態における処理の第１例を示すフローチャートである。 FIG. 4 is a flowchart illustrating a first example of processing in the standby state.
この複合機１０に人が近づいてきたことが検知されると、この複合機１０はスリープ状態からスタンバイ状態に移行して、この図４に示す処理が開始される。ここでは先ず、スリープ状態に移行するタイミングを知らせるスリープタイマが起動され（ステップＳ１０１）、画面更新間隔ＴがＴ＝Ｔ１にセットされ（ステップＳ１０２）、その時間Ｔが経過したタイミングで発火する画面更新タイマが起動される（ステップＳ１０４）。この画面更新間隔Ｔは、顔認識部２８での撮影画像を受け取って表示部１１に表示する画面更新処理の繰り返し間隔を意味しており、表示部１１に表示される撮影画像はその画面更新間隔Ｔごとに更新される。この画面更新処理実行中は制御部２１に備えられているＣＰＵに負荷がかかり、この画面更新処理と他の処理とが重なると他の処理の実行に長時間を要するおそれがある。ここで、画面更新間隔Ｔ＝Ｔ１は、表示部１１に表示された撮影画像が違和感なく円滑に更新される短い間隔（例えばＴ１＝３０ｍｓｅｃ）に設定されている。ちなみに、後述するステップＳ１１４で設定される画面更新間隔Ｔ＝Ｔ２は、画面が飛び飛びに更新される長い間隔（例えばＴ２＝３００ｍｓｅｃ）である。
When it is detected that a person has approached the
ステップＳ１０３において画面更新タイマが起動されると、次いで、顔認識部２８（図２，図３参照）に向けて顔認識処理の開始が指示される（ステップＳ１０４）。 When the screen update timer is started in step S103, next, the start of face recognition processing is instructed to the face recognition unit 28 (see FIGS. 2 and 3) (step S104).
次にステップＳ１０５に進むが、ここではステップＳ１０１で起動したスリープタイマの発火は未だ検知されず、ステップＳ１０５を経由してステップＳ１０７に進む。このステップＳ１０７では、顔認識部２８による顔認識の結果が取得され、この複合機１０を使用する権限を有するユーザであると認識されたか否かが判定される（ステップＳ１０８）。そして、この複合機１０を使用する権限を有するユーザであると判定されると、制御部２１はこの複合機１０を認証状態に移行させ、そのユーザがログアウトの操作を行なうまで、そのユーザの操作に対応した動作（例えばコピー動作など）を実行する（ステップＳ１０９）。ログアウトの操作が行なわれると、ステップＳ１０１に戻る。なお、このステップＳ１０９において、ユーザが操作を中断して暫く経過したとき、あるいはそのユーザが複合機１０の前を離れたことが検知されたときも、ステップＳ１０１に戻る。
Next, the process proceeds to step S105. Here, the firing of the sleep timer activated in step S101 is not detected yet, and the process proceeds to step S107 via step S105. In step S107, the result of face recognition by the
ステップＳ１０８において、顔認識部２８からユーザ認識がＮＧである（撮影画像から顔が検出されない、または、顔が認識されてもあらかじめ登録されている人の顔ではない）と判定されると、次にその撮影画像中に顔が検出されたか否かが判定される（ステップＳ１１０）。顔が検出されたときはステップＳ１１１に進み、スリープタイマが再起動される。顔が検出されたということは、使用権限のあるユーザであるとは未だ認識されていないが、この複合機１０を使用する意図があるものと考えて、このステップＳ１１１でスリープタイマを再起動し、直ぐにはスリープ状態に移行しないようにしている。
In step S108, if it is determined by the
一方、ステップＳ１１０において、顔が検出されていないことが判定されると、次にプリント指示の有無が判定される（ステップＳ１１２）。顔が検出されておらず（ステップＳ１１０）、かつプリント指示があったときは（ステップＳ１１２）、画面更新間隔ＴをＴ＝Ｔ２（Ｔ２＞Ｔ１）に広げる。これは、画面更新処理の負荷を軽減させて、その分、制御部２１内のＣＰＵでの処理を、ステップＳ１２０におけるデコンポーズ処理に振り向けるためである。
On the other hand, if it is determined in step S110 that no face has been detected, it is next determined whether or not there is a print instruction (step S112). If no face is detected (step S110) and a print instruction is issued (step S112), the screen update interval T is expanded to T = T2 (T2> T1). This is because the load of the screen update process is reduced and the process in the CPU in the
一方、ステップＳ１１２でプリント指示なしと判定されたときは、ＣＰＵの負荷を画面更新処理に振り向けても差し支えないため、画面更新間隔ＴはＴ＝Ｔ１に設定される（ステップＳ１１３）。また、顔が検出されて（ステップＳ１１０）、スリープタイマが再起動されたときも（ステップＳ１１１）、画面更新間隔ＴがＴ＝Ｔ１に設定される。 On the other hand, if it is determined in step S112 that there is no print instruction, the screen update interval T is set to T = T1 because the CPU load may be directed to the screen update process (step S113). Also, when a face is detected (step S110) and the sleep timer is restarted (step S111), the screen update interval T is set to T = T1.
ステップＳ１１３において画面更新間隔ＴをＴ＝Ｔ１に設定するのは、プリント指示を受けて（ステップＳ１１２）画面更新間隔ＴがＴ＝Ｔ２に設定され（ステップＳ１１４）、その後、そのプリント指示に応じた画像データのデコンポーズ処理（ステップＳ１２０）が終了したことによってプリント指示なし（ステップＳ１１２）と判定されるなど、ステップＳ１１３を通過する際に画面更新間隔ＴがＴ＝Ｔ２に設定されている場面があり得るからである。 In step S113, the screen update interval T is set to T = T1 in response to the print instruction (step S112), the screen update interval T is set to T = T2 (step S114), and then the print instruction is accepted. There are scenes in which the screen update interval T is set to T = T2 when passing through step S113, for example, it is determined that there is no print instruction (step S112) due to the completion of the image data decomposing process (step S120). Because you get.
ステップＳ１１３において画面更新間隔ＴがＴ＝Ｔ１に設定され、あるいはステップＳ１１４において画面更新間隔ＴがＴ＝Ｔ２に設定されると、次に画面更新タイマの発火が検知されたか否かが判定される（ステップＳ１１５）。そして、画面更新タイマの発火が検知された旨、判定されると、画面更新タイマが再起動され（ステップＳ１１６）、撮影画像の送信が顔認識部２８に指示され（ステップＳ１１７）、顔認識部２８から撮影画像を受け取り、表示部１１に新たに撮影画像を表示するための画面更新処理が実行されて、表示部１１に新たな撮影画像が表示され（ステップＳ１１８）、ステップＳ１０５に戻る。
If the screen update interval T is set to T = T1 in step S113 or the screen update interval T is set to T = T2 in step S114, it is next determined whether or not the firing of the screen update timer is detected. (Step S115). When it is determined that the firing of the screen update timer has been detected, the screen update timer is restarted (step S116), the transmission of the captured image is instructed to the face recognition unit 28 (step S117), and the face recognition unit A photographed image is received from 28, a screen update process for newly displaying the photographed image on the
一方、ステップＳ１１５において画面更新タイマの発火が検知されていないと判定されたときは、プリント指示の有無に応じて（ステップＳ１１９）、プリント指示がなかったときはそのまま、プリント指示があったときは、ある一定の短い期間だけデコンポーズ処理を実行した後（ステップＳ１２０）、ステップＳ１０５に戻る。なお、ステップＳ１１９におけるプリント指示の有無の判定は、ステップＳ１１２における判定と同じ時刻におけるプリント指示の有無を判定基準としている。すなわち、ステップＳ１１２においてプリント指示なしと判定されたときにはステップＳ１１９においてもプリント指示なしと判定され、ステップＳ１１２においてプリント指示ありと判定されたときにはステップＳ１１９においてもプリント指示ありと判定される。 On the other hand, when it is determined in step S115 that the firing of the screen update timer has not been detected, depending on the presence or absence of a print instruction (step S119), if there is no print instruction, the print instruction is issued as it is. After performing the decomposing process for a certain short period (step S120), the process returns to step S105. The determination of whether or not there is a print instruction in step S119 is based on the presence or absence of a print instruction at the same time as the determination in step S112. That is, when it is determined in step S112 that there is no print instruction, it is also determined in step S119 that there is no print instruction, and in step S112, it is determined that there is a print instruction in step S119.
ステップＳ１０５において、スリープタイマの発火が検知済であると判定され、さらにプリント指示がなかったときは（ステップＳ１０６）、このスタンバイ状態における処理を終了してスリープ状態に移行する。プリント指示があったときは（ステップＳ１０６）、この時点ではスリープ状態には移行せずに、ステップＳ１０７に進む。 In step S105, it is determined that the firing of the sleep timer has been detected, and if there is no print instruction (step S106), the processing in the standby state is terminated and the process shifts to the sleep state. If there is a print instruction (step S106), the process proceeds to step S107 without shifting to the sleep state at this point.
このように、この図４に示すフローチャートに従うと、スタンバイ状態において、顔が検出されず、かつプリント指示があったときは、画面更新処理はＴ＝Ｔ２という長周期ごとに行なわれることで画面更新処理の負荷が軽減され、その分、制御部２１におけるＣＰＵの負荷がデコンポーズ処理に振り向けられる。
As described above, according to the flowchart shown in FIG. 4, when a face is not detected and a print instruction is issued in the standby state, the screen update processing is performed every long cycle of T = T2, thereby updating the screen. The processing load is reduced, and accordingly, the CPU load in the
一方、顔が検出されていたとき、あるいは顔が検出されていなくてもプリント指示がなかったときは、Ｔ＝Ｔ１という短い周期で画面更新処理が行なわれ、表示部１１には人の動きに素早く追随する撮影画像が表示される。
On the other hand, when a face is detected, or when no print instruction is given even if a face is not detected, a screen update process is performed with a short cycle of T = T1, and the
図５は、スタンバイ状態における処理の第２例を示すフローチャートである。この図５に示す第２例以降の各フローチャートの説明にあたっては、図４に示す第１例のフローチャートのステップと同じステップには図４において付した符号と同一の符号を付して示し、図４に示す第１例との相違点について説明する。 FIG. 5 is a flowchart illustrating a second example of processing in the standby state. In the description of each flowchart after the second example shown in FIG. 5, the same steps as those in the flowchart of the first example shown in FIG. 4 are denoted by the same reference numerals as those in FIG. Differences from the first example shown in FIG.
この図５に示す第２例のフローチャートにおける、図４に示す第１例のフローチャートとの相違点は、図４のフローチャートにおけるステップＳ１０２、Ｓ１１３、Ｓ１１４が図５に示す各ステップＳ２０２、Ｓ２１３、Ｓ２１４にそれぞれ変更されている点である。 The difference between the flowchart of the second example shown in FIG. 5 and the flowchart of the first example shown in FIG. 4 is that steps S102, S113, and S114 in the flowchart of FIG. 4 are the same as steps S202, S213, and S214 shown in FIG. The points are changed respectively.
ステップＳ２０２では、撮影画像を表示部１１に表示する際の、その表示に用いる色の数Ｃが、Ｃ＝Ｃ１（例えばフルカラー）に設定される。一方、この第２例では、ステップＳ１０３およびＳ１１６で起動される画面更新タイマは、時間Ｔ（例えばＴ＝３０ｍｓｅｃ）に固定されている。
In step S202, the number C of colors used for displaying the captured image on the
ステップＳ２１３では、表示の色数ＣがＣ＝Ｃ１（例えばフルカラー）に設定され、ステップＳ２１４では色数ＣがＣ＝Ｃ２（例えば白黒）に設定される。 In step S213, the display color number C is set to C = C1 (for example, full color), and in step S214, the color number C is set to C = C2 (for example, black and white).
この図５に示す第２例によると、画面更新処理は常に等間隔（例えばＴ＝３０ｍｓｅｃ）であるが、スタンバイ状態において顔が検出されず、かつプリント指示があったときは、表示色数Ｃ＝Ｃ２（例えば白黒）で表示することで、画面更新処理に伴う負荷が軽減されている。顔が検出されたとき、あるいは顔が検出されていなくてもプリント指示がなかったときは、撮影画像は表示色数Ｃ＝Ｃ１（例えばフルカラー）で表示される。 According to the second example shown in FIG. 5, the screen update process is always at regular intervals (for example, T = 30 msec), but when the face is not detected in the standby state and a print instruction is issued, the display color number C By displaying in = C2 (for example, black and white), the load associated with the screen update process is reduced. When a face is detected or when there is no print instruction even if no face is detected, the captured image is displayed with the display color number C = C1 (for example, full color).
図６は、スタンバイ状態における処理の第３例を示すフローチャートである。 FIG. 6 is a flowchart illustrating a third example of processing in the standby state.
この図６に示す第３例のフローチャートにおける、図４に示す第１例のフローチャートとの相違点は、図４のフローチャートにおけるステップＳ１０２、Ｓ１１３、Ｓ１１４が図５に示す各ステップＳ３０２、Ｓ３１３、Ｓ３１４にそれぞれ変更されている点である。 The difference between the flowchart of the third example shown in FIG. 6 and the flowchart of the first example shown in FIG. 4 is that steps S102, S113, and S114 in the flowchart of FIG. 4 are the same as steps S302, S313, and S314 shown in FIG. The points are changed respectively.
ステップＳ３０２では、撮影画像を表示部１１に表示する際のその撮影画像の解像度ＲがＲ＝Ｒ１（例えば高精細な画像）に設定される。一方、この第３例でも、図５に示す第２例と同様、ステップＳ１０３およびＳ１１６で起動される画面更新タイマは、時間Ｔ（例えばＴ＝３０ｍｓｅｃ）に固定されている。
In step S302, the resolution R of the captured image when displaying the captured image on the
ステップＳ３１３では、表示の解像度ＲがＲ＝Ｒ１（例えば高精細な画像）に設定され、ステップＳ３１４では解像度ＲがＲ＝Ｒ２（例えばかなり荒れた画像）に設定される。 In step S313, the display resolution R is set to R = R1 (for example, a high-definition image), and in step S314, the resolution R is set to R = R2 (for example, a considerably rough image).
この図６に示す第３例によると、画面更新処理は常に等間隔（例えばＴ＝３０ｍｓｅｃ）であるが、スタンバイ状態において顔が検出されず、かつプリント指示があったときは、撮影画像が解像度Ｒ＝Ｒ２（例えば荒れた画像）で表示することで、画面更新処理に伴う負荷が軽減されている。顔が検出されたとき、あるいは顔が検出されていなくてもプリント指示がなかったときは、撮影画像は解像度Ｒ＝Ｒ１（例えば高精細な画像）で表示される。 According to the third example shown in FIG. 6, the screen update processing is always at regular intervals (for example, T = 30 msec). However, when a face is not detected in the standby state and a print instruction is issued, By displaying with R = R2 (for example, a rough image), the load associated with the screen update process is reduced. When a face is detected or when there is no print instruction even if no face is detected, the photographed image is displayed with a resolution R = R1 (for example, a high-definition image).
図７は、スタンバイ状態における処理の第４例を示すフローチャートである。 FIG. 7 is a flowchart illustrating a fourth example of processing in the standby state.
この図７に示す第４例のフローチャートにおける、図４に示す第１例のフローチャートとの相違点は、図４のフローチャートにおけるステップＳ１０１とステップＳ１０２との間に２つのステップＳ４０２ａ，Ｓ４０２ｂが追加され、ステップＳ１１２とステップＳ１１４との間に２つのステップＳ４１４ａ，Ｓ４１４ｂが追加され、さらに、ステップＳ１１１とステップＳ１１３との間に２つのステップＳ４１３ａ，Ｓ４１３ｂが追加されている点である。 The difference between the flowchart of the fourth example shown in FIG. 7 and the flowchart of the first example shown in FIG. 4 is that two steps S402a and S402b are added between step S101 and step S102 in the flowchart of FIG. Two steps S414a and S414b are added between step S112 and step S114, and two steps S413a and S413b are added between step S111 and step S113.
この図７に示す第４例は、図４に示す第１例における画面更新間隔Ｔの変更、図５に示す第２例における色数Ｃの変更、および図６に示す第３例における解像度Ｒの変更の全てを行なった例である。この図７に示す第４例のフローチャートの説明は、図４〜図６に示す第１例〜第３例の説明の重複することになるため、ここでは割愛する。 In the fourth example shown in FIG. 7, the screen update interval T in the first example shown in FIG. 4 is changed, the number of colors C in the second example shown in FIG. 5 is changed, and the resolution R in the third example shown in FIG. This is an example of making all of the changes. Since the description of the flowchart of the fourth example shown in FIG. 7 overlaps with the description of the first to third examples shown in FIGS.
この図７に示す第４例によると、スタンバイ状態において顔が検出されず、かつプリント指示があったときは、画面更新間隔ＴがＴ＝Ｔ２（長い周期）となり、また、表示色数Ｃ＝Ｃ２（例えば白黒）かつ解像度Ｒ＝Ｒ２（例えば粗い画像）で表示することで、画面更新処理に伴う負荷が大きく軽減されている。顔が検出されたとき、あるいは顔が検出されていなくてもプリント指示がなかったときは、画像更新間隔Ｔ＝Ｔ１（短い周期）となり、かつ表示色数Ｃ＝Ｃ１（例えばフルカラー）および解像度Ｒ＝Ｒ１（例えば高精細な画像）で表示される。 According to the fourth example shown in FIG. 7, when a face is not detected in the standby state and a print instruction is issued, the screen update interval T is T = T2 (long cycle), and the number of display colors C = By displaying at C2 (for example, black and white) and resolution R = R2 (for example, a rough image), the load associated with the screen update process is greatly reduced. When a face is detected or when there is no print instruction even if no face is detected, the image update interval T = T1 (short cycle), and the number of display colors C = C1 (for example, full color) and resolution R = R1 (for example, a high-definition image) is displayed.
図８は、スタンバイ状態における処理の第５例を示すフローチャートである。 FIG. 8 is a flowchart showing a fifth example of processing in the standby state.
この図８に示す第５例における、図４に示す第１例との相違点は、図４のフローチャート上のステップＳ１１２が省かれている点である。 The fifth example shown in FIG. 8 is different from the first example shown in FIG. 4 in that step S112 on the flowchart of FIG. 4 is omitted.
すなわち、この図８に示す第５例によれば、プリント指示の有無の如何によらず、顔検出の有無のみにより、顔が検出されたときは画面更新間隔ＴがＴ＝Ｔ１（短い期間）に設定され、顔が検出されないときは画面更新間隔ＴがＴ＝Ｔ２（長い期間）に設定される。 That is, according to the fifth example shown in FIG. 8, the screen update interval T is T = T1 (short period) when a face is detected only by the presence / absence of face detection regardless of the presence / absence of a print instruction. When the face is not detected, the screen update interval T is set to T = T2 (long period).
このように、本発明において最も単純には、顔が検出されたか否か、という点のみに応じて、画面更新処理に振り向ける負荷を変更してもよい。 As described above, in the present invention, the load that is directed to the screen update process may be changed only depending on whether or not a face has been detected.
なお、この図８では、画面更新間隔Ｔの変更を取り上げて説明したが、顔が検出されたか否かという点に応じた画面更新処理の変更は、色数や解像度など、他の要素、あるいはそれらの複合であってもよい。 In FIG. 8, the change in the screen update interval T has been described. However, the change in the screen update process depending on whether or not a face has been detected may include other factors such as the number of colors and resolution, or It may be a composite of them.
また、図４〜図７に示す各例では、プリント処理の有無を例に挙げて画面更新処理の負荷を変更しているが、画面更新処理の負荷の変更を、プリント処理のみでなく、ファクシミリ受信処理など、他の処理の有無によって行ってもよい。 In each example shown in FIGS. 4 to 7, the load of the screen update process is changed taking the presence or absence of the print process as an example. However, the load of the screen update process is changed not only in the print process but also in the facsimile. You may perform by the presence or absence of other processes, such as a reception process.
さらに、ここでは、図１に示す複合機１０に本発明を適用した例について説明したが、本発明は、複合機のみに適用されるものではなく、顔認証機能付の様々な機器に適用することができる。
Furthermore, although an example in which the present invention is applied to the
１０ 複合機
１０Ａ ＵＩ（Ｕｓｅｒ Ｉｎｔｅｒｆａｃｅ）
１１ 表示部
１２ 操作部
１３ カメラ
１４ 赤外線センサ
２１ 制御部
２２ 通信部
２３ ファクシミリ送受信部
２４ 画像読取部
２５ 画像形成部
２６ 電力制御部
２７ 記憶部
２８ 顔認識部
５０Ａ，・・・，５０Ｎ ＰＣ（パーソナルコンピュータ）
５１ 通信回線
５２ 電話回線
２８１ 顔撮影部
２８２ 人物検出部
２８３ 認証処理部
２８３ａ 画像処理部
２８３ｂ 通信制御部
10
DESCRIPTION OF
51
Claims (5)
画像を表示する表示部と、
前記カメラで得られた撮影画像を、前記表示部に、前記顔認識部により該撮影画像が顔画像であると認識された場合には第１の表示態様で表示させ、顔画像とは認識されない場合には、該第１の表示態様よりも表示処理負荷の小さい第２の表示態様で表示させる表示制御部とを備えたことを特徴とする顔認証機能付機器。 A camera directed to a person standing in front is provided, and whether or not the captured image obtained by the camera is a face image obtained by photographing the person's face, and the face image is registered in advance A face recognition unit for recognizing whether the image is a human face image;
A display for displaying an image;
The captured image obtained by the camera is displayed on the display unit in the first display mode when the captured image is recognized as a face image by the face recognition unit, and is not recognized as a face image. In the case, a device with a face authentication function, comprising: a display control unit configured to display in a second display mode having a display processing load smaller than that of the first display mode.
外部機器との間の通信を担う通信部とをさらに備え、
当該顔認証機能付機器が、前記操作部での操作を契機として実行される第１種類の処理と前記通信部による外部機器との間の通信を契機として実行される第２種類の処理との双方の処理を実行する機器であって、
前記表示制御部は、前記第２種類の処理のうちの少なくとも一部種類の処理の実行中を除き、前記カメラで得られた撮影画像が前記顔認識部により顔画像とは認識されない場合であっても、該撮影画像を、前記表示部に、前記第１の表示態様で表示させるものであることを特徴とする請求項１記載の顔認証機能付機器。 An operation unit that receives a human operation;
A communication unit that is responsible for communication with external devices;
The device with face authentication function includes a first type of process executed when triggered by an operation at the operation unit and a second type of process executed when triggered by communication between the communication unit and an external device. A device that executes both processes,
The display control unit is a case where a captured image obtained by the camera is not recognized as a face image by the face recognition unit, except when at least a part of the second type of processing is being executed. 2. The device with face authentication function according to claim 1, wherein the captured image is displayed on the display unit in the first display mode.
前記表示制御部は、前記通信部で受信した画像データをプリント出力形式の画像データに変換するデコンポーズ処理を前記少なくとも一部種類の処理とし、前記顔認識部により前記撮影画像が顔画像とは認識されず、かつ該デコンポーズ処理の実行期間中は、前記撮影画像を前記表示部に前記第２の表示態様で表示させるものであることを特徴とする請求項２記載の顔認証機能付機器。 The device with face authentication function is a device having a print function for printing out an image based on image data received by the communication unit on paper,
The display control unit uses a decomposing process for converting the image data received by the communication unit into image data in a print output format as the at least some types of processes, and the face recognition unit recognizes the captured image as a face image. 3. The apparatus with face authentication function according to claim 2, wherein the captured image is displayed on the display unit in the second display mode during the execution of the decomposing process.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2015023979A JP6439478B2 (en) | 2015-02-10 | 2015-02-10 | Device with face recognition function |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2015023979A JP6439478B2 (en) | 2015-02-10 | 2015-02-10 | Device with face recognition function |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2016148895A true JP2016148895A (en) | 2016-08-18 |
| JP6439478B2 JP6439478B2 (en) | 2018-12-19 |
Family
ID=56687925
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2015023979A Active JP6439478B2 (en) | 2015-02-10 | 2015-02-10 | Device with face recognition function |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP6439478B2 (en) |
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2020166269A (en) * | 2019-03-29 | 2020-10-08 | 株式会社港石材 | Image display system |
| US10834461B1 (en) | 2019-04-22 | 2020-11-10 | Lenovo (Singapore) Pte. Ltd. | Electronic apparatus, control method, and program |
| JP2020187092A (en) * | 2019-05-17 | 2020-11-19 | レノボ・シンガポール・プライベート・リミテッド | Electronic device, control method, and program |
| US11669142B2 (en) | 2021-05-31 | 2023-06-06 | Lenovo (Singapore) Pte. Ltd. | Electronic apparatus and control method that accurately detect human faces |
| EP4386689A1 (en) | 2022-12-14 | 2024-06-19 | Lenovo (Singapore) Pte. Ltd. | Information processing apparatus and control method |
Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2005084991A (en) * | 2003-09-09 | 2005-03-31 | Nec Corp | Terminal user monitoring system |
| JP2007096407A (en) * | 2005-09-27 | 2007-04-12 | Toshiba Corp | Digital broadcast receiver |
| JP2007279603A (en) * | 2006-04-11 | 2007-10-25 | Ricoh Co Ltd | Image processor and processing method, and image forming apparatus |
| JP2010160609A (en) * | 2009-01-07 | 2010-07-22 | Canon Inc | Information processor, method for controlling the same, storage medium and program |
| JP2011056841A (en) * | 2009-09-11 | 2011-03-24 | Fuji Xerox Co Ltd | Image forming apparatus and program |
| JP5561418B1 (en) * | 2013-08-09 | 2014-07-30 | 富士ゼロックス株式会社 | Image processing apparatus and program |
| JP2015011537A (en) * | 2013-06-28 | 2015-01-19 | 富士ゼロックス株式会社 | Power control device, image processing device and program |
-
2015
- 2015-02-10 JP JP2015023979A patent/JP6439478B2/en active Active
Patent Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2005084991A (en) * | 2003-09-09 | 2005-03-31 | Nec Corp | Terminal user monitoring system |
| JP2007096407A (en) * | 2005-09-27 | 2007-04-12 | Toshiba Corp | Digital broadcast receiver |
| JP2007279603A (en) * | 2006-04-11 | 2007-10-25 | Ricoh Co Ltd | Image processor and processing method, and image forming apparatus |
| JP2010160609A (en) * | 2009-01-07 | 2010-07-22 | Canon Inc | Information processor, method for controlling the same, storage medium and program |
| JP2011056841A (en) * | 2009-09-11 | 2011-03-24 | Fuji Xerox Co Ltd | Image forming apparatus and program |
| JP2015011537A (en) * | 2013-06-28 | 2015-01-19 | 富士ゼロックス株式会社 | Power control device, image processing device and program |
| JP5561418B1 (en) * | 2013-08-09 | 2014-07-30 | 富士ゼロックス株式会社 | Image processing apparatus and program |
Cited By (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2020166269A (en) * | 2019-03-29 | 2020-10-08 | 株式会社港石材 | Image display system |
| US10834461B1 (en) | 2019-04-22 | 2020-11-10 | Lenovo (Singapore) Pte. Ltd. | Electronic apparatus, control method, and program |
| JP2020187092A (en) * | 2019-05-17 | 2020-11-19 | レノボ・シンガポール・プライベート・リミテッド | Electronic device, control method, and program |
| US11314306B2 (en) | 2019-05-17 | 2022-04-26 | Lenovo (Singapore) Pte. Ltd. | Electronic apparatus and control method |
| US11669142B2 (en) | 2021-05-31 | 2023-06-06 | Lenovo (Singapore) Pte. Ltd. | Electronic apparatus and control method that accurately detect human faces |
| EP4386689A1 (en) | 2022-12-14 | 2024-06-19 | Lenovo (Singapore) Pte. Ltd. | Information processing apparatus and control method |
Also Published As
| Publication number | Publication date |
|---|---|
| JP6439478B2 (en) | 2018-12-19 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP6439478B2 (en) | Device with face recognition function | |
| US10642555B2 (en) | Image processing system, method, and non-transitory computer readable medium | |
| US9406006B2 (en) | Power controlling device, image processing apparatus, computer readable medium, and power controlling method | |
| US10205853B2 (en) | Authentication apparatus, image forming apparatus, authentication method, and image forming method | |
| US8508771B2 (en) | Control of job information recording based on whether logged in user changes | |
| US9363417B2 (en) | Information processing system, input/output device, and authentication method | |
| JP4687773B2 (en) | Projection system | |
| US10489097B2 (en) | Image processing device and non-transitory computer readable medium | |
| US20150047018A1 (en) | Image processing apparatus, image processing method, and non-transitory computer readable medium | |
| US9639300B2 (en) | Image forming apparatus and method for activating scanned data processor based on captured image | |
| US20170163829A1 (en) | Image processing apparatus, method for controlling image processing apparatus, electronic apparatus, and non-transitory recording medium | |
| US20190182400A1 (en) | Image forming apparatus, storage medium, and control method | |
| US11184490B2 (en) | Image forming apparatus, non-transitory computer-readable medium, and control method | |
| JP2017209815A (en) | Image forming system, image processing device to be used for this, control method thereof, and program | |
| JP2018197980A (en) | Image display device, image forming device, control program, and control method | |
| US11758070B2 (en) | Operating an image forming apparatus with a visible code | |
| JP6499899B2 (en) | Image forming apparatus | |
| JP5854081B2 (en) | Image processing device | |
| US10341525B2 (en) | Image forming system, communication terminal, and non-transitory computer-readable storage medium | |
| JP6455042B2 (en) | Scan job execution system, image processing apparatus, scan job execution method, and program | |
| JP5812170B1 (en) | Image display apparatus and program | |
| JP2016157352A (en) | Image forming apparatus using smartphone | |
| US10230860B2 (en) | Authentication apparatus for carrying out authentication based on captured image, authentication method and server | |
| JP2015035179A (en) | Image processor and program | |
| JP2019142125A (en) | Image forming device, control method thereof, and program |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20180116 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20180920 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20181023 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20181105 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 6439478 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| S533 | Written request for registration of change of name |
Free format text: JAPANESE INTERMEDIATE CODE: R313533 |
|
| R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |