JP2021153919A - Mirror with display monitor function - Google Patents

Mirror with display monitor function Download PDF

Info

Publication number
JP2021153919A
JP2021153919A JP2020058100A JP2020058100A JP2021153919A JP 2021153919 A JP2021153919 A JP 2021153919A JP 2020058100 A JP2020058100 A JP 2020058100A JP 2020058100 A JP2020058100 A JP 2020058100A JP 2021153919 A JP2021153919 A JP 2021153919A
Authority
JP
Japan
Prior art keywords
mirror
face
unit
image
display
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2020058100A
Other languages
Japanese (ja)
Other versions
JP7432421B2 (en
Inventor
真宏 飛田
Masahiro Tobita
真宏 飛田
智和 戸屋
Tomokazu Toya
智和 戸屋
雅章 町田
Masaaki Machida
雅章 町田
健太 田中
Kenta Tanaka
健太 田中
瑞穂 丸山
Mizuho Maruyama
瑞穂 丸山
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Lixil Corp
Original Assignee
Lixil Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Lixil Corp filed Critical Lixil Corp
Priority to JP2020058100A priority Critical patent/JP7432421B2/en
Publication of JP2021153919A publication Critical patent/JP2021153919A/en
Application granted granted Critical
Publication of JP7432421B2 publication Critical patent/JP7432421B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Image Analysis (AREA)
  • Mirrors, Picture Frames, Photograph Stands, And Related Fastening Devices (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Studio Devices (AREA)

Abstract

To provide a mirror with a display monitor function that can display an image of user's face captured by a camera on a display part separately from a mirror image.SOLUTION: A mirror with a display monitor function is a mirror door 4 that includes: a mirror part; a camera 15 for outputting an image signal of a position where a subject person stands in front of the mirror part; a face detection part for always detecting a face of a person from the image signal by the camera 15; and a display part 10 provided in at least part of a region in the mirror part and displaying an image of a face range, which is a range of the image signal including a face of a person detected by the face detection part, in a position that can be seen from the subject person.SELECTED DRAWING: Figure 6

Description

本開示は，ディスプレイモニタ機能付きミラーに関するものである。 The present disclosure relates to a mirror with a display monitor function.

従来から，ミラーと，ミラー部の少なくとも一部の領域に設けられ画像を表示する表示部とを有するディスプレイモニタ機能付きミラーが知られている。特許文献１に記載されている「情報表示装置」を用いてそのように構成することができる。同文献の情報表示装置ではあらかじめ，人の動きを示すコンテンツ映像を用意している。ユーザーの各部位の鏡映像上の位置を検出して，検出された位置にコンテンツ映像の同じ部位を重ねて表示するようにしている。 Conventionally, a mirror with a display monitor function having a mirror and a display unit provided in at least a part of the mirror unit to display an image has been known. It can be configured as such by using the "information display device" described in Patent Document 1. In the information display device of the same document, a content video showing the movement of a person is prepared in advance. The position of each part of the user on the mirror image is detected, and the same part of the content image is superimposed and displayed on the detected position.

特開2010-15127号公報Japanese Unexamined Patent Publication No. 2010-15127

洗面化粧台のミラーをこのようなディスプレイモニタ機能付きミラーで置き替えることが考えられる。しかし従来のものをそのまま洗面化粧台に適用しても，ユーザー自身をカメラで撮影した画像を表示部に表示できることにはならない。このためディスプレイモニタ機能を十分に活かしているとは言い難い。 It is conceivable to replace the mirror of the vanity with such a mirror with a display monitor function. However, even if the conventional one is applied to the vanity as it is, the image of the user himself taken by the camera cannot be displayed on the display unit. Therefore, it is hard to say that the display monitor function is fully utilized.

本明細書の開示技術は，前記した従来の技術が有する問題点を解決するためになされたものである。すなわちその課題とするところは，ユーザー自身の顔をカメラで撮影した画像を鏡映像とは別に表示部に表示することができるディスプレイモニタ機能付きミラーを提供することにある。 The disclosure technique of the present specification has been made to solve the problems of the above-mentioned conventional technique. That is, the problem is to provide a mirror with a display monitor function that can display an image of the user's own face taken by the camera on the display unit separately from the mirror image.

本開示技術の一態様におけるディスプレイモニタ機能付きミラーは，ミラー部と，ミラー部の前に立つ被写体人物が立つ位置の画像信号を出力するカメラと，カメラによる画像信号から人の顔を常に検出する顔検出部と，ミラー部の少なくとも一部の領域に設けられ画像信号のうち顔検出部で検出された人の顔を含む範囲である顔範囲の画像を，被写体人物から見える位置に表示する表示部とを有している。 The mirror with a display monitor function in one aspect of the present disclosure technology always detects a human face from a mirror unit, a camera that outputs an image signal of a position where a subject person standing in front of the mirror unit stands, and an image signal obtained by the camera. A display that displays an image of the face range provided in at least a part of the area of the face detection unit and the mirror unit, which is a range including the human face detected by the face detection unit among the image signals, at a position visible to the subject person. It has a part.

実施の形態に係る洗面化粧台の正面斜視図である。It is a front perspective view of the vanity according to an embodiment. 洗面化粧台にディスプレイモニタ機能付きミラー扉を取り付ける状態を示す斜視図である。It is a perspective view which shows the state which attaches the mirror door with a display monitor function to a vanity. 実施の形態に係るディスプレイモニタ機能付きミラー扉の後面板を外した状態での背面図である。It is a rear view in the state which the rear surface plate of the mirror door with a display monitor function which concerns on embodiment is removed. 実施の形態に係るディスプレイモニタ機能付きミラー扉の制御ブロック図である。It is a control block diagram of the mirror door with a display monitor function which concerns on embodiment. ユーザーを含めて示す洗面化粧台の側面図である。It is a side view of the vanity which shows including the user. 顔抽出モードでのカメラの視野全体の画像と表示部の表示画像との関係を示す模式図である。It is a schematic diagram which shows the relationship between the image of the whole field of view of a camera in face extraction mode, and the display image of a display part. 顔抽出モードでの特徴パーツの検出およびサイズ決定を示す模式図である。It is a schematic diagram which shows the detection and size determination of a feature part in a face extraction mode. 遅延モードかつ顔抽出モードでのカメラの撮像画像と表示部の表示画像との関係を示す模式図である。It is a schematic diagram which shows the relationship between the image taken by the camera in the delay mode and the face extraction mode, and the display image of a display part.

本開示技術を具体化した実施の形態について，添付図面を参照しつつ詳細に説明する。本形態は，図１に示す洗面化粧台１にて本開示技術を具体化したものである。洗面化粧台１は，ミラーキャビネット２と，洗面カウンター１１と，下部キャビネット１２とを有している。洗面カウンター１１には洗面ボウル１１１や水栓１１３が設けられている。ミラーキャビネット２は，洗面ボウル１１１より奥側で洗面カウンター１１の上方に配置される鏡付きの収納部である。ミラーキャビネット２は，ミラー扉部３とキャビネット本体５とを有している。 An embodiment embodying the disclosed technology will be described in detail with reference to the accompanying drawings. In this embodiment, the disclosed technology is embodied in the vanity 1 shown in FIG. The vanity 1 has a mirror cabinet 2, a wash counter 11, and a lower cabinet 12. The wash counter 11 is provided with a wash bowl 111 and a faucet 113. The mirror cabinet 2 is a storage unit with a mirror arranged above the wash counter 11 on the back side of the wash bowl 111. The mirror cabinet 2 has a mirror door portion 3 and a cabinet body 5.

ミラー扉部３はミラーキャビネット２の前面に配置されており，第１ミラー扉３１，第２ミラー扉３２，第３ミラー扉４の三枚の長方形の鏡による三面鏡型のものである。第３ミラー扉４は，ディスプレイモニタ機能付きミラーであり，後述する表示部１０を有している。第３ミラー扉４は，三枚の鏡のうちユーザーから見て右端に位置するものである。 The mirror door portion 3 is arranged in front of the mirror cabinet 2, and is a three-sided mirror type with three rectangular mirrors of a first mirror door 31, a second mirror door 32, and a third mirror door 4. The third mirror door 4 is a mirror with a display monitor function, and has a display unit 10 described later. The third mirror door 4 is located at the right end of the three mirrors when viewed from the user.

図２に示すように第３ミラー扉４は，蝶番４４によりキャビネット本体５に対して開閉可能かつ脱着可能に取り付けられている。キャビネット本体５には第３ミラー扉４の取り付けのための蝶番用台座部５３１が設けられている。キャビネット本体５における第３ミラー扉４により閉鎖される背後には，収納棚５３が設けられている。図示での説明は省略するが第１ミラー扉３１，第２ミラー扉３２も，キャビネット本体５に対して開閉可能でありそれらの背後には収納スペースが設けられている。 As shown in FIG. 2, the third mirror door 4 is attached to the cabinet body 5 by a hinge 44 so as to be openable and closable and detachable. The cabinet body 5 is provided with a hinge pedestal 531 for attaching the third mirror door 4. A storage shelf 53 is provided behind the cabinet body 5 closed by the third mirror door 4. Although the description in the illustration is omitted, the first mirror door 31 and the second mirror door 32 can also be opened and closed with respect to the cabinet body 5, and a storage space is provided behind them.

図２に示されるように第３ミラー扉４は，ミラー部４１と，後面板４２と，支持体４３とが重ね合わせられたものである。ミラー部４１は，図１の状態で正面から見える部分である。ミラー部４１はハーフミラーである。ミラー部４１を正面から普通に見ると第１ミラー扉３１，第２ミラー扉３２と同様に鏡面状である。後面板４２からコードが出ておりその先に電源アダプタ４５が取り付けられている。電源アダプタ４５は電源プラグ４６を有している。キャビネット本体５の内部には差し込みプラグ穴７が設けられている。差し込みプラグ穴７に電源プラグ４６を挿し込むことで電源アダプタ４５に商用電力が供給されるようになっている。 As shown in FIG. 2, the third mirror door 4 is formed by superimposing the mirror portion 41, the rear surface plate 42, and the support 43. The mirror portion 41 is a portion that can be seen from the front in the state shown in FIG. The mirror unit 41 is a half mirror. When the mirror portion 41 is normally viewed from the front, it looks like a mirror surface like the first mirror door 31 and the second mirror door 32. A cord comes out from the rear plate 42, and the power adapter 45 is attached to the cord. The power adapter 45 has a power plug 46. An insertion plug hole 7 is provided inside the cabinet body 5. Commercial power is supplied to the power adapter 45 by inserting the power plug 46 into the insertion plug hole 7.

第３ミラー扉４について図３により説明する。図３では第３ミラー扉４を，後面板４２および電源アダプタ４５を取り外した状態で背面側から見て示している。図３に見るように，第３ミラー扉４におけるミラー部４１の裏面には，液晶ケース１３，制御部１４，カメラ１５，スピーカ１６，中継基板１７，操作部１８が配置されている。 The third mirror door 4 will be described with reference to FIG. FIG. 3 shows the third mirror door 4 as viewed from the rear side with the rear surface plate 42 and the power adapter 45 removed. As seen in FIG. 3, a liquid crystal case 13, a control unit 14, a camera 15, a speaker 16, a relay board 17, and an operation unit 18 are arranged on the back surface of the mirror unit 41 in the third mirror door 4.

液晶ケース１３は，その液晶画面をミラー部４１の方へ向けている。図３中に見えているのは液晶ケース１３の裏面である。液晶ケース１３は，第３ミラー扉４における正面から見た一部の領域を図１中の表示部１０として機能させる部品である。カメラ１５は，洗面化粧台１の前にいるユーザーの姿を撮像するものである。本形態でのカメラ１５は，ハーフミラーであるミラー部４１を透してユーザーの姿を撮像する。スピーカ１６は，音声を発するものである。ただし本開示技術では音声機能は使用しない。制御部１４は，液晶ケース１３やカメラ１５を制御する基板である。スピーカ１６を使用する場合にはその制御も行う。操作部１８は，中継基板１７に対する指示をユーザーが入力するためのものである。中継基板１７は，制御部１４と操作部１８，および前述の電源アダプタ４５を接続するものである。 The liquid crystal case 13 has its liquid crystal screen directed toward the mirror unit 41. What is visible in FIG. 3 is the back surface of the liquid crystal case 13. The liquid crystal case 13 is a component that causes a part of the area of the third mirror door 4 viewed from the front to function as the display unit 10 in FIG. The camera 15 captures the image of the user in front of the vanity 1. The camera 15 in this embodiment captures the image of the user through the mirror unit 41, which is a half mirror. The speaker 16 emits sound. However, the voice function is not used in the disclosed technology. The control unit 14 is a substrate that controls the liquid crystal case 13 and the camera 15. When the speaker 16 is used, it is also controlled. The operation unit 18 is for the user to input an instruction to the relay board 17. The relay board 17 connects the control unit 14, the operation unit 18, and the power adapter 45 described above.

第３ミラー扉４の制御系は図４のブロック図に示されるように構成されている。図４中の外部接続部１９は，制御部１４を外部のメディアと接続するためのものである。ただし本開示技術ではこの機能は使用しない。スピーカ１６は図４中では省略している。本形態における制御部１４には，顔検出部２０と遅延部２１とが設けられている。顔検出部２０にはさらに，パーツ検出部２４，中心決定部２５，顔サイズ決定部２６，範囲サイズ決定部２７が設けられている。これらの機能については後述する。 The control system of the third mirror door 4 is configured as shown in the block diagram of FIG. The external connection unit 19 in FIG. 4 is for connecting the control unit 14 to an external medium. However, this disclosed technology does not use this function. The speaker 16 is omitted in FIG. The control unit 14 in this embodiment is provided with a face detection unit 20 and a delay unit 21. The face detection unit 20 is further provided with a parts detection unit 24, a center determination unit 25, a face size determination unit 26, and a range size determination unit 27. These functions will be described later.

本形態に係る洗面化粧台１は，液晶ケース１３の表示機能を使用しない状態では，普通の三面鏡型の洗面化粧台である。その状態では，図５に示すユーザー２２から見て，第１ミラー扉３１，第２ミラー扉３２，第３ミラー扉４のいずれもが鏡である。その状態では表示部１０の部分も他の部分と変わりない。ユーザーには，表示部１０の部分にも鏡映反射像が見えることになる。 The vanity 1 according to the present embodiment is an ordinary three-sided mirror-type vanity when the display function of the liquid crystal case 13 is not used. In that state, the first mirror door 31, the second mirror door 32, and the third mirror door 4 are all mirrors when viewed from the user 22 shown in FIG. In that state, the part of the display unit 10 is the same as the other parts. The user can also see the reflected reflection image on the display unit 10.

液晶ケース１３の表示機能をオンすると，第３ミラー扉４がディスプレイモニタ機能付きミラーとして機能する状態となる。この状態ではユーザーから見て第３ミラー扉４のうち表示部１０の部分には，鏡映反射像はほとんど見えず，液晶ケース１３の表示画面の画像が見えることになる。液晶ケース１３の表示画面には発光性があるため，ハーフミラーであるミラー部４１による鏡映反射像よりも明度のコントラストが強いからである。 When the display function of the liquid crystal case 13 is turned on, the third mirror door 4 is in a state of functioning as a mirror with a display monitor function. In this state, the reflected reflection image is hardly visible on the display unit 10 of the third mirror door 4 when viewed from the user, and the image of the display screen of the liquid crystal case 13 can be seen. This is because the display screen of the liquid crystal case 13 has light emission, and therefore has a stronger contrast of brightness than the reflected image reflected by the mirror unit 41, which is a half mirror.

液晶ケース１３により表示部１０に表示される画像は，カメラ１５による撮影画像である。カメラ１５が出力する画像信号に基づき制御部１４が液晶ケース１３を駆動することで，表示部１０に画像が表示される。液晶ケース１３の表示機能をオンにしても表示部１０以外の部分には鏡映反射像が見え続ける。その鏡映反射像とは別に表示部１０にカメラ１５に基づく画像が表示されるのである。カメラ１５は画像信号を連続的に出力することができる。その場合，洗面化粧台１の前でユーザー２２が動くと，表示部１０の表示画像中のユーザー２２の姿もそれに伴って動くことになる。ユーザーは操作部１８により，液晶ケース１３の表示機能のオンオフを切り替えることができる。 The image displayed on the display unit 10 by the liquid crystal case 13 is an image taken by the camera 15. The control unit 14 drives the liquid crystal case 13 based on the image signal output by the camera 15, so that the image is displayed on the display unit 10. Even if the display function of the liquid crystal case 13 is turned on, the reflected reflection image continues to be visible in the portion other than the display unit 10. An image based on the camera 15 is displayed on the display unit 10 separately from the reflected reflection image. The camera 15 can continuously output image signals. In that case, when the user 22 moves in front of the vanity 1, the figure of the user 22 in the display image of the display unit 10 also moves accordingly. The user can switch the display function of the liquid crystal case 13 on and off by the operation unit 18.

液晶ケース１３の表示機能による表示部１０への画像表示については，モードの切り替えが可能である。本形態におけるモードの切り替えには，表示画像の内容についての全視野モードと顔抽出モードとの切り替えと，表示画像のタイミングについての非遅延モードと遅延モードとの切り替えとの２通りがある。これらのモード切り替えも，ユーザーが操作部１８を操作することでできるようになっている。 The mode can be switched for displaying an image on the display unit 10 by the display function of the liquid crystal case 13. There are two types of mode switching in this embodiment: switching between the full-field mode and the face extraction mode for the content of the display image, and switching between the non-delay mode and the delay mode for the timing of the display image. These modes can also be switched by the user operating the operation unit 18.

全視野モードと顔抽出モードとの切り替えについて説明する。このモード切替は，カメラ１５の視野のうち表示部１０に表示する範囲の広狭についての切り替えである。全視野モードは，カメラ１５の視野全体の画像をそのまま表示部１０に表示するモードである。顔抽出モードは図６に示すように，カメラ１５の視野全体のうち人の顔の部分を抽出してその部分を拡大して表示部１０に表示するモードである。顔抽出モードは，図４に示した顔検出部２０による機能である。 Switching between the full field of view mode and the face extraction mode will be described. This mode switching is switching for a wide or narrow range of the field of view of the camera 15 to be displayed on the display unit 10. The full field of view mode is a mode in which the image of the entire field of view of the camera 15 is displayed as it is on the display unit 10. As shown in FIG. 6, the face extraction mode is a mode in which a human face portion is extracted from the entire field of view of the camera 15 and the portion is enlarged and displayed on the display unit 10. The face extraction mode is a function of the face detection unit 20 shown in FIG.

顔抽出モードでは，カメラ１５の視野全体の画像中における人の顔の存在を検出し，存在する場合にはその位置を決定する。具体的には図７に示すように，人の顔に含まれる特徴的なパーツを検出することで人の顔を検出する。このためパーツ検出部２４には，目，口，等の特徴パーツのパターンデータが格納されている。画像中にパターンデータとマッチングする位置があると，その位置に当該特徴パーツがあると認識する。図７の例では，目３３を検出している。 In the face extraction mode, the presence of a human face in the image of the entire field of view of the camera 15 is detected, and if it is present, its position is determined. Specifically, as shown in FIG. 7, the human face is detected by detecting characteristic parts contained in the human face. Therefore, the parts detection unit 24 stores pattern data of characteristic parts such as eyes and mouth. If there is a position in the image that matches the pattern data, it is recognized that the feature part is at that position. In the example of FIG. 7, the eye 33 is detected.

特徴パーツが検出されると，その位置に基づいて顔の中心位置を決定する。このため中心決定部２５には，特徴パーツの位置と中心位置との関係が格納されている。検出された特徴パーツ３３の位置に当該関係を当てはめることで，顔の中心位置３４が決定される。図７の例では顔の中心位置３４が鼻の位置と一致しているがこれは偶然である。 When a feature part is detected, the center position of the face is determined based on the position. Therefore, the center determination unit 25 stores the relationship between the position of the feature part and the center position. By applying the relationship to the positions of the detected feature parts 33, the center position 34 of the face is determined. In the example of FIG. 7, the center position 34 of the face coincides with the position of the nose, which is a coincidence.

顔抽出モードでは顔のサイズの決定も行う。このため顔サイズ決定部２６には人の顔の一般的な輪郭の図形が格納されている。検出された特徴パーツ３３の位置の周囲に輪郭の図形を当てはめてマッチングさせることで，顔の輪郭３６の上下サイズＨ１および左右サイズＷ１を決定する。 The face extraction mode also determines the size of the face. Therefore, the face size determining unit 26 stores a general contour figure of a human face. The vertical size H1 and the horizontal size W1 of the facial contour 36 are determined by applying and matching the contour figure around the position of the detected feature part 33.

さらに，顔を含み表示部１０に表示する範囲である顔範囲のサイズを決定する。このため範囲サイズ決定部２７には，顔の輪郭のサイズと顔範囲のサイズとの関係が格納されている。この関係は，顔範囲のサイズを顔の輪郭のサイズで割った比率である。この比率は，１．２〜１．８倍の範囲内の固定値である。この比率についてユーザーの操作による調節を許容してもよい。決定されている顔の輪郭の上下サイズＨ１および左右サイズＷ１に当該比率を掛けることで，顔範囲の上下サイズＨ２および左右サイズＷ２が決定される。顔範囲の中心位置は前述の顔の中心位置３４と同じ位置である。 Further, the size of the face range including the face, which is the range to be displayed on the display unit 10, is determined. Therefore, the range size determination unit 27 stores the relationship between the size of the contour of the face and the size of the face range. This relationship is the ratio of the size of the face range divided by the size of the contour of the face. This ratio is a fixed value in the range of 1.2 to 1.8 times. This ratio may be adjusted by the user's operation. By multiplying the determined vertical size H1 and left / right size W1 of the facial contour by the ratio, the vertical size H2 and the left / right size W2 of the face range are determined. The center position of the face range is the same as the center position 34 of the face described above.

上記のような顔の輪郭のサイズに対する比例的な拡大の替わりに，上下左右の拡大幅を長さ単位または画素数単位で固定的に定めておいてもよい。上下サイズと左右サイズとの一方のみを検出し，もう一方については固定比により算出する方法でもよい。 Instead of the proportional enlargement with respect to the size of the contour of the face as described above, the enlargement width in the vertical and horizontal directions may be fixedly determined in units of length or number of pixels. A method may be used in which only one of the vertical size and the horizontal size is detected and the other is calculated by a fixed ratio.

顔抽出モードで表示部１０に表示されるのは，顔の中心位置３４を中心とする上下サイズＨ２および左右サイズＷ２の顔範囲の画像を，表示部１０のサイズに拡大した画像である。これが顔抽出モードである。上記において，特徴パーツは目３３に限らない。口３５や輪郭３６を特徴パーツとして用いることもできる。後述する横顔や後ろから見た頭部の画像を認識できる特徴パーツがあってもよい。複数種類の特徴パーツを併用してもよい。本形態における人の顔の検出は，その存在，位置，サイズを検出するものであり，個人の識別を目的とするものではない。 What is displayed on the display unit 10 in the face extraction mode is an image obtained by enlarging the image of the face range of the vertical size H2 and the horizontal size W2 centered on the center position 34 of the face to the size of the display unit 10. This is the face extraction mode. In the above, the feature parts are not limited to the eyes 33. The mouth 35 and the contour 36 can also be used as feature parts. There may be feature parts that can recognize images of the profile and the head seen from behind, which will be described later. Multiple types of feature parts may be used together. The detection of a human face in this embodiment is to detect its existence, position, and size, and is not intended to identify an individual.

全視野モードでは，ユーザー２２が洗面化粧台１の前に立ったとき，表示部１０の表示内容のうち顔の位置，特に上下方向における位置は，ユーザー２２の身長により異なる。顔抽出モードでは，ユーザー２２が洗面化粧台１の前に立つと，ユーザー２２の身長に関わらずその顔範囲の画像が表示部１０に表示される。 In the full-field mode, when the user 22 stands in front of the vanity 1, the position of the face, particularly the position in the vertical direction, among the display contents of the display unit 10 differs depending on the height of the user 22. In the face extraction mode, when the user 22 stands in front of the vanity 1, an image of the face range is displayed on the display unit 10 regardless of the height of the user 22.

カメラ１５が画像信号を連続的に出力する場合，上記の人の顔の検出を常に行うことができる。ユーザー２２が洗面化粧台１の前で頭の位置を動かすと，カメラ１５の視野全体の中での顔の位置も移動する（図６の左側）。この移動に伴い，顔検出により特定される顔の中心位置３４も移動する。つまり，顔検出により特定される顔範囲の位置は，ユーザー２２の頭の移動に追従して移動する。このため表示部１０にはユーザー２２の顔が抽出されて表示されている状態が維持される。 When the camera 15 continuously outputs an image signal, the above-mentioned human face can always be detected. When the user 22 moves the position of the head in front of the vanity 1, the position of the face in the entire field of view of the camera 15 also moves (left side of FIG. 6). Along with this movement, the center position 34 of the face specified by face detection also moves. That is, the position of the face range specified by the face detection moves following the movement of the head of the user 22. Therefore, the display unit 10 maintains a state in which the face of the user 22 is extracted and displayed.

非遅延モードと遅延モードとの切り替えについて説明する。このモード切替は，カメラ１５の撮像画像と表示部１０の表示画像とのタイミング上の関係に関する切り替えである。このモード切替機能は，図４に示した制御部１４の遅延部２１による機能である。遅延部２１にはこのための遅延素子が内蔵されている。遅延素子は例えば，特開２０００−１８２０３２号公報に「遅延回路」として記載されているようなものである。 Switching between the non-delayed mode and the delayed mode will be described. This mode switching is a switching related to the timing relationship between the captured image of the camera 15 and the display image of the display unit 10. This mode switching function is a function of the delay unit 21 of the control unit 14 shown in FIG. The delay unit 21 has a built-in delay element for this purpose. The delay element is, for example, the one described as a "delay circuit" in Japanese Patent Application Laid-Open No. 2000-182032.

非遅延モードは，カメラ１５から出力される画像信号を，遅延素子を通さずそのままリアルタイムに液晶ケース１３の表示画面に反映させるモードである。このモードを用いることでユーザー２２は表示部１０に，鏡で見るのとほぼ同様の自身の顔画像を見ることができる。 The non-delay mode is a mode in which the image signal output from the camera 15 is directly reflected on the display screen of the liquid crystal case 13 in real time without passing through the delay element. By using this mode, the user 22 can see his / her own face image on the display unit 10, which is almost the same as that seen in a mirror.

遅延モードは，カメラ１５から出力される画像信号を，遅延素子を通して遅延させて液晶ケース１３の表示画面に反映させるモードである。このモードでは表示部１０に，カメラ１５の所定の遅延幅にわたり遡った過去の撮像画像が表示される。遅延モードにおいても前述の全視野モードと顔抽出モードとのいずれをも用いることができる。 The delay mode is a mode in which the image signal output from the camera 15 is delayed through the delay element and reflected on the display screen of the liquid crystal case 13. In this mode, the display unit 10 displays a past captured image traced back over a predetermined delay width of the camera 15. Both the above-mentioned full-field mode and face extraction mode can be used in the delay mode as well.

顔抽出モードかつ遅延モードの場合について図８により説明する。ユーザー２２が洗面化粧台１の前で頭の向きを変えると，図８の上段に示されるように，カメラ１５の撮像画像には直ちにその変化が反映される。しかし表示部１０の表示画像は，これに直ちに追従するのではなく，図８の下段に示されるように少し遅れて追従する。この遅延モードを用いることでユーザー２２は表示部１０に，自身の横顔の画像や後ろから見た頭部の画像を見ることができる。洗面化粧台１の前で横向きあるいは後ろ向きになって横顔の画像または後ろから見た頭部の画像を表示部１０に表示させておき，その後に正面向きになって表示部１０を見ればよい。このときしばらくの間は表示部１０に横顔の画像または後ろから見た頭部の画像が表示され続けるからである。全視野モードかつ遅延モードの場合でも同様である。 The case of the face extraction mode and the delay mode will be described with reference to FIG. When the user 22 turns his / her head in front of the vanity 1, the change is immediately reflected in the captured image of the camera 15 as shown in the upper part of FIG. However, the display image of the display unit 10 does not immediately follow this, but follows it with a slight delay as shown in the lower part of FIG. By using this delay mode, the user 22 can see the image of his / her profile and the image of the head seen from behind on the display unit 10. The image of the profile or the image of the head seen from the back may be displayed on the display unit 10 in front of the vanity 1 in a sideways or rearward manner, and then the display unit 10 may be viewed in the front direction. At this time, the image of the profile or the image of the head seen from behind continues to be displayed on the display unit 10 for a while. The same applies to the full field of view mode and the delay mode.

遅延モードでの遅延幅は固定値とすることができる。例えば３〜５秒程度の範囲内の適切な遅延幅とすることができる。固定値とせず，ユーザーによる設定を許容することとしてもよい。また，ユーザーの指令により表示部１０のその時点での表示画像をそのままホールドできる機能を設けてもよい。遅延モードの機能は，上記のような遅延回路により実現する替わりに，遅延制２１に画像メモリを設けてその画像メモリにカメラ１５の画像信号をため込むようにすることでも実現可能である。 The delay width in the delay mode can be a fixed value. For example, the delay width can be set within the range of about 3 to 5 seconds. It may be allowed to be set by the user instead of a fixed value. Further, a function may be provided in which the display image of the display unit 10 at that time can be held as it is according to the user's command. The function of the delay mode can also be realized by providing an image memory in the delay system 21 and storing the image signal of the camera 15 in the image memory instead of realizing it by the delay circuit as described above.

以上詳細に説明したように本実施の形態の第３ミラー扉４では，ミラー部４１にカメラ１５と液晶ケース１３とを設けている。これによりミラー部４１の一部の領域を表示部１０として機能させそこに，ユーザー２２の顔の部分を抽出して表示できるようにしている。さらにカメラ１５の画像を遅延させて表示部１０に反映させることもできる。これにより，ユーザー２２をカメラ１５で撮像した画像を，鏡映像とは別に表示部１０に適切に反映させることができるディスプレイモニタ機能付きミラーが実現されている。 As described in detail above, in the third mirror door 4 of the present embodiment, the mirror portion 41 is provided with the camera 15 and the liquid crystal case 13. As a result, a part of the area of the mirror unit 41 is made to function as the display unit 10, and the face portion of the user 22 can be extracted and displayed there. Further, the image of the camera 15 can be delayed and reflected on the display unit 10. As a result, a mirror with a display monitor function capable of appropriately reflecting the image of the user 22 captured by the camera 15 on the display unit 10 separately from the mirror image is realized.

前記形態ではミラーキャビネット２の前面のミラー扉部３を三面鏡型とし，そのうちの１枚である第３ミラー扉４としてディスプレイモニタ機能付きミラーを用いた。これに限らず，第１ミラー扉３１や第２ミラー扉３２としてディスプレイモニタ機能付きミラーを用いてもよい。三面鏡の中に複数枚のディスプレイモニタ機能付きミラーがあってもよい。ミラー扉部３が三面鏡型でなく１枚の鏡であってもその鏡としてディスプレイモニタ機能付きミラーを用いることができる。 In the above embodiment, the mirror door portion 3 on the front surface of the mirror cabinet 2 is a three-sided mirror type, and a mirror with a display monitor function is used as one of them, the third mirror door 4. Not limited to this, a mirror with a display monitor function may be used as the first mirror door 31 and the second mirror door 32. There may be a plurality of mirrors with a display monitor function in the three-sided mirror. Even if the mirror door portion 3 is not a three-sided mirror type but a single mirror, a mirror with a display monitor function can be used as the mirror.

ディスプレイモニタ機能付きミラーである鏡，そうでない鏡ともに，扉としての開閉動作ができるものであることは必須ではない。開閉動作をする場合でも，右ヒンジあるいは左ヒンジに限られるものではなく，上ヒンジでもスライド移動式でもよい。カメラ１５の水平方向における位置は，ディスプレイモニタ機能付きミラーの幅方向の中央でなくてもかまわない。液晶ケース１３に替えてエレクトロルミネセンス素子やプラズマディスプレイ，電界放出ディスプレイによるディスプレイ装置を用いてもよい。 It is not essential that both the mirror with the display monitor function and the mirror without it can be opened and closed as a door. The opening / closing operation is not limited to the right hinge or the left hinge, and may be an upper hinge or a slide movable type. The position of the camera 15 in the horizontal direction does not have to be the center in the width direction of the mirror with the display monitor function. Instead of the liquid crystal case 13, a display device using an electroluminescence element, a plasma display, or a field emission display may be used.

３ ミラー扉部 １８ 操作部 ２７ 範囲サイズ決定部
４ 第３ミラー扉 ２０ 顔検出部 ３３ 目
１０ 表示部 ２１ 遅延制御部 ３４ 顔の中心位置
１３ 液晶ケース ２４ パーツ検出部 ３５ 口
１４ 制御部 ２５ 中心決定部 ３６ 輪郭
１５ カメラ ２６ 顔サイズ決定部 ４１ ミラー部 3 Mirror door 18 Operation unit 27 Range size determination unit 4 3rd mirror door 20 Face detection unit 33 Eyes 10 Display unit 21 Delay control unit 34 Face center position 13 Liquid crystal case 24 Parts detection unit 35 Mouth 14 Control unit 25 Center determination Part 36 Contour 15 Camera 26 Face size determination part 41 Mirror part

Claims (5)

ミラー部と，
前記ミラー部の前の被写体人物が立つ位置の画像信号を出力するカメラと，
前記カメラによる画像信号から人の顔を常に検出する顔検出部と，
前記ミラー部の少なくとも一部の領域に設けられ前記画像信号のうち前記顔検出部で検出された人の顔を含む範囲である顔範囲の画像を，被写体人物から見える位置に表示する表示部とを有するディスプレイモニタ機能付きミラー。 Mirror part and
A camera that outputs an image signal of the position where the subject person stands in front of the mirror unit, and
A face detector that constantly detects a human face from the image signal from the camera,
A display unit provided in at least a part of the mirror unit and displaying an image of a face range including a person's face detected by the face detection unit in the image signal at a position visible to the subject person. Mirror with display monitor function. 請求項１に記載のディスプレイモニタ機能付きミラーであって，
前記カメラは，画像信号の出力を連続的に行うものであり，
前記表示部は，前記顔範囲の画像を前記顔範囲の移動に追従しつつ表示するものであるディスプレイモニタ機能付きミラー。 The mirror with a display monitor function according to claim 1.
The camera continuously outputs image signals.
The display unit is a mirror with a display monitor function that displays an image of the face range while following the movement of the face range. 請求項２に記載のディスプレイモニタ機能付きミラーであって，
前記表示部への表示画像を，あらかじめ定めた遅延幅にわたり遡った過去の前記画像信号に基づくものとする遅延部を有するディスプレイモニタ機能付きミラー。 The mirror with a display monitor function according to claim 2.
A mirror with a display monitor function having a delay unit that makes the display image on the display unit based on the past image signal traced back by a predetermined delay width. 請求項１から請求項３までのいずれか１つに記載のディスプレイモニタ機能付きミラーであって，前記顔検出部は，
前記画像信号から人の顔に含まれる特徴パーツを検出するパーツ検出部と，
検出された特徴パーツの位置に基づいて顔の中心位置を決定する中心決定部とを有するディスプレイモニタ機能付きミラー。 The mirror with a display monitor function according to any one of claims 1 to 3, wherein the face detection unit is a mirror.
A parts detection unit that detects feature parts contained in a human face from the image signal, and a parts detection unit.
A mirror with a display monitor function that has a centering unit that determines the center position of the face based on the position of the detected feature part. 請求項４に記載のディスプレイモニタ機能付きミラーであって，前記顔検出部は，
前記画像信号から人の顔の輪郭のサイズを決定する顔サイズ決定部と，
決定された輪郭のサイズに基づいて前記顔範囲のサイズを決定する範囲サイズ決定部とを有するディスプレイモニタ機能付きミラー。 The mirror with a display monitor function according to claim 4, wherein the face detection unit is
A face size determination unit that determines the size of the contour of a person's face from the image signal, and a face size determination unit.
A mirror with a display monitor function having a range sizing unit that determines the size of the face range based on the determined contour size.
JP2020058100A 2020-03-27 2020-03-27 Mirror with display monitor function Active JP7432421B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2020058100A JP7432421B2 (en) 2020-03-27 2020-03-27 Mirror with display monitor function

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2020058100A JP7432421B2 (en) 2020-03-27 2020-03-27 Mirror with display monitor function

Publications (2)

Publication Number Publication Date
JP2021153919A true JP2021153919A (en) 2021-10-07
JP7432421B2 JP7432421B2 (en) 2024-02-16

Family

ID=77916121

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2020058100A Active JP7432421B2 (en) 2020-03-27 2020-03-27 Mirror with display monitor function

Country Status (1)

Country Link
JP (1) JP7432421B2 (en)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102560158B1 (en) * 2022-07-26 2023-07-26 헬로칠드런 주식회사 Mirror system linked to camera

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002290964A (en) * 2001-03-23 2002-10-04 National Institute Of Advanced Industrial & Technology Digital mirror device
JP2011248714A (en) * 2010-05-28 2011-12-08 Panasonic Corp Picked-up image processing system
JP2013132029A (en) * 2011-12-22 2013-07-04 Panasonic Corp Mirror device with camera and furniture with mirror
JP2014204289A (en) * 2013-04-04 2014-10-27 富士通株式会社 Image display device, image display system, and image display method
CN210129919U (en) * 2019-05-24 2020-03-06 科勒(中国)投资有限公司 Audio structure, intelligent mirror and mirror cabinet

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2019048601A (en) 2017-09-12 2019-03-28 三菱自動車工業株式会社 Display device

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002290964A (en) * 2001-03-23 2002-10-04 National Institute Of Advanced Industrial & Technology Digital mirror device
JP2011248714A (en) * 2010-05-28 2011-12-08 Panasonic Corp Picked-up image processing system
JP2013132029A (en) * 2011-12-22 2013-07-04 Panasonic Corp Mirror device with camera and furniture with mirror
JP2014204289A (en) * 2013-04-04 2014-10-27 富士通株式会社 Image display device, image display system, and image display method
CN210129919U (en) * 2019-05-24 2020-03-06 科勒(中国)投资有限公司 Audio structure, intelligent mirror and mirror cabinet

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102560158B1 (en) * 2022-07-26 2023-07-26 헬로칠드런 주식회사 Mirror system linked to camera

Also Published As

Publication number Publication date
JP7432421B2 (en) 2024-02-16

Similar Documents

Publication Publication Date Title
US20200128186A1 (en) Electronic device having pivotably connected sides with selectable displays
CN108885341B (en) Prism-based eye tracking
US7173765B2 (en) Information display system
US7538768B2 (en) Image display device utilizing 3D protecting process by detecting a parallax value
US6456262B1 (en) Microdisplay with eye gaze detection
US7221863B2 (en) Image processing apparatus and method, and program and recording medium used therewith
US20160054794A1 (en) Eye-control reminding method, eye-control image display method and display system
JP5622431B2 (en) Head-mounted pupil detection device
US20080055730A1 (en) Interactive display system
JP2008111886A (en) Automatic door, screen display apparatus, screen display control program, and computer readable recording medium recorded with the program
JP4654905B2 (en) Video presentation system
JPH1124603A (en) Information display device and information collecting device
EP3736799A1 (en) Display device capable of automatically adjusting displayed image and method thereof
JP2021153919A (en) Mirror with display monitor function
US10623616B2 (en) Imaging apparatus
US20100164920A1 (en) Information processing apparatus
US9024871B2 (en) Electrical device, in particular a telecommunication device having a projection unit and method for operating an electrical device
JP2021153918A (en) Mirror with display monitor function
JP2007004031A (en) Projector apparatus
EP2991345A1 (en) Mirror cabinet with a camera and screen a screen
JP2021153744A (en) Mirror door
JP2500747Y2 (en) Face orientation device
JPH0756517A (en) Spectacle type image display device
KR102401854B1 (en) Augmented reality glass for multi-function
JP2012227618A (en) Display device, display control method, and display control program

Legal Events

Date Code Title Description
A711 Notification of change in applicant

Free format text: JAPANESE INTERMEDIATE CODE: A712

Effective date: 20210127

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20230116

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20230922

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20231003

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20231129

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20240109

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20240205

R150 Certificate of patent or registration of utility model

Ref document number: 7432421

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150