JP2019198050A - Intercom device - Google Patents
Intercom device Download PDFInfo
- Publication number
- JP2019198050A JP2019198050A JP2018092596A JP2018092596A JP2019198050A JP 2019198050 A JP2019198050 A JP 2019198050A JP 2018092596 A JP2018092596 A JP 2018092596A JP 2018092596 A JP2018092596 A JP 2018092596A JP 2019198050 A JP2019198050 A JP 2019198050A
- Authority
- JP
- Japan
- Prior art keywords
- visitor
- unit
- outdoor
- output
- reception
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- Interconnected Communication Systems, Intercoms, And Interphones (AREA)
Abstract
Description
本発明は建造物の訪問者への応対に用いられるインターホン装置に関する。 The present invention relates to an intercom device used for responding to a visitor of a building.
建造物の入口等に設けられた呼出ボタンを訪問者が操作することで該建造物内の応対者を呼び出して通話することができるインターホン装置が従来技術として知られている。また、応対者が直接通話せず、事前に登録された音声を訪問者に対して出力するインターホン装置も知られている。例えば、特許文献1には応対者が自動応答ボタンを押下することによって訪問者に対して自動応答を行うインターホン装置が開示されている。
2. Description of the Related Art An intercom apparatus is known as a related art in which a visitor operates a call button provided at an entrance or the like of a building to call a person in the building and make a call. There is also known an interphone device that does not directly talk to a person and outputs a pre-registered voice to a visitor. For example,
しかしながら、上述のような従来技術は応対者が訪問者の映像を確認した上で不在を装いながら応対することができないという問題がある。特許文献1に記載の発明は、訪問者の映像を確認することができず、適切な自動応答ができなかった。特許文献2に記載の発明は、生体情報を訪問者に入力させることで身元を確認するものであるが、該生体情報を入力させる際、被訪問者は室内に設置された親機を使って直接指示する構成であった。特許文献3に記載の発明は、特許文献1に記載の発明と同様に、訪問者の映像を確認することができず、適切な自動応答ができなかった。
However, the conventional technology as described above has a problem that the responder cannot respond while pretending to be absent after confirming the video of the visitor. In the invention described in
本発明の一態様は、前記の問題に鑑みてなされたものであり、訪問者の映像を確認しながら不在を装って自動応答を行うことが可能な、訪問者に対するセキュリティを高めたインターホン装置を提供することを目的とする。 One aspect of the present invention has been made in view of the above-described problem, and provides an interphone device with improved security for a visitor that can automatically respond while pretending to be absent while checking a visitor's video. The purpose is to provide.
上記の課題を解決するために、本発明の一態様に係るインターホン装置は、建造物の入口等に設けられた屋外ユニットと、該建造物の中に設けられた該屋外ユニットと通信可能な屋内ユニットと、を備え、該屋外ユニットを操作した訪問者に対して、応対者が該屋内ユニットを操作して応対することが可能なインターホン装置であって、前記屋内ユニットは、前記屋外ユニットに設けられたカメラおよびマイクを用いて前記訪問者の映像および音声を取得する訪問者情報取得部と、前記映像を表示部に表示する出力制御部と、前記訪問者との通話を行うための通話キーとは別個に設けられ、前記表示部に前記映像が表示された後に有効となる自動応対キーと、前記自動応対キーが操作された場合に、前記屋外ユニットに設けられた屋外スピーカーから予め登録された第1応対メッセージを出力する応対出力部と、を備えている、構成である。 In order to solve the above problems, an interphone device according to one embodiment of the present invention includes an outdoor unit provided at an entrance of a building and the like, and an indoor unit that can communicate with the outdoor unit provided in the building. And an intercom device that allows a visitor to operate the indoor unit and respond to a visitor who has operated the outdoor unit, wherein the indoor unit is provided in the outdoor unit. A visitor information acquisition unit that acquires the video and audio of the visitor using the provided camera and microphone, an output control unit that displays the video on a display unit, and a call key for performing a call with the visitor And an automatic response key that becomes effective after the video is displayed on the display unit, and an outdoor speaker provided in the outdoor unit when the automatic response key is operated. And a, and answering output unit for outputting a first answering message registered in advance from over a block.
本発明の一態様に係るインターホン装置の制御方法は、建造物の入口等に設けられた屋外ユニットと、該建造物の中に設けられた該屋外ユニットと通信可能な屋内ユニットと、を備え、該屋外ユニットを操作した訪問者に対して、応対者が該屋内ユニットを操作して応対することが可能なインターホン装置の制御方法であって、前記屋内ユニットの制御方法は、前記屋外ユニットに設けられたカメラおよびマイクを用いて前記訪問者の映像および音声を取得する訪問者情報取得ステップと、前記映像を表示部に表示する出力制御ステップと、前記訪問者との通話を行うための通話キーとは別個に設けられ、前記表示部に前記映像が表示された後に有効となる自動応対キーが操作された場合に、前記屋外ユニットに設けられた屋外スピーカーから予め登録された第1応対メッセージを出力する応対出力ステップと、を含む、方法である。 An interphone device control method according to an aspect of the present invention includes an outdoor unit provided at an entrance of a building and the like, and an indoor unit capable of communicating with the outdoor unit provided in the building, A control method for an intercom apparatus that allows a visitor who operates the outdoor unit to respond by operating the indoor unit. The control method for the indoor unit is provided in the outdoor unit. A visitor information acquisition step for acquiring video and audio of the visitor using a camera and a microphone, an output control step for displaying the video on a display unit, and a call key for performing a call with the visitor Or an outdoor speaker provided in the outdoor unit when an automatic answering key that is effective after the video is displayed on the display unit is operated. It includes answering output step of outputting a first answering message registered in advance, and a method.
本発明の一態様によれば、訪問者に対するセキュリティを高めたインターホン装置を提供することを目的とする。 An object of one embodiment of the present invention is to provide an intercom apparatus with improved security for visitors.
〔実施形態1〕
以下、本発明の一実施形態について、図1〜4を用いて詳細に説明する。
Hereinafter, an embodiment of the present invention will be described in detail with reference to FIGS.
(インターホン装置の構成)
本実施形態に係るインターホン装置1の構成について、図1を用いて説明する。図1は、インターホン装置1の要部構成の一例を示すブロック図である。インターホン装置1は、建造物の入口等に設けられた屋外ユニット100と、該建造物の中に設けられた該屋外ユニット100と通信可能な屋内ユニット200と、を備える装置である。より具体的には、インターホン装置1は屋外ユニット100を操作した訪問者に対して、応対者が該屋内ユニット200を操作して応対することが可能な装置である。
(Configuration of intercom device)
The configuration of the
インターホン装置1は、屋外ユニット100および屋内ユニット200を備えており、屋外ユニット100は呼出ボタン110、カメラ120、マイク130、および屋外スピーカー140を備えている。屋内ユニット200は、表示部210、屋内スピーカー220、屋内マイク230、通話キー240、自動応対キー250、応対選択キー260、記憶部270、および制御部280を備えており、記憶部270は応対メッセージ271を備えている。制御部280は、訪問検知部281、訪問者情報取得部282、出力制御部283、入力制御部284、および応対出力部285を備えている。
The
屋外ユニット100は、建造物の入口等に設けられ、該建造物を訪問した訪問者が中にいるであろう応対者と通話を行うためのユニットである。屋外ユニット100は屋内ユニット200と通信可能に接続されており、該屋内ユニット200との間で通話に必要な各種情報を送受信することができる。
The
呼出ボタン110は、屋外ユニット100に設けられたボタンであり、該呼出ボタン110を訪問者が操作(例えば押下)すると、屋内ユニット200の訪問検知部281にその旨が通知される。これにより、応対者は屋内ユニット200を確認することで訪問者がいることを把握し、応対することができる。
The
カメラ120は、屋内ユニット200の訪問者情報取得部282の指示にしたがって訪問者の映像を取得して該訪問者情報取得部282へ該映像を送信する。カメラ120は、例えば呼出ボタン110が設けられた筐体と一体に構成されてもよいし、呼出ボタン110を訪問者が操作した場合に該訪問者の顔がよく見える位置に配置された個別のカメラであってもよい。
The
マイク130は、屋内ユニット200の訪問者情報取得部282の指示にしたがって訪問者の音声を取得して該訪問者情報取得部282へ該音声を送信する。マイク130は、訪問者がマイク130に向けて発話している間、カメラ120が訪問者の顔を正面から撮像できるよう、該カメラ120と位置が調整されていることが好ましい。
The
屋外スピーカー140は、屋内ユニット200の応対出力部285から受け付けた音声を出力するスピーカーである。具体的には、屋内ユニット200の通話キー240が操作(押下)された場合、屋外スピーカー140は応対者が発話し、屋内マイク230が受け付けた音声を出力する。屋内ユニット200の自動応対キー250または応対選択キー260が押下された場合、屋外スピーカー140は応対出力部285が記憶部270の応対メッセージ271から取得した応対メッセージを出力する。
The
屋内ユニット200は、建造物の中に設けられており、屋外ユニット100と通信可能なユニットである。屋内ユニット200は、屋外ユニット100の呼出ボタン110を操作した訪問者に対して、建造物内の応対者が該屋内ユニット200を操作して応対するためのものである。
The
表示部210は、出力制御部283の指示にしたがって各種映像を表示するディスプレイである。具体的には、表示部210は訪問者情報取得部282が屋外ユニット100のカメラ120を用いて取得した訪問者の映像について、出力制御部283の指示にしたがって表示することができる。表示部210は、通話キー240、自動応対キー250、および応対選択キー260のいずれかと一体に形成されたタッチパネルであってもよい。以下の説明において、表示部210は応対選択キー260と一体に形成されている。
The
屋内スピーカー220は、出力制御部283から受け付けた音声を出力するスピーカーである。具体的には、屋内スピーカー220は訪問者が発話し、マイク130が受け付けた音声を出力する。
The
屋内マイク230は、入力制御部284の指示にしたがって、応対者が発話した音声を受け付ける。具体的には、屋内マイク230は応対者が通話キー240を操作した後、該屋内マイク230に対して該応対者が発話した音声を受け付ける。受け付けた音声は応対出力部285により、屋外スピーカー140から出力される。
The
通話キー240は屋内ユニット200に設けられたキーであり、該通話キー240を応対者が操作すると、屋内マイク230にて該応対者の発話した音声を受け付けることが可能となる。具体的には、通話キー240が操作されると、入力制御部284は屋内マイク230を用いた応対者の発話する音声の取得を開始する。取得した音声は応対出力部285によって、屋外ユニット100の屋外スピーカー140から出力される。
The
自動応対キー250は、通話キー240とは別個に設けられたキーである。自動応対キー250は、出力制御部283が表示部210に訪問者の映像を表示した後に有効となる。自動応対キー250を応対者が操作すると、訪問者の素性および訪問の目的を発話させるメッセージである第1応対メッセージが屋外ユニット100の屋外スピーカー140から出力される。
The
応対選択キー260は、第1応対メッセージが屋外ユニット100の屋外スピーカー140から出力された後、該屋外スピーカー140から出力することが可能な第2応対メッセージを応対者が選択するためのキーである。応対選択キー260は、例えば第2応対メッセージと1対1対応する複数のキーから構成されてもよい。
The
記憶部270は、屋内ユニット200にて扱う各種データを格納する。記憶部270は、応対メッセージ271を備えている。また、記憶部270は図示しない過去の応対履歴を格納してもよく、訪問者情報取得部がカメラ120を用いて取得した訪問者の映像や、マイク130を用いて取得した訪問者の音声を該応対履歴と共に格納してもよい。
The
応対メッセージ271は、応対出力部285が屋外ユニット100の屋外スピーカー140から出力する音声データ(=応対メッセージ)である。応対メッセージ271は、例えば応対者が自動応対キー250を操作した場合に屋外スピーカー140から出力する第1応対メッセージや、応対選択キー260を操作した場合に屋外スピーカー140から出力する第2応対メッセージ等が予め登録されている。
The
制御部280は、屋内ユニット200の各部を統括して制御する。訪問検知部281は、建造物への訪問者の来訪を検知する。具体的には、訪問検知部281は屋外ユニット100の呼出ボタン110が押下されたことを検知する。訪問検知部281は、呼出ボタン110が押下されたことを検知すると、訪問者情報取得部282に訪問者を検知した旨を通知する。
The
訪問者情報取得部282は、屋外ユニット100に設けられたカメラ120およびマイク130を用いて訪問者の映像および音声を取得する。より具体的には、訪問者情報取得部282は、訪問検知部281より訪問者を検知した旨の通知を受けると、カメラ120およびマイク130を用いて該訪問者の映像および音声を取得する。訪問者情報取得部282は、取得した訪問者の映像および音声を、出力制御部283へ送信する。
The visitor
出力制御部283は、訪問者情報取得部282から訪問者の映像を受信すると該映像を表示部210に表示し、かつ訪問者の音声を受信すると該音声を屋内スピーカー220から出力する。
The
入力制御部284は、屋内ユニット200に対して応対者が行った操作に基づいて、応対出力部285に操作内容に応じた音声を屋外ユニット100の屋外スピーカー140から出力するよう指示する。具体的には、入力制御部284は通話キー240が操作された場合、屋内マイク230を用いて受け付けた応対者の発話した音声を応対出力部285へ送信し、送信した音声を屋外スピーカー140から出力するよう指示する。入力制御部284は自動応対キー250が操作された場合、応対メッセージ271から第1応対メッセージを取得して屋外スピーカー140から出力するよう指示する。入力制御部284は応対選択キー260が操作された場合、応対メッセージ271から先ほど操作されたキーに対応する第2応対メッセージを取得して屋外スピーカー140から出力するよう指示する。
The
応対出力部285は、入力制御部284から受信した情報に対応する音声を取得し、屋外ユニット100の屋外スピーカー140から出力する。応対出力部285は、入力制御部284から応対者の発話した音声を受信した場合は、該音声を屋外スピーカー140から出力する。応対出力部285は、入力制御部284から自動応対キー250または応対選択キー260のいずれかが操作された旨を受信すると、操作されたキーに対応する応対メッセージを応対メッセージ271から取得して屋外スピーカー140から出力する。
The
(屋内ユニットの状態遷移例)
本実施形態に係る屋内ユニット200における状態遷移の例について、図2を用いて説明する。図2は、屋内ユニット200における状態遷移の一例を示す模式図である。
(Indoor unit state transition example)
An example of state transition in the
例301は、訪問者が屋外ユニット100の呼出ボタン110を操作する前の屋内ユニット200の状態を示す。図示の例において、屋内ユニット200は中央部に表示部210を備え、該表示部210の下に通話キー240および屋内マイク230が配置されている。また、屋内ユニット200の筐体の右下には自動応対キー250が設けられている。例301では、表示部210には何も表示されておらず、屋内マイク230、通話キー240、および自動応対キー250は無効化されている。
The example 301 shows the state of the
訪問者が屋外ユニット100の呼出ボタン110を操作すると、屋内ユニット200は例301に示す状態から例302に示す状態へ遷移する。例302では、訪問者情報取得部282がカメラ120を用いて取得した訪問者の映像が表示部210に表示されると共に、マイク130を用いて取得した該訪問者の音声が図示しない屋内スピーカー220から出力される。応対者は訪問者の映像、または該映像および音声から該訪問者と通話するか、自動応対を行うかを判断することができる。
When the visitor operates the
例303は、例302の状態に対して応対者が通話キー240を操作した後の状態を示す。応対者が通話キー240を操作すると、入力制御部284は屋内マイク230を用いて該応対者が発話した音声を取得する。そして応対出力部285は応対者が発話した音声を屋外ユニット100の屋外スピーカーから出力する。これにより、訪問者が発話した音声が屋内スピーカー220から出力されると共に応対者が発話した音声が屋外スピーカー140から出力されるようになるので、訪問者と応対者との間で通話が可能となる。応対者は訪問者との通話内容に基づいて、例えば建造物内へ該訪問者を招き入れたりすることができる。
Example 303 shows a state after the responder operates the
例304は、例302の状態に対して応対者が自動応対キー250を操作(押下)した後の状態を示す。応対者が自動応対キー250を操作すると、入力制御部284は応対出力部285に第1応対メッセージを屋外スピーカー140から出力するよう指示する。第1応対メッセージが屋外スピーカー140から出力されると、訪問者は該第1応対メッセージにしたがって自身の素性および訪問の目的をマイク130に対して発話する。訪問者が発話した該訪問者の素性および訪問の目的に関する音声は、屋内スピーカー220から出力されるので、応対者は訪問者の素性および訪問の目的を確認することができる。
The example 304 shows a state after the responder operates (presses) the automatic response key 250 with respect to the state of the example 302. When the responder operates the
また、例304において表示部210には応対選択キー260が表示され、応対者が所望するキーを選択して操作(押下)することができる。
Further, in Example 304, a
例305は、例304の状態に対して応対者が応対選択キー260を操作(押下)した後の状態を示す。応対者が応対選択キー260を操作すると、入力制御部284は応対出力部285に、先ほど操作されたキーに対応する第2応対メッセージを応対メッセージ271から取得して屋外スピーカー140から出力するよう指示する。訪問者は、屋外スピーカー140から出力された第2応対メッセージを確認し、訪問が受け入れられなかったことを把握することができる。
Example 305 shows a state after the responder operates (presses) the
なお、通話キー240は、例302〜例305のどの状態であっても操作可能である。例えば、例304において第1応対メッセージを屋外スピーカー140から出力した後に通話キー240を押下することにより、例303に示すように応対者が訪問者と通話することができてもよい。
Note that the
(応対の流れ)
本実施形態に係るインターホン装置1を用いて訪問者に応対者が応対する流れについて、図3を用いて説明する。図3は、インターホン装置1を用いて訪問者に応対者が応対する流れの概要を示す模式図であり、図3の(a)は訪問者が呼出ボタン110を操作して応対者が応対を開始するまでの流れを示している。図3の(b)は図3の(a)の後、応対者が各種キーを操作して自動応対を行う流れを示している。
(Responding flow)
With reference to FIG. 3, a description will be given of a flow in which a visitor responds to a visitor using the
図3の(a)は、訪問者が屋外ユニット100の呼出ボタン110を操作すると、屋内ユニット200に該訪問者の映像が表示され、応対者が訪問に気付くことを示している。換言すれば、図3の(a)は、図2における例301から例302に屋内ユニット200の状態が遷移する流れを別の視点から示している。
FIG. 3A shows that when a visitor operates the
図3の(b)は、図3の(a)の後に応対者が屋内ユニット200の自動応対キー250および応対選択キー260を順に操作し、訪問者と通話することなく応対を終了する流れを示している。応対者は図3の(a)に示したように表示部210にて訪問者の映像を確認する。そして、例えば訪問者に見覚えがなく、該訪問者と直接通話したくない場合に応対者は自動応対キー250を操作して屋外ユニット100の屋外スピーカー140に第1応対メッセージ「自動接客システムです。お名前とご用件をお話し下さい。」を出力させる。訪問者は、第1応対メッセージを確認した後、自身の素性および訪問の目的について発話する。図示の例では訪問者は「○○教に入信しませんか?後で電話下さい。」と、訪問の目的(=宗教の勧誘)を発話する。訪問者が発話した訪問の目的は屋内ユニット200の屋内スピーカー220から音声出力されるので、応対者は表示部210に表示されている応対選択キー260を操作して、第2応対メッセージを選択する。図示の例では、応対者は第2応対メッセージとして「興味がありません。」を選択している。その後、第2応対メッセージである「興味がありません。」が屋外ユニット100の屋外スピーカー140から出力されると、訪問者は自身の訪問が受け入れられなかったことを把握することができる。
FIG. 3B shows a flow in which, after FIG. 3A, the responder operates the
なお、訪問者によってはインターホン装置1に録音機能が設けられているとの推測に基づいて、自動応答に対して訪問の目的等を発話して応対者に折り返しの連絡を行わせることをもくろむ可能性がある。そこで、例えばインターホン装置1は、第2応対メッセージを出力してから所定時間の経過後に一連の応対における前記訪問者の発話が録音できなかったことを示す第3応対メッセージを出力してもよい。第2応対メッセージは、例えば「録音時間の上限に達しているため録音できていません。」といった、訪問者の発話が録音されていないことを示す内容であればどのようなものであってもよい。
Depending on the assumption that the recording function is provided in the
また、訪問者によっては応対者が居留守を使っていると推測して呼出ボタン110を複数回操作することが考えられる。そこで、例えばインターホン装置1の制御部280は、訪問者情報取得部282が取得した映像、または該映像および音声から識別された訪問者が、所定の待機時間以内に第1応対メッセージを出力済みである訪問者であるか否かを判定してもよい。そして、所定の待機時間以内に第1応対メッセージを出力済みである訪問者であった場合、応対出力部285は、連続した操作を行わないよう指摘する第4応対メッセージを応対メッセージ271から取得して屋外スピーカー140から出力してもよい。
In addition, it is conceivable that a visitor operates the call button 110 a plurality of times on the assumption that the person using the answering machine is used. Therefore, for example, the
(処理の流れ)
本実施形態においてインターホン装置1が実行する処理の流れについて、図4を用いて説明する。図4は、インターホン装置1が実行する処理の流れの一例を示すフローチャートである。なお、フローチャートには記載していないが、任意のタイミングで屋内ユニット200の通話キー240を押下することによって、応対者はいつでも一連の処理を中断して訪問者と通話することが可能である。
(Process flow)
The flow of processing executed by the
まず、屋内ユニット200の訪問検知部281は、屋外ユニット100の呼出ボタン110が訪問者に押下されたか否かを判定する(S1)。呼出ボタン110が訪問者に押下されたと判定した場合(S1でYES)、屋内ユニット200の訪問者情報取得部282は、屋外ユニット100のカメラ120を用いて訪問者の映像を取得する。そして、屋内ユニット200の出力制御部283は、訪問者情報取得部282が取得した訪問者の映像を表示部210に表示する(S2:訪問者情報取得ステップ、出力制御ステップ)。このとき、訪問者情報取得部282はマイク130を用いて訪問者の音声を取得し、出力制御部283は訪問者の音声を屋内スピーカー220から出力する。
First, the
S2の後、屋内ユニット200の入力制御部284は、自動応対キー250が押下されたか否かを判定する(S3)。押下されたと判定した場合(S3でYES)、応対出力部285は記憶部270の応対メッセージ271から第1応対メッセージを取得し、屋外ユニット100の屋外スピーカー140から出力する(S4:応対出力ステップ)。その後、処理はS5へ進む。一方、押下されなかったと判定した場合(S3でNO)、所定時間の経過後にインターホン装置1は一連の処理を終了する。
After S2, the
S5において、屋内ユニット200の入力制御部284は、応対選択キー260が押下されたか否かを判定する(S5)。応対出力部285は記憶部270の応対メッセージ271から第2応対メッセージを取得し、屋外ユニット100の屋外スピーカー140から出力する(S6)。その後、処理はS7へ進む。一方、押下されなかったと判定した場合(S5でNO)、処理はS7へ直接進む。
In S5, the
S7において、屋内ユニット200の制御部280は、所定時間が経過したか否かを判定する(S7)。所定時間が経過したと判定した場合(S7でYES)、応対出力部285は記憶部270の応対メッセージ271から第3応対メッセージを取得し、屋外ユニット100の屋外スピーカー140から出力する(S8)。その後、一連の処理を終了する。
In S7, the
以上の処理によって、本実施形態に係るインターホン装置1は、訪問者の映像を表示部210に表示しつつ、自動応対キー250が操作された場合は第1応対メッセージを出力することができる。これにより、例えば応対者は訪問者と会話したくない場合に不在を装いながら応対することができる。したがって、訪問者に対するセキュリティを高めたインターホン装置を提供できるという効果を奏する。
Through the above processing, the
〔実施形態2〕
本発明の実施形態2について、図5を用いて説明する。
[Embodiment 2]
A second embodiment of the present invention will be described with reference to FIG.
(インターホン装置1および外部のサーバ300の構成)
本実施形態に係るインターホン装置1、および該インターホン装置と接続された外部のサーバ300の構成について、図5に示す。図5は、外部のサーバ300と連携するインターホン装置1の要部構成の一例を示すブロック図である。
(Configuration of
The configuration of the
インターホン装置1は基本的な構成は前記実施形態1と同一である。本実施形態において、インターホン装置1の屋内ユニット200は、1台の外部のサーバ300と通信可能に接続されている。インターホン装置1は、前記実施形態1と同様にして屋外スピーカー140から第1応対メッセージを出力し、訪問者に自身の素性および訪問の目的を発話させることができる。
The basic configuration of the
本実施形態において、インターホン装置1は、例えば訪問者が虚偽の素性を発話したと推測される場合は該訪問者に素性を再度発話させる第5応対メッセージを出力することができる。具体的には、インターホン装置1は訪問者が発話した音声から該訪問者の素性を音声認識によって特定する。インターホン装置1は、訪問者の映像を画像解析して特定した顔画像から該訪問者の素性を推定する。インターホン装置1は、音声から特定した訪問者の素性が、映像から推定した該訪問者の素性と合致しない場合は訪問者が虚偽の素性を発話したと推測し、該訪問者に素性を再度発話させる第5応対メッセージを屋外スピーカー140から出力することができる。
In the present embodiment, for example, when it is estimated that a visitor has spoken a false feature, the
外部のサーバ300は屋内ユニット200が特定の処理を実行する場合に参照するマスタデータを格納しているデータサーバである。外部のサーバ300は、サーバ記憶部310およびサーバ制御部320を備えており、サーバ記憶部310は、応対メッセージ311、顔データ312、および音紋データ313を備えている。
The
サーバ記憶部310は、外部のサーバ300にて扱う各種データを格納している。応対メッセージ311は、インターホン装置1の屋内ユニット200が備えている応対メッセージ271と同一の内容を備える構成であってもよいし、応対メッセージ271より多くのデータを備える構成であってもよい。顔データ312は、屋内ユニット200の制御部280にて訪問者の映像から該訪問者の素性を推測する場合に該制御部280から参照されるマスタデータである。音紋データ313は、屋内ユニット200の制御部280にて訪問者が発話した音声から該訪問者の素性を推測する場合に該制御部280から参照されるマスタデータである。
The
サーバ制御部320は、外部のサーバ300の各部を統括して制御する。サーバ制御部320は、屋内ユニット200からサーバ記憶部310に格納する各種データの送信指示を受け付けると、対応するデータをサーバ記憶部310から取得して送信する。
The
(素性を再度発話させるまでの流れ)
本実施形態において、インターホン装置1が訪問者に素性を発話させた後、素性を再度発話させる第5応対メッセージを屋外スピーカー140から出力するまでの処理の流れについて以下に説明する。
(Flow until the feature is spoken again)
In the present embodiment, after the
まず、インターホン装置1が屋外スピーカー140から第1応対メッセージを出力し、訪問者に自身の素性および訪問の目的を発話させる。訪問者が発話すると、インターホン装置1の屋内ユニット200の制御部280は、第1応対メッセージに対して訪問者が発話した該訪問者の素性を音声認識によって特定する。さらに制御部280は、訪問者が発話した音声を外部のサーバ300が備える音紋データ313と照合して該訪問者の素性を推定する。制御部280は、訪問者情報取得部282が取得した訪問者の映像を画像解析し、外部のサーバ300が備える顔データ312と照合して該訪問者の素性を推定する。
First, the
その後、制御部280は音紋データ313から推定した訪問者の素性が顔データ312から推定した素性と一致するか否かを判定する。素性が一致しない場合、制御部280は訪問者が虚偽の素性を発話したと推測して応対出力部285を用いて屋外スピーカー140から第5応対メッセージを出力する。
Thereafter, the
このようにして、本実施形態に係るインターホン装置1は、1台の外部のサーバ300が備える顔データ312や音紋データ313を用いて訪問者が発話した該訪問者の素性が虚偽であるか否かを判定することができる。そして、訪問者が虚偽の素性を発話したと推測される場合は該訪問者に素性を再度発話させる第5応対メッセージを出力することができる。
In this way, the
前述の説明において、インターホン装置1は外部のサーバ300が備える顔データ312や音紋データ313を用いて訪問者が発話した該訪問者の素性が虚偽であるか否かを判定する構成であった。しかしながら、例えば顔データや音紋データをインターホン装置1が備え、該インターホン装置1は自身が備える顔データや音紋データを用いて訪問者が発話した該訪問者の素性が虚偽であるか否かを判定してもよい。一般的に、インターホン装置1が顔データや音紋データを備えた方が一連の処理を高速に実施することができるというメリットがある。
In the above description, the
また、外部のサーバ300は顔データ312および音紋データ313の他に、訪問者を特定するための情報を備える構成であってもよい。例えば、外部のサーバ300は各種職業の制服に関するデータをさらに備え、屋内ユニット200の制御部280は訪問者の映像を画像解析して該訪問者が着用している制服の種類を特定してもよい。さらに、制御部280は特定した制服の種類から訪問者の職業を特定し、該訪問者が自称した素性と合致するか否かを判定してもよい。
Further, the
〔実施形態3〕
上記実施形態1では、1つのサーバ300を用いる例を説明したが、外部のサーバ300の有する各機能が、個別のサーバにて実現されていてもよい。そして、複数のサーバを適用する場合においては、各サーバは、同じ事業者によって管理されていてもよいし、異なる事業者によって管理されていてもよい。
[Embodiment 3]
In the first embodiment, an example in which one
〔実施形態4〕
インターホン装置1の各ブロックは、集積回路(ICチップ)等に形成された論理回路(ハードウェア)によって実現してもよいし、ソフトウェアによって実現してもよい。後者の場合、屋内ユニット200を、図6に示すようなコンピュータ(電子計算機)を用いて構成することができる。
[Embodiment 4]
Each block of the
図6は、屋内ユニット200として利用可能なコンピュータ910の構成を例示したブロック図である。コンピュータ910は、バス911を介して互いに接続された演算装置912と、主記憶装置913と、補助記憶装置914と、入出力インターフェース915と、通信インターフェース916とを備えている。図示の例において、演算装置912は、屋内ユニット200の制御部280および該制御部280が備える訪問検知部281、訪問者情報取得部282、出力制御部283、入力制御部284、および応対出力部285の機能を実行する処理装置として利用される。補助記憶装置914は、応対メッセージ271を格納する記憶部270として利用される。
FIG. 6 is a block diagram illustrating a configuration of a
演算装置912、主記憶装置913、および補助記憶装置914は、それぞれ、例えばプロセッサ(例えばCPU:Central Processing Unit等)、RAM(random access memory)、ハードディスクドライブであってもよい。入出力インターフェース915には、ユーザがコンピュータ910に各種情報を入力するための入力装置920、および、コンピュータ910がユーザに各種情報を出力するための出力装置930が接続される。入力装置920および出力装置930は、コンピュータ910に内蔵されたものであってもよいし、コンピュータ910に接続された(外付けされた)ものであってもよい。例えば、入力装置920は、キーボード、マウス、タッチセンサなどであってもよく、出力装置930は、ディスプレイ、およびスピーカーなどであってもよい。また、タッチセンサとディスプレイとが一体化されたタッチパネルのような、入力装置920および出力装置930の双方の機能を有する装置を適用してもよい。具体的には、コンピュータ910には、入力装置920として、屋内ユニット200が備える屋内マイク230、通話キー240、自動応対キー250、および応対選択キー260と、屋外ユニット100が備える呼出ボタン110、カメラ120、およびマイク130がそれぞれ接続される。また、出力装置930として、屋内ユニット200が備える表示部210および屋内スピーカーと、屋外ユニット100が備える屋外スピーカーがそれぞれ接続される。そして、通信インターフェース916は、コンピュータ910が外部の装置と通信するためのインターフェースである。
The
補助記憶装置914には、コンピュータ910をインターホン装置1として動作させるための各種のプログラムが格納されている。そして、演算装置912は、補助記憶装置914に格納された上記プログラムを主記憶装置913上に展開して該プログラムに含まれる命令を実行することによって、コンピュータ910を、インターホン装置1が備える各部として機能させる。なお、補助記憶装置914が備える、プログラム等の情報を記録する記録媒体は、コンピュータ読み取り可能な「一時的でない有形の媒体」であればよく、例えば、テープ、ディスク、カード、半導体メモリ、プログラマブル論理回路などであってもよい。また、記録媒体に記録されているプログラムを、主記憶装置913上に展開することなく実行可能なコンピュータであれば、主記憶装置913を省略してもよい。なお、上記各装置(演算装置912、主記憶装置913、補助記憶装置914、入出力インターフェース915、通信インターフェース916、入力装置920、および出力装置930)は、それぞれ1つであってもよいし、複数であってもよい。
The
また、上記プログラムは、コンピュータ910の外部から取得してもよく、この場合、任意の伝送媒体(通信ネットワークや放送波等)を介して取得してもよい。そして、本発明は、上記プログラムが電子的な伝送によって具現化された、搬送波に埋め込まれたデータ信号の形態でも実現され得る。
The program may be acquired from the outside of the
〔まとめ〕
本発明の態様1に係るインターホン装置(1)は、建造物の入口等に設けられた屋外ユニット(100)と、該建造物の中に設けられた該屋外ユニットと通信可能な屋内ユニット(200)と、を備え、該屋外ユニットを操作した訪問者に対して、応対者が該屋内ユニットを操作して応対することが可能なインターホン装置であって、前記屋内ユニットは、前記屋外ユニットに設けられたカメラ(120)およびマイク(130)を用いて前記訪問者の映像および音声を取得する訪問者情報取得部(282)と、前記映像を表示部(210)に表示する出力制御部(284)と、前記訪問者との通話を行うための通話キー(240)とは別個に設けられ、前記表示部に前記映像が表示された後に有効となる自動応対キー(250)と、前記自動応対キーが操作された場合に、前記屋外ユニットに設けられた屋外スピーカー(140)から予め登録された第1応対メッセージを出力する応対出力部(285)と、を備えている、構成である。
[Summary]
The intercom apparatus (1) according to the first aspect of the present invention includes an outdoor unit (100) provided at an entrance of a building and an indoor unit (200) capable of communicating with the outdoor unit provided in the building. And an intercom device that can be operated by a responder by operating the indoor unit with respect to a visitor who has operated the outdoor unit, wherein the indoor unit is provided in the outdoor unit. The visitor information acquisition unit (282) that acquires the video and audio of the visitor using the camera (120) and the microphone (130), and the output control unit (284) that displays the video on the display unit (210) ) And a call key (240) for making a call with the visitor, and an automatic answering key (250) that is effective after the video is displayed on the display unit, If the answering key is operated, the comprises first answering output unit for outputting an answering message registered in advance from the outdoor speakers provided in the outdoor unit (140) and (285), and a configuration.
前記の構成によれば、インターホン装置は訪問者の映像を表示部に表示した後で、自動応対キーが操作された場合は予め登録された第1応対メッセージを出力することができる。これにより、例えば応対者は訪問者と会話したくない場合に不在を装いながら応対することができる。したがって、訪問者に対するセキュリティを高めたインターホン装置を提供できるという効果を奏する。 According to the above configuration, the intercom apparatus can output the first response message registered in advance when the automatic response key is operated after displaying the video of the visitor on the display unit. Thereby, for example, when the respondent does not want to talk with the visitor, it can respond while pretending to be absent. Therefore, there is an effect that it is possible to provide an intercom device with improved security for visitors.
本発明の態様2に係るインターホン装置(1)は、前記態様1において、前記応対出力部(285)は、第1応対メッセージを出力した後に、前記応対者が選択した第2応対メッセージを前記屋外スピーカー(140)から出力する、構成としてもよい。
In the intercom device (1) according to aspect 2 of the present invention, in the
前記の構成によれば、インターホン装置は、第1応対メッセージを出力した後に応対者が選択した第2応対メッセージを出力することができる。これにより、例えば第1応対メッセージによって訪問者の素性や訪問の目的を発話させ、応対者の選択に従って、該素性や該目的に応じた第2応対メッセージを出力することができる。 According to the above configuration, the intercom apparatus can output the second response message selected by the responder after outputting the first response message. Thereby, for example, the visitor's feature and the purpose of the visit can be spoken by the first response message, and the second response message corresponding to the feature and the purpose can be output according to the selection of the responder.
本発明の態様3に係るインターホン装置(1)は、前記態様2において、前記応対出力部(285)は、前記第2応対メッセージを出力した後、所定時間の経過後に一連の応対における前記訪問者の発話が録音できなかったことを示す第3応対メッセージを前記屋外スピーカーから出力する、構成としてもよい。 The intercom apparatus (1) according to aspect 3 of the present invention is the intercom apparatus (1) according to aspect 2, wherein the reception output unit (285) outputs the second reception message and then the visitor in a series of receptions after a predetermined time has elapsed. A third response message indicating that the utterance could not be recorded may be output from the outdoor speaker.
前記の構成によれば、応対者は、第1応対メッセージを用いて不在を装いながら訪問者に応対した後、該発話を含む訪問者の発話が録音できなかったことを示す第3応対メッセージを屋外スピーカーから出力させることができる。これにより、例えば訪問者がインターホン装置にて該訪問者の発話が録音され、応対者が後から録音結果を確認すると期待して、該応対者への言伝等を発話した場合に、該発話が後から応対者へ伝達されることがないと判断させることができる。 According to the above configuration, the responder responds to the visitor while pretending to be absent using the first response message, and then receives the third response message indicating that the visitor's utterance including the utterance could not be recorded. Can be output from outdoor speakers. Thus, for example, when a visitor records the visitor's utterance on the interphone device, and the respondent utters a message to the responder in the expectation that the recorded result will be confirmed later, the utterance is It can be determined that it will not be transmitted to the respondent later.
本発明の態様4に係るインターホン装置(1)は、前記態様1から3のいずれかにおいて、前記第1応対メッセージは、前記訪問者の素性および訪問の目的を発話させるメッセージである、構成としてもよい。
In the intercom device (1) according to aspect 4 of the present invention, in any one of the
前記の構成によれば、インターホン装置を操作する応対者は自動応対キーが操作することにより、訪問者の素性および訪問の目的を自身が発話することなく確認することができる。 According to the above-described configuration, the attendant who operates the intercom apparatus can confirm the identity of the visitor and the purpose of the visit without speaking by himself by operating the automatic answering key.
本発明の態様5に係るインターホン装置(1)は、前記態様1から4のいずれかにおいて、前記訪問者情報取得部(282)が取得した映像、または該映像および音声から識別された前記訪問者が、所定の待機時間以内に前記第1応対メッセージを出力済みである訪問者であった場合、前記応対出力部(285)は、連続した操作を行わないよう指摘する第4応対メッセージを前記屋外スピーカーから出力する、構成としてもよい。
The intercom apparatus (1) according to
前記の構成によれば、インターホン装置は素性や訪問の目的を発話させた訪問者が所定時間以内に応対者を再度呼び出す操作を行った場合、連続した操作を行わないよう指摘することができる。 According to the above-described configuration, the interphone device can point out that the continuous operation is not performed when the visitor who has spoken the feature or the purpose of the visit performs the operation to call the responder again within a predetermined time.
本発明の態様6に係るインターホン装置(1)の制御方法は、建造物の入口等に設けられた屋外ユニット(100)と、該建造物の中に設けられた該屋外ユニットと通信可能な屋内ユニット(200)と、を備え、該屋外ユニットを操作した訪問者に対して、応対者が該屋内ユニットを操作して応対することが可能なインターホン装置の制御方法であって、前記屋内ユニットの制御方法は、前記屋外ユニットに設けられたカメラ(120)およびマイク(130)を用いて前記訪問者の映像および音声を取得する訪問者情報取得ステップ(S2)と、前記映像を表示部(210)に表示する出力制御ステップ(S2)と、前記訪問者との通話を行うための通話キー(240)とは別個に設けられ、前記表示部に前記映像が表示された後に有効となる自動応対キー(250)が操作された場合に、前記屋外ユニットに設けられた屋外スピーカー(140)から予め登録された第1応対メッセージを出力する応対出力ステップ(S4)と、を含む、方法である。前記の構成によれば、前記態様1と同様の作用効果を奏する。
The control method of the intercom apparatus (1) according to the
本発明の各態様に係るインターホン装置1は、コンピュータによって実現してもよく、この場合には、コンピュータを上記インターホン装置1が備える各部(ソフトウェア要素)として動作させることにより上記インターホン装置1をコンピュータにて実現させるインターホン装置1の制御プログラム、およびそれを記録したコンピュータ読み取り可能な記録媒体も、本発明の範疇に入る。
The
後者の場合、インターホン装置1は、各機能を実現するソフトウェアであるプログラムの命令を実行するコンピュータを備えている。このコンピュータは、例えば1つ以上のプロセッサを備えていると共に、上記プログラムを記憶したコンピュータ読み取り可能な記録媒体を備えている。そして、上記コンピュータにおいて、上記プロセッサが上記プログラムを上記記録媒体から読み取って実行することにより、本発明の目的が達成される。上記プロセッサとしては、例えばCPU(Central Processing Unit)を用いることができる。上記記録媒体としては、「一時的でない有形の媒体」、例えば、ROM(Read Only Memory)等の他、テープ、ディスク、カード、半導体メモリ、プログラマブルな論理回路などを用いることができる。また、上記プログラムを展開するRAM(Random Access Memory)などをさらに備えていてもよい。また、上記プログラムは、該プログラムを伝送可能な任意の伝送媒体(通信ネットワークや放送波等)を介して上記コンピュータに供給されてもよい。なお、本発明の一態様は、上記プログラムが電子的な伝送によって具現化された、搬送波に埋め込まれたデータ信号の形態でも実現され得る。
In the latter case, the
本発明は上述した各実施形態に限定されるものではなく、請求項に示した範囲で種々の変更が可能であり、異なる実施形態にそれぞれ開示された技術的手段を適宜組み合わせて得られる実施形態についても本発明の技術的範囲に含まれる。さらに、各実施形態にそれぞれ開示された技術的手段を組み合わせることにより、新しい技術的特徴を形成することができる。 The present invention is not limited to the above-described embodiments, and various modifications are possible within the scope shown in the claims, and embodiments obtained by appropriately combining technical means disclosed in different embodiments. Is also included in the technical scope of the present invention. Furthermore, a new technical feature can be formed by combining the technical means disclosed in each embodiment.
1 インターホン装置
100 屋外ユニット
110 呼出ボタン
120 カメラ
130 マイク
140 屋外スピーカー
200 屋内ユニット
210 表示部
220 屋内スピーカー
230 屋内マイク
240 通話キー
250 自動応対キー
260 応対選択キー
270 記憶部
271 応対メッセージ
280 制御部
281 訪問検知部
282 訪問者情報取得部
283 出力制御部
284 入力制御部
285 応対出力部
DESCRIPTION OF
Claims (6)
前記屋内ユニットは、
前記屋外ユニットに設けられたカメラおよびマイクを用いて前記訪問者の映像および音声を取得する訪問者情報取得部と、
前記映像を表示部に表示する出力制御部と、
前記訪問者との通話を行うための通話キーとは別個に設けられ、前記表示部に前記映像が表示された後に有効となる自動応対キーと、
前記自動応対キーが操作された場合に、前記屋外ユニットに設けられた屋外スピーカーから予め登録された第1応対メッセージを出力する応対出力部と、を備えている、ことを特徴とするインターホン装置。 An outdoor unit provided at an entrance of a building and an indoor unit capable of communicating with the outdoor unit provided in the building, and a visitor who operates the outdoor unit Is an intercom device capable of operating and responding to the indoor unit,
The indoor unit is
A visitor information acquisition unit for acquiring video and audio of the visitor using a camera and a microphone provided in the outdoor unit;
An output control unit for displaying the video on a display unit;
A call key for making a call with the visitor is provided separately, and an automatic answering key that is valid after the video is displayed on the display unit,
An intercom apparatus comprising: a reception output unit that outputs a first reception message registered in advance from an outdoor speaker provided in the outdoor unit when the automatic reception key is operated.
前記屋内ユニットの制御方法は、
前記屋外ユニットに設けられたカメラおよびマイクを用いて前記訪問者の映像および音声を取得する訪問者情報取得ステップと、
前記映像を表示部に表示する出力制御ステップと、
前記訪問者との通話を行うための通話キーとは別個に設けられ、前記表示部に前記映像が表示された後に有効となる自動応対キーが操作された場合に、前記屋外ユニットに設けられた屋外スピーカーから予め登録された第1応対メッセージを出力する応対出力ステップと、を含む、ことを特徴とするインターホン装置の制御方法。 An outdoor unit provided at an entrance of a building and an indoor unit capable of communicating with the outdoor unit provided in the building, and a visitor who operates the outdoor unit Is a method of controlling an intercom device capable of operating and responding to the indoor unit,
The control method of the indoor unit is:
A visitor information acquisition step of acquiring video and audio of the visitor using a camera and a microphone provided in the outdoor unit;
An output control step of displaying the video on a display unit;
Provided separately from a call key for making a call with the visitor, provided in the outdoor unit when an automatic answering key that is effective after the video is displayed on the display unit is operated. And a response output step of outputting a first response message registered in advance from an outdoor speaker.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2018092596A JP2019198050A (en) | 2018-05-11 | 2018-05-11 | Intercom device |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2018092596A JP2019198050A (en) | 2018-05-11 | 2018-05-11 | Intercom device |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2019198050A true JP2019198050A (en) | 2019-11-14 |
Family
ID=68538034
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2018092596A Pending JP2019198050A (en) | 2018-05-11 | 2018-05-11 | Intercom device |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2019198050A (en) |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2006018918A1 (en) * | 2004-08-17 | 2006-02-23 | Ginganet Corporation | Video telephone interphone and video telephone terminal or mobile telephone terminal connected to the same |
JP2007150473A (en) * | 2005-11-24 | 2007-06-14 | Orion Denki Kk | Television broadcast receiver, intercom instrument, and intercom system |
JP2011204061A (en) * | 2010-03-26 | 2011-10-13 | Panasonic Electric Works Co Ltd | Information presenting system |
KR101401638B1 (en) * | 2013-03-20 | 2014-06-02 | 조희문 | Apparatus and method for interphone and tv linked of outsider surveillance |
-
2018
- 2018-05-11 JP JP2018092596A patent/JP2019198050A/en active Pending
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2006018918A1 (en) * | 2004-08-17 | 2006-02-23 | Ginganet Corporation | Video telephone interphone and video telephone terminal or mobile telephone terminal connected to the same |
JP2007150473A (en) * | 2005-11-24 | 2007-06-14 | Orion Denki Kk | Television broadcast receiver, intercom instrument, and intercom system |
JP2011204061A (en) * | 2010-03-26 | 2011-10-13 | Panasonic Electric Works Co Ltd | Information presenting system |
KR101401638B1 (en) * | 2013-03-20 | 2014-06-02 | 조희문 | Apparatus and method for interphone and tv linked of outsider surveillance |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN110392913B (en) | Processing calls on a common voice-enabled device | |
JP6535681B2 (en) | Presenter Display During Video Conference | |
TW201923737A (en) | Interactive Method and Device | |
US8457963B2 (en) | Mechanism for providing user guidance and latency concealment for automatic speech recognition systems | |
JP2008509455A (en) | Communication method and system between user and system | |
WO2019198405A1 (en) | Information processing device, information processing system, information processing method and program | |
US20210281681A1 (en) | Systems and methods for operating an interactive voice response system | |
JP2008053989A (en) | Door phone system | |
JP6339892B2 (en) | Remote monitoring system and remote monitoring method | |
CN109032554A (en) | A kind of audio-frequency processing method and electronic equipment | |
JPH07234694A (en) | Automatic reception device | |
JP2000067005A (en) | Method for confirming person himself and device using the same method and record medium recording program for controlling the same device | |
JP2019198050A (en) | Intercom device | |
JP2012078384A (en) | Telephone apparatus with a speaker identification function by voiceprint | |
KR102000282B1 (en) | Conversation support device for performing auditory function assistance | |
JP2000341420A (en) | Interphone system and program recording medium | |
JP2021177598A (en) | Speech processing system, speech processing method, and speech processing program | |
JP2010103704A (en) | Voice conversion apparatus | |
JP7351642B2 (en) | Audio processing system, conference system, audio processing method, and audio processing program | |
JP2009086207A (en) | Minute information generation system, minute information generation method, and minute information generation program | |
JP2006229356A (en) | Communication control apparatus, communication control method, program, and recording medium for voice conference | |
JP6854170B2 (en) | Intercom device | |
JP7342928B2 (en) | Conference support device, conference support method, conference support system, and conference support program | |
CN109104535B (en) | Information processing method, electronic equipment and system | |
WO2018017086A1 (en) | Determining when participants on a conference call are speaking |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20210324 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20211129 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20211207 |
|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20220531 |