JP2019139411A - 携帯端末、携帯端末の制御方法、および携帯端末のプログラム - Google Patents

携帯端末、携帯端末の制御方法、および携帯端末のプログラム Download PDF

Info

Publication number
JP2019139411A
JP2019139411A JP2018020711A JP2018020711A JP2019139411A JP 2019139411 A JP2019139411 A JP 2019139411A JP 2018020711 A JP2018020711 A JP 2018020711A JP 2018020711 A JP2018020711 A JP 2018020711A JP 2019139411 A JP2019139411 A JP 2019139411A
Authority
JP
Japan
Prior art keywords
mobile terminal
user
display unit
image
predetermined time
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2018020711A
Other languages
English (en)
Other versions
JP7048339B2 (ja
Inventor
英貴 野本
Hidetaka Nomoto
英貴 野本
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
NEC Platforms Ltd
Original Assignee
NEC Platforms Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by NEC Platforms Ltd filed Critical NEC Platforms Ltd
Priority to JP2018020711A priority Critical patent/JP7048339B2/ja
Priority to PCT/JP2019/004040 priority patent/WO2019156063A1/ja
Priority to US16/964,865 priority patent/US20210064130A1/en
Publication of JP2019139411A publication Critical patent/JP2019139411A/ja
Application granted granted Critical
Publication of JP7048339B2 publication Critical patent/JP7048339B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0346—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of the device orientation or free movement in a 3D space, e.g. 3D mice, 6-DOF [six degrees of freedom] pointers using gyroscopes, accelerometers or tilt-sensors
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G06V40/171—Local features and components; Facial parts ; Occluding parts, e.g. glasses; Geometrical relationships
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18—Eye characteristics, e.g. of the iris
    • G06V40/19—Sensors therefor
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18—Eye characteristics, e.g. of the iris
    • G06V40/193—Preprocessing; Feature extraction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M1/00—Substation equipment, e.g. for use by subscribers

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Ophthalmology & Optometry (AREA)
  • Signal Processing (AREA)
  • Telephone Function (AREA)
  • User Interface Of Digital Computer (AREA)
  • Position Input By Displaying (AREA)

Abstract

【課題】携帯端末を使用者が操作中か否かの判断を高い精度で行うことを可能にする携帯端末、携帯端末の制御方法、および携帯端末のプログラムを実現する。【解決手段】表示部を備える携帯端末であって、前記表示部と相対的に固定され前記携帯端末の使用者の眼球表面の画像を撮影する撮影部と、第１の所定の時間以内に、前記眼球表面の画像が、前記表示部に表示されている画像と一致する時間が第１の所定の時間より短い第２の所定時間以上であると、前記使用者が前記携帯端末を操作中であると判断する制御部とを備える。【選択図】 図１

Description

本発明は、携帯端末、携帯端末の制御方法、および携帯端末のプログラムに関するものである。
携帯電話、スマートフォン（smart phone）等の携帯端末の使用者が、歩きながら表示画面を見たり操作することで、他人や車と衝突したり、駅のホーム（platform）から転落するなどの事故が起こっていて、社会問題となっている。
そこで、特許文献１では、携帯端末が移動中に、使用者の目の視線の動きを検知して、使用者が表示部を見ながら移動していると判断されると、携帯端末の機能制限を行う技術を提示している。
特開２０１５−０９９４９３号公報
特許文献１による技術では、携帯端末の使用者の視線の動きによって、使用者が携帯端末を操作中か否かを判断している。
しかし、タブレット端末（tablet terminal）の様に、大きい画面の携帯端末の場合には、画面の表示範囲内を見ている場合でも、視線の動きは大きくなる。また、携帯端末の表示画面と使用者の目との距離が近い場合は、遠い場合と比べて視線の動きは大きくなる。
そのため、特許文献１に提示される様に、携帯端末の使用者の視線の動きを利用して、使用者が携帯端末を操作中か否かの判断を行うと、判定精度が低い問題がある。
本発明の目的は、上述した課題を鑑み、携帯端末を携帯端末の使用者が操作中か否かの判断を高い精度で行う携帯端末、携帯端末の制御方法、および携帯端末のプログラムを提供することにある。
上記の目的を達成するために、本発明の携帯端末は、表示部を備える携帯端末であって、前記表示部と相対的に固定され前記携帯端末の使用者の眼球表面の画像を撮影する撮影部と、第１の所定の時間以内に、前記眼球表面の画像が、前記表示部に表示されている画像と一致する時間が第１の所定の時間より短い第２の所定時間以上であると、前記使用者が前記携帯端末を操作中であると判断する制御部とを備える。
上記の目的を達成するために、本発明の携帯端末の制御方法は、第１の所定の時間以内に、携帯端末の使用者の眼球表面の画像が、前記携帯端末の表示部に表示されている画像と一致する時間が第１の所定の時間より短い第２の所定時間以上であると、前記使用者が前記携帯端末を操作中であると判断する。
上記の目的を達成するために、本発明の携帯端末のプログラムは、第１の所定の時間以内に、携帯端末の使用者の眼球表面の画像が、前記携帯端末の表示部に表示されている画像と一致する時間が第１の所定の時間より短い第２の所定時間以上であると、前記使用者が前記携帯端末を操作中であると判断することをコンピュータに実行させる。
本発明によれば、携帯端末、携帯端末の制御方法、および携帯端末のプログラムは、携帯端末を携帯端末の使用者が操作中か否かの判断を高い精度で行うことが可能となる。
第１および第２の実施形態の構成例を示す図である。 第２の実施形態の動作を説明する図である。 第３の実施形態の動作を説明する図である。 第４および第５の実施形態の構成例を示す図である。 第４の実施形態の動作を説明する図である。 第５の実施形態の動作を説明する図である。 第６および第７の実施形態の構成例を示す図である。 第６の実施形態の動作を説明する図である。 第７の実施形態の動作を説明する図である。
［第１の実施形態］
次に、本発明の実施の形態について図１を参照して詳細に説明する。
図１に第１の実施形態の構成を示す。
本実施形態の携帯端末１０は、表示部１１を備える携帯端末であって、前記表示部１１と相対的に固定され前記携帯端末の使用者の眼球表面の画像を撮影する撮影部１２と制御部１３を備える。制御部１３は、第１の所定の時間以内に、前記眼球表面の画像が、前記表示部１１に表示されている画像と一致する時間が第１の所定の時間より短い第２の所定時間以上であると、前記使用者が前記携帯端末１０を操作中であると判断する。
この様にすることで、携帯端末の使用者が携帯端末を操作中か否かの判断を、視線の動きのみで行うより高精度で行うことが可能となる。

［第２の実施形態］
次に、第２の実施形態について図１と図２を参照して説明する。
［構成の説明］
図１に第２の実施形態の構成を示す。
本実施形態の構成は第１の実施形態の構成と同じである。
携帯端末２０は、表示部２１、撮影部２２、および制御部２４を備える。
本実施形態の携帯端末２０は、無線携帯端末であるスマートフォンを想定しているが、必ずしも無線携帯端末である必要はなく、無線機能の無い、携帯ビデオ（video）再生装置等であっても良い。
表示部２１は、スマートフォンのタッチパネル（touch panel）を想定しており、表示手段と、指先が触れることによる入力手段とを兼ねている。しかし、必ずしも入力手段を備えていなくても、本実施形態に示す発明の主旨を損なわない。
撮影部２２は、カメラ（camera）であって、表示部と同一面に固定されて使用者の顔を撮影できる、いわゆる内側カメラ（inner camera）である。尚、一般的なスマートフォンでは、内側カメラはタッチパネルと同一面に取付けられていることが多い。しかし、撮影部２２は、携帯端末２０の使用者の顔を撮影することが出来て、表示部と相対的に位置が固定されて設置されているカメラであっても良い。
制御部２４は、ＣＰＵ（Central Processing Unit；中央処理装置）を含み、携帯端末２０のハードウェアを制御し、ソフトウェア処理を行う。
［動作の説明］
本実施形態の携帯端末１０は、予め決められた時間Ｔ１（第１の所定時間）以内に、携帯端末１０の利用者が表示部１１を時間Ｔ２（第２の所定時間）以上見つめていると、利用者は携帯端末１０を操作中であると判断する。
また、携帯端末１０は、時間Ｔ１の間に、携帯端末１０の利用者が表示部１１を時間Ｔ２より短い時間しか見ていなければ、利用者は携帯端末１０を操作中でないと判断する。
この様な携帯端末１０を実現する、携帯端末１０の動作について、図２を参照して説明する。
携帯端末１０が動作を開始すると、制御部１３は時間ｔ１をゼロに設定し、時間ｔ２をゼロに設定する（Ｓ１０１）。
時間の計時は、ここでは制御部１３が備える時計機能を用いることを想定しているが、携帯端末１０は、制御部１３とは別に時計機能を備えることでもよい。
制御部１３は、時間ｔ１の計時を開始する（Ｓ１０２）。
制御部１３は、撮影部１２を動作して携帯端末１０の使用者の眼球表面の画像を撮影する。そして、制御部１３は、眼球表面に映っている画像を抽出する（Ｓ１０３）。
眼球表面の画像を抽出することは、現在、多く実現されている技術であるので説明を省略する。
ステップＳ１０４で、制御部１３は、ｔ１が時間Ｔ１以内であるかどうかを判断する（Ｓ１０４）。
ここで、時間Ｔ１は、予め決められた時間である。
ステップＳ１０４でｔ１が時間Ｔ１以内であると判断されると（Ｓ１０４でＹ）、ステップＳ１０５にすすむ。
ステップＳ１０４でｔ１が時間Ｔ１以内でないと判断されると（Ｓ１０４でＮ）、ステップＳ１１１にすすむ。
ステップＳ１０５で、制御部１３は、眼球表面画像と表示部１１の画像とが一致するかどうかを判断する（Ｓ１０５）。
携帯端末１０の使用者が表示部１１を見つめていると、眼球表面画像と表示部１１の画像が一致する。ステップＳ１０５の判断は、携帯端末１０の使用者が表示部１１を見つめているか否かを判断している。
ステップＳ１０５で、眼球表面画像と表示部１１の画像とが一致すると判断されると（Ｓ１０５でＹ）、ステップＳ１０６にすすむ。
ステップＳ１０５で、眼球表面画像と表示部１１の画像とが一致しないと判断されると（Ｓ１０５でＮ）、ステップＳ１１０にすすむ。
ステップＳ１０６で、制御部１３は、ｔ２の計時を行う（Ｓ１０６）。
ここで、ステップＳ１０６の直前で、ｔ２の計時が停止していた場合はｔ２の計時を開始し、ｔ２が計時中の場合はｔ２の計時を継続する。
ステップＳ１０７で、制御部１３は、ｔ２が時間Ｔ２以上であるかどうかを判断する（Ｓ１０７）。
ここで、時間Ｔ２は、予め決められた時間であり、時間Ｔ１より短く設定されている。
ステップＳ１０７でｔ２が時間Ｔ２以上であると判断されると（Ｓ１０７でＹ）、ステップＳ１０８にすすむ。
ステップＳ１０７でｔ２が時間Ｔ２以上でないと判断されると（Ｓ１０７でＮ）、ステップＳ１０３にもどる。
ステップＳ１０８で、制御部１３は、携帯端末１０が使用者による操作中であると判断する（Ｓ１０８）。
ステップＳ１０８では、携帯端末１０の使用者が、時間Ｔ１以内に時間Ｔ２以上、表示部１１を見つめている状況である。この状況を携帯端末１０が使用者による操作中であると判断している。
ステップＳ１０９では、制御部１３は、一定時間が経過するまで待つ（Ｓ１０９）。
ステップＳ１０９の一定時間は、操作中か否かの判断をどの位の時間間隔で行うかによって決められる。
ステップＳ１０９のあと、ステップＳ１０１にもどる。
ステップＳ１１０では、制御部１３は、ｔ２の計時を停止する（Ｓ１１０）。
ステップＳ１１０の後、ステップＳ１０３に戻る。
ステップＳ１１１では、制御部１３は、携帯端末１０が使用者による操作中ではないと判断する（Ｓ１１１）。
ステップＳ１１１では、携帯端末１０の使用者が、時間Ｔ１以内に時間Ｔ２以上、表示部１１を見つめていない状況である。即ち、時間Ｔ１以内に、Ｔ２より短い時間しか表示部１１を見つめていない。この様な状況では、携帯端末１０が使用者による操作中ではないと判断している。
ステップＳ１１１のあと、ステップＳ１０９にすすむ。
ステップＳ１０８、およびステップＳ１１１で、制御部１３が行った、携帯端末１０が使用者によって操作中であるか否かの判断は、携帯端末１０のアプリケーションソフトウェア（application software）の動作のための情報などとして利用可能である。
この様にすることで、本実施形態の携帯端末１０は、携帯端末１０の使用者が携帯端末１０を操作中か否かの判断を、視線の動きのみで行うより高精度で行うことが可能となる。
［第３の実施形態］
次に、第３の実施形態について図１と図３を参照して説明する。
［構成の説明］
本実施形態の構成は、図１に示される第１および第２の実施形態の構成と同じであり、制御部１３の動作が、第１および第２の実施形態と異なる。
［動作の説明］
本実施形態の携帯端末１０は、予め決められた時間Ｔ以内に、携帯端末１０の利用者が表示部１１をＮ回見つめていると、利用者は携帯端末１０を操作中であると判断する。
また、携帯端末１０は、時間Ｔ以内に、携帯端末１０の利用者が表示部１１をＮ回より少ない回数しか見ていなければ、利用者は携帯端末１０を操作中でないと判断する。
この様な携帯端末１０を実現する、携帯端末１０の動作について、図３を参照して説明する。
携帯端末１０が動作を開始すると、制御部１３は時計ｔ１をゼロに設定し、カウンタ（counter）ｎをゼロに設定する（Ｓ２０１）。
時間の計時は、ここでは制御部１３が備える時計機能を用いることを想定しているが、携帯端末１０は、制御部１３とは別に時計機能を備えることでもよい。
また、回数を計数するカウンタは、制御部１３が備える計数機能を用いることを想定しているが、携帯端末１０は、制御部１３とは別にカウンタを備えることでもよい。
制御部１３は、時間ｔの計時を開始する（Ｓ２０２）。
ステップＳ２０３は、第２の実施形態で説明した図２のステップＳ１０３と同じである（Ｓ２０３）。
ステップＳ２０４で、制御部１３は、ｔが時間Ｔ以内であるかどうかを判断する（Ｓ２０４）。
ここで、時間Ｔは、前述した予め決められた時間である。
ステップＳ２０４でｔが時間Ｔ以内であると判断されると（Ｓ２０４でＹ）、ステップＳ２０５にすすむ。
ステップＳ２０４でｔ１が時間Ｔ１以内でないと判断されると（Ｓ２０４でＮ）、ステップＳ２１０にすすむ。
ステップＳ２０５で、制御部１３は、眼球表面画像と表示部１１の画像とが一致するかどうかを判断する（Ｓ２０５）。
携帯端末１０の使用者が表示部１１を見つめていると、眼球表面画像と表示部１１の画像が一致する。ステップＳ２０５の判断は、携帯端末１０の使用者が表示部１１を見つめているか否かを判断している。
ステップＳ２０５で、眼球表面画像と表示部１１の画像とが一致すると判断されると（Ｓ２０５でＹ）、ステップＳ２０６にすすむ。
ステップＳ２０５で、眼球表面画像と表示部１１の画像とが一致しないと判断されると（Ｓ２０５でＮ）、ステップＳ２０３にもどる。
ステップＳ２０６で、制御部１３は、カウンタｎを１つ加算する（Ｓ２０６）。
ステップＳ２０７で、制御部１３は、カウンタｎが回数Ｎであるかどうかを判断する（Ｓ２０７）。
ここで、回数Ｎは、予め決められた回数である。
ステップＳ２０７でｎが回数Ｎであると判断されると（Ｓ２０７でＹ）、ステップＳ２０８にすすむ。
ステップＳ２０７でｎが回数Ｎでないと判断されると（Ｓ２０７でＮ）、ステップＳ２０９にすすむ。
ステップＳ２０８で、制御部１３は、携帯端末１０が使用者によって操作中であると判断する（Ｓ２０８）。
ステップＳ２０８では、携帯端末１０の使用者が、時間Ｔ以内にＮ回、表示部１１を見つめている状況である。この状況を携帯端末１０が使用者による操作中であると判断している。
ステップＳ２０８のあと、ステップＳ２０１にもどる。
ステップＳ２０９では、制御部１３は、一定時間待機する（Ｓ２０９）。
この待機時間の設定は、時間Ｔと回数Ｎの設定と共に、携帯端末１０の使用者が携帯端末１０を操作中であるか否かの判断基準として、携帯端末１０の設計時に決定される。
ステップＳ２０９の後、ステップＳ２０３に戻る。
ステップＳ２１０では、制御部１３は、携帯端末１０が使用者によって操作中ではないと判断する（Ｓ２１０）。
ステップＳ２１０では、携帯端末１０の使用者が、時間Ｔ以内に、Ｎ回より少ない回数だけ表示部１１を見つめている状況である。この様な状況では、携帯端末１０が使用者による操作中ではないと判断している。
ステップＳ２１０のあと、ステップＳ２０１にもどる。
ステップＳ２０８、およびステップＳ２１０で、制御部１３が行った、携帯端末１０が使用者によって操作中であるか否かの判断は、携帯端末１０のアプリケーションソフトウェア（application software）の動作のための情報などとして利用可能である。
この様にすることで、本実施形態の携帯端末１０は、携帯端末１０の使用者が携帯端末１０を操作中か否かの判断を、視線の動きのみで行うより高精度で行うことが可能となる。
［第４の実施形態］
次に、第４の実施形態について図４と図５を参照して説明する。
［構成の説明］
図４に第４の実施形態の構成を示す。
携帯端末２０は、表示部２１、撮影部２２、角度検知部２３、および制御部２４を備える。
本実施形態の携帯端末２０は、無線携帯端末であるスマートフォンを想定しているが、必ずしも無線携帯端末である必要はなく、無線機能の無い、携帯ビデオ（video）再生装置等であっても良い。
表示部２１、撮影部２２、および制御部２４は、第２および第３の実施形態の表示部１１、撮影部１２、および制御部１３と同様である。
角度検知部２３は、ジャイロスコープ（gyroscope）であってもよい。ジャイロスコープは、携帯端末２０の鉛直方向に対する絶対的な傾きの角度を検出する手段である。スマートフォンでは、ジャイロスコープを備える機種も多い。
［動作の説明］
次に、本実施形態の携帯端末２０の動作について図５を参照して説明する。
図５は、第２の実施形態の動作を説明する図２に対して、ステップＳ３０１からステップＳ３０５が追加されている。ステップＳ３０６からステップＳ３１６は、第２の実施形態の動作を説明する図２のステップＳ１０１からステップＳ１１１と同じである
はじめに、制御部２４は、撮影部２２を動作して携帯端末２０の使用者の顔画像を撮影する。（Ｓ３０１）。
制御部２４は、角度検知部２３を動作させて、携帯端末２０の鉛直方向に対する絶対的な傾きの角度を検知する（Ｓ３０２）。
そして、制御部２４は、ステップＳ３０１で撮影した使用者の顔画像を解析して、表示部２１の表面に対する顔の相対角度を計算する（Ｓ３０３）。
顔の画像から表示部２１の表面に対する顔の相対角度を計算することは、顔画像処理技術を用いた顔の向きの検出として行うことが出来る。
ステップＳ３０２で検知した、制御部２４は、携帯端末２０の絶対的な傾き角度と、ステップＳ３０３で計算した表示部２１に対する顔の相対角度とから、顔の絶対角度を計算する（Ｓ３０４）。
次に、制御部２４は、ステップＳ３０４で計算した顔の絶対角度から、顔が所定の角度より下向きかどうかを判断する（Ｓ３０５）。
ここで、携帯端末２０の使用者の顔が、所定の角度より下向きとは、使用者の顔がうつむいていて、前方を注視していない状態である。また、所定の角度より下向きでない、即ち上向きとは、使用者の顔はうつむかずに前方を向いている状態である。
ステップＳ３０５で、顔が所定の角度より下向きであると判断されると（Ｓ３０５でＹ）、ステップＳ３０６にすすむ。
ステップＳ３０５で、顔が所定の角度より下向きでないと判断されると（Ｓ３０５でＮ）、ステップＳ３１６にすすむ。
ステップＳ３０６からステップＳ３１６は、第２の実施形態の動作を説明する図２のステップＳ１０１からステップＳ１１１と同じであるので、説明を省略する。
この様に、第２の実施形態の動作に加えて、ステップＳ３０１からステップＳ３０５の動作を加えることで、次の様な効果がある。
第２の実施形態では、眼球表面画像だけで、携帯端末の使用者が表示部を見つめているかどうかを判断していた。しかし、眼球表面画像は顔画像のごく一部分を使用したものであるため、顔全体の画像を使用して顔のうつむき状態を判断することと比べて、画像抽出処理が複雑で低速になる。
一方、本実施形態では、まず、眼球表面画像の抽出処理を省略して、顔のうつむき状態を判断することで、使用者の前方注視の状態を高速で判断する。そして、顔がうつむいている場合に、眼球表面画像を用いて、使用者が携帯端末を見つめているかどうかを判断する。
また、本実施形態の携帯端末２０は、使用者が携帯端末を操作中であるとの判断を、顔のうつむき状態と眼球表面画像の両方を用いて行うため、操作中であるとの判断を、第２の実施形態の携帯端末１０より高精度に行うことができる。
この様にすることで、本実施形態の携帯端末２０は、第２の実施形態の携帯端末１０と比べて、より高速でかつ高精度に携帯端末の使用者が操作中であるかどうかを判断することができる。
［第５の実施形態］
次に、第５の実施形態について図４と図６を参照して説明する。
［構成の説明］
本実施形態の構成は、図４に示される第４の実施形態の構成と同じであり、制御部２４の動作が、第４の実施形態と異なる。
［動作の説明］
次に、本実施形態の携帯端末２０の動作について図６を参照して説明する。
ステップＳ４０１からステップＳ４０５は、第４の実施形態の動作を説明する図５のステップＳ３０１からステップＳ３０５と同じである。
また、ステップＳ４０６からステップＳ４１５は、第３の実施形態の動作を説明する図３のステップＳ２０１からステップＳ２１０と同じである。
この様に、第３の実施形態の動作に加えて、ステップＳ４０１からステップＳ４０５の動作を加えている。そのため、第４の実施形態の携帯端末２０と同様に、使用者が携帯端末を操作中であるとの判断を、顔のうつむき状態と眼球表面画像の両方を用いて行っている。
この様にすることで、本実施形態の携帯端末２０は、第３の実施形態の携帯端末１０と比べて、より高速でかつ高精度に携帯端末の使用者が操作中であるかどうかを判断することができる。
［第６の実施形態］
次に、第６の実施形態について図７と図８を参照して説明する。
［構成の説明］
図７に第６の実施形態の構成を示す。
携帯端末３０は、表示部３１、撮影部３２、角度検知部３３、移動検知部３４、および制御部３５を備える。
本実施形態の携帯端末３０は、無線携帯端末であるスマートフォンを想定しているが、必ずしも無線携帯端末である必要はなく、無線機能の無い、携帯ビデオ（video）再生装置等であっても良い。
表示部３１、撮影部３２、角度検知部３３、および制御部３５は、第４および第５の実施形態の表示部２１、撮影部２２、角度検知部２３および制御部２４と同様である。
移動検知部３４は、ＧＰＳ（Global Positioning System）を利用して、携帯端末３０の現在地を測定し、現在地が時間とともに変化している場合に、携帯端末３０が移動していると検知するなどでもよい。スマートフォンでは、ＧＰＳ機能を備える機種も多い。
［動作の説明］
次に、本実施形態の携帯端末３０の動作について図８を参照して説明する。
図８は、第４の実施形態の動作を説明する図５に対して、ステップＳ５０１とステップＳ５０２が追加されている。ステップＳ５０３からステップＳ５１４、およびステップＳ５１７は、第４の実施形態の動作を説明する図５のステップＳ３０１からステップＳ３１２、およびステップＳ３１５と同じである。
また、図５のステップＳ３１３は削除されて、図８ではステップＳ５１５とステップＳ５１６に置きかえられている。
更に、図５のステップＳ３１６は削除されて、図８ではステップＳ５０１にもどる。
はじめに、制御部３５は、表示部３１であるタッチパネルが、携帯端末３０の使用者によって、操作中であるかを判断する（Ｓ５０１）。
ここで、操作中であるかどうかの判断は、タッチパネルに使用者が接触しているかどうかを検知し、一定時間内に接触を検知すれば操作中と判断する様にしても良い。
尚、携帯端末３０が、表示部３１とは別にボタンによる入力手段を備えていて、ボタンの操作を検知して、操作中かどうかを判断しても良い。
ステップＳ５０１で、操作中と判断されると（Ｓ５０１でＹ）、ステップＳ５０２にすすむ。
ステップＳ５０１で、操作中でないと判断されると（Ｓ５０１でＮ）、ステップＳ５０１にもどる。
ステップＳ５０２では、制御部３５は、移動検知部３４を動作して、携帯端末３０が移動中であるかどうかを判断する（Ｓ５０２）。
ステップＳ５０２で、移動中と判断されると（Ｓ５０２でＹ）、ステップＳ５０３にすすむ。
ステップＳ５０２で、移動中でないと判断されると（Ｓ５０２でＮ）、ステップＳ５０１にもどる。
ステップＳ５０３からステップＳ５１４、およびステップＳ５１７は、第４の実施形態の動作を説明する図５のステップＳ３０１からステップＳ３１２、およびステップＳ３１５と同じである。
ステップＳ５１５では、制御部３５は、表示部３１のタッチパネルの入力操作の受け付けを停止する（Ｓ５１５）。
ステップＳ５１６では、予め定められた一定の時間を経過後に、表示部３１のタッチパネルの入力操作の停止を解除する（Ｓ５１６）。
この様にすることで、携帯端末３０が移動中で、かつ携帯端末３０の使用者が携帯端末３０を、前方を注視せずに使用中であると判断されると、表示部３１のタッチパネルの入力操作の受け付けが停止される。
その結果、携帯端末３０の使用者は、止むを得ず携帯端末３０の入力操作をやめて、前方を注視して移動する様になる。そして、携帯端末３０の使用者は、危険を回避することができる。
以上説明した様に、本実施形態の携帯端末３０は、携帯端末の使用者が携帯端末を操作中か否かの判断を高い精度で行うことで、使用者が歩行などの移動中に入力操作を行なう危険を回避することが出来る。
［第７の実施形態］
次に、第７の実施形態について図７と図９を参照して説明する。
［構成の説明］
本実施形態の構成は、図７に示される第６の実施形態の構成と同じであり、制御部３５の動作が、第６の実施形態と異なる。
［動作の説明］
次に、本実施形態の携帯端末３０の動作について図９を参照して説明する。
図９は、第５の実施形態の動作を説明する図６に対して、ステップＳ６０１とステップＳ６０２が追加されている。ステップＳ６０３からステップＳ６１４、およびステップＳ６１７は、第５の実施形態の動作を説明する図５のステップＳ４０１からステップＳ４１２、およびステップＳ４１４と同じである。
また、図６のステップＳ４１３は削除されて、図９ではステップＳ６１５とステップＳ６１６に置きかえられている。
更に、図６のステップＳ４１５は削除されて、図９ではステップＳ６０１にもどる。
ステップＳ６０１とステップＳ６０２は、図８に示した第６の実施形態の動作のステップＳ５０１とステップＳ５０２と同じである。
ステップＳ６０３からステップＳ６１４、およびステップＳ６１７は、第５の実施形態の動作を説明する図５のステップＳ４０１からステップＳ４１２、およびステップＳ４１４と同じである。
また、ステップＳ６１５とステップＳ６１６は、第６の実施形態の動作を示す図８のステップＳ５１５とステップＳ５１６と同じである。
この様にすることで、第６の実施形態の携帯端末３０と同様に、携帯端末３０が移動中で、かつ携帯端末３０の使用者が携帯端末３０を、前方を注視せずに使用中であると判断されると、表示部３１のタッチパネルの入力操作の受け付けが停止される。
その結果、携帯端末３０の使用者は、止むを得ず携帯端末３０の入力操作をやめて、前方を注視して移動する様になる。そして、携帯端末３０の使用者は、危険を回避することができる。
以上説明した様に、本実施形態の携帯端末３０は、携帯端末の使用者が携帯端末を操作中か否かの判断を高い精度で行うことで、使用者が歩行などの移動中に入力操作を行なう危険を回避することが出来る。
尚、本発明は、実施形態の機能を実現する情報処理プログラムが、システム或いは装置に直接或いは遠隔から供給される場合にも適用可能である。
上記の実施形態の一部又は全部は、以下の付記のようにも記載されうるが、以下には限られない。
（付記１）
表示部を備える携帯端末であって、
前記表示部と相対的に固定され前記携帯端末の使用者の眼球表面の画像を撮影する撮影部と、
第１の所定の時間以内に、前記眼球表面の画像が、前記表示部に表示されている画像と一致する時間が第１の所定の時間より短い第２の所定時間以上であると、前記使用者が前記携帯端末を操作中であると判断する制御部とを備えることを特徴とする携帯端末。
（付記２）
表示部を備える携帯端末であって、
前記表示部と相対的に固定され前記携帯端末の使用者の眼球表面の画像を撮影する撮影部と、
前記表示部の鉛直方向に対する第１の絶対角度を検知する角度検知部を備え、
所定の時間以内に、前記眼球表面の画像が、前記表示部に表示されている画像と一致する回数が所定の回数に達すると、前記使用者が前記携帯端末を操作中であると判断する制御部とを備えることを特徴とする携帯端末。
（付記３）
表示部を備える携帯端末であって、
前記表示部と相対的に固定され前記携帯端末の使用者の顔と眼球表面の画像とを撮影する撮影部と、
前記表示部の鉛直方向に対する絶対角度を検知する角度検知部を備え、
前記顔の画像と前記絶対角度とから前記顔が所定の角度より下に向いていると判断されて、更に、第１の所定の時間以内に、前記眼球表面の画像が、前記表示部に表示されている画像と一致する時間が第１の所定の時間より短い第２の所定時間以上であると、前記使用者が前記携帯端末を操作中であると判断する制御部とを備えることを特徴とする携帯端末。
（付記４）
表示部を備える携帯端末であって、
前記表示部と相対的に固定され前記携帯端末の使用者の顔と眼球表面の画像とを撮影する撮影部と、
前記携帯端末の位置の移動を検知する移動検知部と、
前記表示部の鉛直方向に対する絶対角度を検知する角度検知部を備え、
前記携帯端末が移動中と検知され、かつ前記顔の画像と前記絶対角度とから前記顔が所定の角度より下に向いていると判断されて、更に、所定の時間以内に、前記眼球表面の画像が、前記表示部に表示されている画像と一致する回数が所定の回数に達すると、前記使用者が前記携帯端末を操作中であると判断する制御部とを備えることを特徴とする携帯端末。
（付記５）
前記携帯端末は更に、前記携帯端末の位置の移動を検知する移動検知部を備え、
前記制御部は前記使用者が前記携帯端末を操作中であると判断すると、前記使用者による前記携帯端末の操作の受け付けを停止とすることを特徴とする付記１乃至付記４のいずれかに記載の携帯端末。
（付記６）
前記制御部はさらに、前記使用者による前記携帯端末の操作の受け付けを停止とした後に、所定の時間を経過すると、前記携帯端末の操作の受け付けを可能に復帰することを特徴とする付記５に記載の携帯端末。
（付記７）
第１の所定の時間以内に、携帯端末の使用者の眼球表面の画像が、前記携帯端末の表示部に表示されている画像と一致する時間が第１の所定の時間より短い第２の所定時間以上であると、前記使用者が前記携帯端末を操作中であると判断することを特徴とする携帯端末の制御方法。
（付記８）
所定の時間以内に、携帯端末の使用者の眼球表面の画像が、前記携帯端末の表示部に表示されている画像と一致する回数が所定の回数に達すると、前記使用者が前記携帯端末を操作中であると判断することを特徴とする携帯端末の制御方法。
（付記９）
携帯端末の使用者の顔の画像と前記携帯端末の表示部の鉛直方向に対する絶対角度とから前記顔が所定の角度より下に向いていると判断されて、更に、第１の所定の時間以内に、前記携帯端末の使用者の眼球表面の画像が、前記表示部に表示されている画像と一致する時間が第１の所定の時間より短い第２の所定時間以上であると、前記使用者が前記携帯端末を操作中であると判断することを特徴とする携帯端末の制御方法。
（付記１０）
携帯端末の使用者の顔の画像と前記携帯端末の表示部の鉛直方向に対する絶対角度とから前記顔が所定の角度より下に向いていると判断されて、更に、所定の時間以内に、前記携帯端末の使用者の眼球表面の画像が、前記表示部に表示されている画像と一致する回数が所定の回数に達すると、前記使用者が前記携帯端末を操作中であると判断することを特徴とする携帯端末の制御方法。
（付記１１）
前記携帯端末が移動中と検知されて、前記使用者が前記携帯端末を操作中であると判断されると、前記使用者による前記携帯端末の操作の受け付けを停止とすることを特徴とする付記７乃至付記１０のいずれかに記載の携帯端末の制御方法。
（付記１２）
前記使用者による前記携帯端末の操作の受け付けを停止とした後に、所定の時間を経過すると、前記携帯端末の操作の受け付けを可能に復帰することを特徴とする付記１１に記載の携帯端末の制御方法。
（付記１３）
第１の所定の時間以内に、携帯端末の使用者の眼球表面の画像が、前記携帯端末の表示部に表示されている画像と一致する時間が第１の所定の時間より短い第２の所定時間以上であると、前記使用者が前記携帯端末を操作中であると判断することをコンピュータに実行させる携帯端末のプログラム。
（付記１４）
所定の時間以内に、携帯端末の使用者の眼球表面の画像が、前記携帯端末の表示部に表示されている画像と一致する回数が所定の回数に達すると、前記使用者が前記携帯端末を操作中であると判断することをコンピュータに実行させる携帯端末のプログラム。
（付記１５）
携帯端末の使用者の顔の画像と前記携帯端末の表示部の鉛直方向に対する絶対角度とから前記顔が所定の角度より下に向いていると判断されて、更に、第１の所定の時間以内に、前記携帯端末の使用者の眼球表面の画像が、前記表示部に表示されている画像と一致する時間が第１の所定の時間より短い第２の所定時間以上であると、前記使用者が前記携帯端末を操作中であると判断することをコンピュータに実行させる携帯端末のプログラム。
（付記１６）
携帯端末の使用者の顔の画像と前記携帯端末の表示部の鉛直方向に対する絶対角度とから前記顔が所定の角度より下に向いていると判断されて、更に、所定の時間以内に、前記携帯端末の使用者の眼球表面の画像が、前記表示部に表示されている画像と一致する回数が所定の回数以上であると、前記使用者が前記携帯端末を操作中であると判断することをコンピュータに実行させる携帯端末のプログラム。
（付記１７）
前記携帯端末が移動中と検知されて、前記使用者が前記携帯端末を操作中であると判断されると、前記使用者による前記携帯端末の操作の受け付けを停止とすることをコンピュータに実行させる付記１３乃至付記１６のいずれかに記載の携帯端末のプログラム。
（付記１８）
前記使用者による前記携帯端末の操作の受け付けを停止とした後に、所定の時間を経過すると、前記携帯端末の操作の受け付けを可能に復帰することをコンピュータに実行させる付記１７に記載の携帯端末のプログラム。
１０ 携帯端末
１１ 表示部
１２ 撮影部
１３ 制御部
２０ 携帯端末
２１ 表示部
２２ 撮影部
２３ 角度検知部
２４ 制御部
３０ 携帯端末
３１ 表示部
３２ 撮影部
３３ 角度検知部
３４ 移動検知部
３５ 制御部

Claims (10)

  1. 表示部を備える携帯端末であって、
    前記表示部と相対的に固定され前記携帯端末の使用者の眼球表面の画像を撮影する撮影部と、
    第１の所定の時間以内に、前記眼球表面の画像が、前記表示部に表示されている画像と一致する時間が第１の所定の時間より短い第２の所定時間以上であると、前記使用者が前記携帯端末を操作中であると判断する制御部とを備えることを特徴とする携帯端末。
  2. 表示部を備える携帯端末であって、
    前記表示部と相対的に固定され前記携帯端末の使用者の眼球表面の画像を撮影する撮影部と、
    前記表示部の鉛直方向に対する第１の絶対角度を検知する角度検知部を備え、
    所定の時間以内に、前記眼球表面の画像が、前記表示部に表示されている画像と一致する回数が所定の回数に達すると、前記使用者が前記携帯端末を操作中であると判断する制御部とを備えることを特徴とする携帯端末。
  3. 表示部を備える携帯端末であって、
    前記表示部と相対的に固定され前記携帯端末の使用者の顔と眼球表面の画像とを撮影する撮影部と、
    前記表示部の鉛直方向に対する絶対角度を検知する角度検知部を備え、
    前記顔の画像と前記絶対角度とから前記顔が所定の角度より下に向いていると判断されて、更に、第１の所定の時間以内に、前記眼球表面の画像が、前記表示部に表示されている画像と一致する時間が第１の所定の時間より短い第２の所定時間以上であると、前記使用者が前記携帯端末を操作中であると判断する制御部とを備えることを特徴とする携帯端末。
  4. 表示部を備える携帯端末であって、
    前記表示部と相対的に固定され前記携帯端末の使用者の顔と眼球表面の画像とを撮影する撮影部と、
    前記携帯端末の位置の移動を検知する移動検知部と、
    前記表示部の鉛直方向に対する絶対角度を検知する角度検知部を備え、
    前記携帯端末が移動中と検知され、かつ前記顔の画像と前記絶対角度とから前記顔が所定の角度より下に向いていると判断されて、更に、所定の時間以内に、前記眼球表面の画像が、前記表示部に表示されている画像と一致する回数が所定の回数に達すると、前記使用者が前記携帯端末を操作中であると判断する制御部とを備えることを特徴とする携帯端末。
  5. 前記携帯端末は更に、前記携帯端末の位置の移動を検知する移動検知部を備え、
    前記制御部は前記使用者が前記携帯端末を操作中であると判断すると、前記使用者による前記携帯端末の操作の受け付けを停止とすることを特徴とする請求項１乃至請求項４のいずれかに記載の携帯端末。
  6. 前記制御部はさらに、前記使用者による前記携帯端末の操作の受け付けを停止とした後に、所定の時間を経過すると、前記携帯端末の操作の受け付けを可能に復帰することを特徴とする請求項５に記載の携帯端末。
  7. 第１の所定の時間以内に、携帯端末の使用者の眼球表面の画像が、前記携帯端末の表示部に表示されている画像と一致する時間が第１の所定の時間より短い第２の所定時間以上であると、前記使用者が前記携帯端末を操作中であると判断することを特徴とする携帯端末の制御方法。
  8. 所定の時間以内に、携帯端末の使用者の眼球表面の画像が、前記携帯端末の表示部に表示されている画像と一致する回数が所定の回数に達すると、前記使用者が前記携帯端末を操作中であると判断することを特徴とする携帯端末の制御方法。
  9. 携帯端末の使用者の顔の画像と前記携帯端末の表示部の鉛直方向に対する絶対角度とから前記顔が所定の角度より下に向いていると判断されて、更に、第１の所定の時間以内に、前記携帯端末の使用者の眼球表面の画像が、前記表示部に表示されている画像と一致する時間が第１の所定の時間より短い第２の所定時間以上であると、前記使用者が前記携帯端末を操作中であると判断することを特徴とする携帯端末の制御方法。
  10. 第１の所定の時間以内に、携帯端末の使用者の眼球表面の画像が、前記携帯端末の表示部に表示されている画像と一致する時間が第１の所定の時間より短い第２の所定時間以上であると、前記使用者が前記携帯端末を操作中であると判断することをコンピュータに実行させる携帯端末のプログラム。
JP2018020711A 2018-02-08 2018-02-08 携帯端末、携帯端末の制御方法、および携帯端末のプログラム Active JP7048339B2 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2018020711A JP7048339B2 (ja) 2018-02-08 2018-02-08 携帯端末、携帯端末の制御方法、および携帯端末のプログラム
PCT/JP2019/004040 WO2019156063A1 (ja) 2018-02-08 2019-02-05 携帯端末、携帯端末の制御方法、および携帯端末のプログラム
US16/964,865 US20210064130A1 (en) 2018-02-08 2019-02-05 Mobile terminal, control method for mobile terminal, and storage medium storing program for mobile terminal

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2018020711A JP7048339B2 (ja) 2018-02-08 2018-02-08 携帯端末、携帯端末の制御方法、および携帯端末のプログラム

Publications (2)

Publication Number Publication Date
JP2019139411A true JP2019139411A (ja) 2019-08-22
JP7048339B2 JP7048339B2 (ja) 2022-04-05

Family

ID=67549374

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2018020711A Active JP7048339B2 (ja) 2018-02-08 2018-02-08 携帯端末、携帯端末の制御方法、および携帯端末のプログラム

Country Status (3)

Country Link
US (1) US20210064130A1 (ja)
JP (1) JP7048339B2 (ja)
WO (1) WO2019156063A1 (ja)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2014232411A (ja) * 2013-05-29 2014-12-11 富士通テン株式会社 携帯端末、及び、危険報知システム
US20160166140A1 (en) * 2014-12-10 2016-06-16 Telefonaktiebolaget L M Ericsson (Publ) Device for and method of corneal imaging
JP2016119631A (ja) * 2014-12-22 2016-06-30 富士通株式会社 電子機器

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2014232411A (ja) * 2013-05-29 2014-12-11 富士通テン株式会社 携帯端末、及び、危険報知システム
US20160166140A1 (en) * 2014-12-10 2016-06-16 Telefonaktiebolaget L M Ericsson (Publ) Device for and method of corneal imaging
JP2016119631A (ja) * 2014-12-22 2016-06-30 富士通株式会社 電子機器

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
北角 一哲, 中澤篤志, 西田豊明: "角膜表面反射の画像特徴を用いた視線停留点検出", 情報処理学会 研究報告 コンピュータビジョンとイメージメディア（ＣＶＩＭ）, vol. 第2016CVIM-202巻, 第21号, JPN6021047322, 5 May 2016 (2016-05-05), JP, pages 1 - 8, ISSN: 0004649011 *

Also Published As

Publication number Publication date
US20210064130A1 (en) 2021-03-04
WO2019156063A1 (ja) 2019-08-15
JP7048339B2 (ja) 2022-04-05

Similar Documents

Publication Publication Date Title
KR102171616B1 (ko) 단말기 오접촉 방지 방법 및 장치
EP3179711B1 (en) Method and apparatus for preventing photograph from being shielded
EP3163404B1 (en) Method and device for preventing accidental touch of terminal with touch screen
US9007321B2 (en) Method and apparatus for enlarging a display area
EP3173974A1 (en) Method and device for fingerprint recognition
JP6587628B2 (ja) 命令生成方法及び装置
EP3176727A1 (en) Image classification method and device
EP2977926A1 (en) Method and device for verification using verification code
EP3038345B1 (en) Auto-focusing method and auto-focusing device
US20150143283A1 (en) Information processing device, display control method, and program
EP2950180B1 (en) Method for determining screen display mode and terminal device
WO2017088266A1 (zh) 图片处理方法及装置
JP2009031368A (ja) 画面表示制御方法、画面表示制御方式、電子機器及びプログラム
EP3232301B1 (en) Mobile terminal and virtual key processing method
JP7203955B2 (ja) 顔認識方法および装置
WO2014105012A1 (en) System and method for gesture based touchscreen control of displays
KR20110006243A (ko) 휴대용 단말기에서 매뉴얼 포커싱 방법 및 장치
KR102024330B1 (ko) 전자 장치, 사진 촬영 방법, 및 사진 촬영 장치
JP7048339B2 (ja) 携帯端末、携帯端末の制御方法、および携帯端末のプログラム
US20160195992A1 (en) Mobile terminal and method for processing signals generated from touching virtual keys
JP5796052B2 (ja) 画面表示制御方法、画面表示制御方式、電子機器及びプログラム
EP2924568A1 (en) Execution method and device for program string
CN107329604B (zh) 一种移动终端控制方法及装置
CN111756985A (zh) 图像拍摄方法、装置和存储介质
CN109670432B (zh) 动作识别方法及装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20210115

RD01 Notification of change of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7421

Effective date: 20211110

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20211130

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220125

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20220301

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20220324

R150 Certificate of patent or registration of utility model

Ref document number: 7048339

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150