JP2018206003A - Portable terminal with laser scanner - Google Patents
Portable terminal with laser scanner Download PDFInfo
- Publication number
- JP2018206003A JP2018206003A JP2017109757A JP2017109757A JP2018206003A JP 2018206003 A JP2018206003 A JP 2018206003A JP 2017109757 A JP2017109757 A JP 2017109757A JP 2017109757 A JP2017109757 A JP 2017109757A JP 2018206003 A JP2018206003 A JP 2018206003A
- Authority
- JP
- Japan
- Prior art keywords
- unit
- laser scanner
- laser
- distance
- person
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- Length Measuring Devices By Optical Means (AREA)
Abstract
Description
本発明は、レーザースキャナ付き携帯端末及びその制御方法に関し、特にカメラを備えるレーザースキャナ付き携帯端末及びその制御方法に関する。 The present invention relates to a portable terminal with a laser scanner and a control method thereof, and more particularly to a portable terminal with a laser scanner provided with a camera and a control method thereof.
近年ＲＦＩＤ（ＩＣタグ）等の無線通信技術が普及しているが、バーコードを利用したシステムも分野によっては多く利用されている。バーコードを読み取る方式はＣＣＤ方式、レーザー方式、ペン方式に分類されるが、世界的にはレーザー方式が約８０％以上を占めている。 In recent years, wireless communication technology such as RFID (IC tag) has become widespread, but systems using barcodes are also widely used in some fields. Bar code reading methods are classified into CCD, laser, and pen methods, but the laser method occupies about 80% or more worldwide.
特許文献１にて開示されるようなレーザースキャナを使用するシーンは工場や店舗などが多いが、使用者がその業務に集中するあまり周囲へ意識が及ばなくなるなどして、周囲にいる人の目にレーザーが当たってしまってはいけない。
There are many scenes where a laser scanner as disclosed in
本発明のレーザースキャナ付き携帯端末は、カメラにより撮像された様々な人の顔のサイズによりレーザースキャナのレーザー出力レベルを調整する、あるいはレーザー出力をオフする、あるいはレーザーの照射範囲を調整する、あるいは警告を出すといった制御を行い、レーザースキャナ付き携帯端末使用者の前方にいる人に危害が及ぶのを防ぎつつ、使用可能な環境下ではレーザースキャナを使用可能にすることで利便性を損なうことが無いようにすることができる。 The portable terminal with a laser scanner of the present invention adjusts the laser output level of the laser scanner according to the size of various human faces imaged by the camera, or turns off the laser output, or adjusts the laser irradiation range, or Controls such as issuing warnings may prevent the person in front of the user of the portable terminal equipped with a laser scanner from being harmed, and may impair convenience by enabling the laser scanner to be used in a usable environment. There can be no.
本発明に係るレーザースキャナ付き携帯端末は、
レーザースキャナと、
前記レーザースキャナのスキャン領域を撮影可能な撮影部と、
前記撮影部で撮影した被写体画像中に人の顔が含まれていることを検知する顔認識部と、
前記撮影部と前記被写体との距離を推定する距離推定部と、
前記距離推定部の距離推定結果に応じてレーザー部の出力を制御する制御部と、
前記距離推定部の距離推定結果に応じて警告を報知する警告部と
を備え、
前記レーザースキャナによってスキャンする際に、前記撮影部で撮像した被写体画像に人の顔が含まれていると前記顔認識部が判断した場合は、前記距離推定部により前記被写体との距離を推定し、
前記制御部は、前記距離推定部が推定した距離に応じて前記レーザースキャナの出力を制御することを特徴とするレーザースキャナ付き携帯端末。
A portable terminal with a laser scanner according to the present invention,
A laser scanner,
An imaging unit capable of imaging the scan area of the laser scanner;
A face recognition unit for detecting that a human face is included in the subject image photographed by the photographing unit;
A distance estimation unit that estimates a distance between the photographing unit and the subject;
A control unit for controlling the output of the laser unit according to the distance estimation result of the distance estimation unit;
A warning unit for notifying a warning according to a distance estimation result of the distance estimation unit,
When the face recognition unit determines that the subject image captured by the imaging unit includes a human face when scanning by the laser scanner, the distance estimation unit estimates the distance to the subject. ,
The portable terminal with a laser scanner, wherein the control unit controls the output of the laser scanner according to the distance estimated by the distance estimation unit.
本発明によれば、レーザースキャナのスキャン領域に人がいる場合でも、レーザー出力等を使用者が意識することなく、レーザースキャナが使用可能となる。 According to the present invention, even when there is a person in the scan area of the laser scanner, the laser scanner can be used without the user being aware of the laser output or the like.
以下、本発明に係るレーザースキャナ付ハンディターミナルについて、図面を用いて説明する。なお、以下の説明において、レーザースキャナ付き携帯端末をレーザースキャナと表すことがある。 Hereinafter, a handy terminal with a laser scanner according to the present invention will be described with reference to the drawings. In the following description, a portable terminal with a laser scanner may be referred to as a laser scanner.
＜第１実施形態＞
図１は、本発明の第１実施形態に係るレーザースキャナ付き携帯端末の第１の実施形態のブロック図である。制御部１は、主にＣＰＵで構成されていてレーザースキャナ付き携帯端末全般の動作を制御する。ここでは、後述する顔認識部８の結果に応じた距離推定部９への指示や距離推定部９の処理結果を元にレーザー部４や警告部５等の制御等も行う。
<First Embodiment>
FIG. 1 is a block diagram of a first embodiment of a portable terminal with a laser scanner according to the first embodiment of the present invention. The
記憶部２は、フラッシュメモリ等で構成されていて、各種データの保存をする。制御部１が距離推定部９の処理結果により記憶部２の情報を読みこみ、レーザー部４や警告部５等に指示を出す。
The
表示部３は、ＬＣＤ等で構成されており、各種映像を表示する。制御部１の指示により使用者に警告表示をしたりする。レーザー部４は、レーザースキャナ付き携帯端末の背面側や上部に取り付けられたレーザースキャナで構成されており、制御部１の制御指示によりバーコード等をスキャンしたり、レーザーの出力レベルを調整したり、あるいはレーザーの出力をオフしたり、あるいはレーザーの照射範囲を調整したりする。
The
警告部５は、スピーカーやバイブレータ、その他使用者に対して警告等が出来るデバイスで構成されていて、制御部１の指示により使用者に対して警告を出す。撮影部６は、カメラ等で構成されていて、レーザースキャナ付き携帯端末の使用者の前方を撮像出来る位置に配置され、制御部１の指示により使用者の前方を撮像する。撮像した被写体画像は、顔認識部８に送られる。
The
顔認識部８は、撮影部６から送られてきた被写体画像に人の顔が含まれているかどうかを判断する。なお、顔認識手段は一般的なため、ここでは具体的に述べないが、汎用的な方法が適用可能である。距離推定部９は、撮影部６から送られてきた被写体画像に人の顔が含まれていると顔認識部８が判断をした場合に、顔の領域を算出し、そのサイズと記憶部２に保存されている情報を元に使用者と前方にいる人（顔が認識された人）との距離を推定する。距離の推定結果を元に、レーザー部４や警告部５の制御を制御部１が行う。
The
距離推定部９における距離推定の方法としては、スキャン動作の開始時のある時点で撮影した画像内に占める顔の領域（サイズ）に対応した距離への換算テーブルを参照することによって、推定することなどが可能であり、更に、顔の領域に限らず、撮影した画像内における目や口の大きさからその人物までの距離を推定する種々の方法が適用可能である。
As a distance estimation method in the
さらに、距離推定部９の精度を向上する方法として、スキャン動作の開始時に２つ以上の画像を撮影し、それら２画像間での人物までの距離を比較し、２つの撮影画像の撮影間隔を用いて人物の移動速度を推定し、実際にスキャンが実行される時点において人物がどこまで移動しているか、その時点での距離に応じて図２におけるステップＳ１０６の処理を実行するようにしても良い。
Furthermore, as a method of improving the accuracy of the
次に、本発明の第１実施形態に係るレーザースキャナ付き携帯端末の動作について、図２のフローチャートを用いて説明する。初めにレーザースキャナ付き携帯端末の使用者がレーザースキャナ付き携帯端末を起動し、レーザースキャナでバーコードをスキャンする。ただし、この時点でレーザーはまだ出力されず、バーコードはスキャンされない（ステップＳ１０１）。 Next, the operation of the portable terminal with a laser scanner according to the first embodiment of the present invention will be described using the flowchart of FIG. First, a user of a portable terminal with a laser scanner activates the portable terminal with a laser scanner, and scans the barcode with the laser scanner. However, at this time, the laser is not yet output, and the barcode is not scanned (step S101).
次に、撮影部６で使用者の前方を撮像し被写体画像を得る（ステップＳ１０２）。得られた被写体画像に人の顔が含まれているか否かを顔認識部８で判断する（ステップＳ１０３）。被写体画像に人の顔が含まれていないと判断した場合、レーザースキャナのレーザーは通常出力でバーコードをスキャンする（ステップＳ１０７）。
Next, the
被写体画像に人の顔が含まれていると判断した場合、距離推定部９で顔の領域を算出し（ステップＳ１０４）、使用者（レーザースキャナ）と使用者の前方にいる人（顔が認識された人）との距離を推定する（ステップＳ１０５）。
When it is determined that the human face is included in the subject image, the
距離推定部９で推定された距離を元に、制御部１によって記憶部２に保存されている制御テーブルを参照、比較しレーザー部４の制御を決める。使用者と使用者の前方にいる人との距離が３ｍ以上の場合（ステップＳ１０６ Ｙｅｓ）、レーザー部４のレーザーは通常出力レベルのまま出力され、バーコード等がスキャンされる（ステップＳ１０７）。
Based on the distance estimated by the
一方、距離が２ｍ以上３ｍ未満であった場合（ステップＳ１０８ Ｙｅｓ）、レーザー部４のレーザーは出力を弱めてレーザー出力され、バーコード等がスキャンされる（ステップＳ１０９）。距離が２ｍ未満であった場合、レーザー部４のレーザーの出力はオフされ（ステップＳ１１０）、レーザースキャナ付き携帯端末の表示部３に人が前方にいるためレーザー部４のレーザー出力をオフしたことを示す画面表示や音声、振動等の手段を擁する警告部５で使用者に向けて警告を出す（ステップＳ１１１）。なお、使用者と前方にいる人との距離による制御方法は、上記の限りではなく、これらは一例である。
On the other hand, when the distance is not less than 2 m and less than 3 m (Yes in step S108), the laser of the
＜第２実施形態＞
図３は、本発明の第２実施形態に係るレーザースキャナ付き携帯端末のブロック図である。なお、本実施形態の多くは第１実施形態と同様の構成であるため、異なる点についてのみ説明する。
Second Embodiment
FIG. 3 is a block diagram of a portable terminal with a laser scanner according to the second embodiment of the present invention. Since many of the embodiments have the same configuration as that of the first embodiment, only different points will be described.
角度推定部１０は撮影部６から送られてきた被写体画像に人の顔が含まれていると顔認識部８が判断した場合、顔の領域が表示部３の右側に多く含まれるのか左側に多く含まれるのかを判断する。この推定結果を元に、制御部１がレーザー部４や警告部５の制御を行う。図４には一例として、顔の領域が表示部３の右側に多く含まれていて、その場合にレーザースキャナ付き携帯端末の使用者から見て前方右寄りに人がいる状態を示している。
When the
次に第２実施形態に係るレーザースキャナ付き携帯端末の動作を、図５のフローチャートを用いて説明する。初めにレーザースキャナ付き携帯端末の使用者がレーザースキャナ付き携帯端末を起動し、レーザースキャナでバーコードをスキャンする。ただし、この時点でレーザーはまだ出力されず、バーコードはスキャンされない（ステップＳ２０１）。 Next, the operation of the portable terminal with a laser scanner according to the second embodiment will be described with reference to the flowchart of FIG. First, a user of a portable terminal with a laser scanner activates the portable terminal with a laser scanner, and scans the barcode with the laser scanner. However, at this time, the laser is not output yet, and the barcode is not scanned (step S201).
次に、撮影部６で使用者の前方を撮像し被写体画像を得る（ステップＳ２０２）。得られた被写体画像に人の顔が含まれているか否かを顔認識部８で判断する（ステップＳ２０３）。被写体画像に人の顔が含まれていないと判断した場合、レーザースキャナのレーザーは通常出力でバーコードをスキャンする（ステップＳ２０７）。
Next, the
被写体画像に人の顔が含まれていると判断した場合、角度推定部１０で顔の領域が表示部３の右側に多く含まれるのか、左側に多く含まれるのか算出する（ステップＳ２０４）。顔の領域が表示部３の右側に多く含まれていると判断した場合（ステップＳ２０５ Ｙｅｓ）、使用者から見て前方右側に人がいると判断し、レーザー部４のレーザーの照射範囲を左寄りに制限をした上で（ステップＳ２０６）、レーザー部４のレーザーを出力してバーコード等をスキャンする（ステップＳ２０７）。
If it is determined that the human face is included in the subject image, the
あるいは、顔の領域が表示部３の左側に多く含まれていると判断した場合、使用者から見て前方左側に人がいると判断し、レーザー部４のレーザーの照射範囲を右寄りに制限をした上で（ステップＳ２０８）、レーザー部４のレーザーを出力してバーコード等をスキャンする（ステップＳ２０７）。なお、使用者と、前方にいる人との左右方向における角度による制御は、上記の限りではない。
Alternatively, when it is determined that the face area is included in the left side of the
以上のように構成されたレーザースキャナ付き携帯端末において、図６を用いて記憶部２に保存されている距離−レーザー出力レベル変換テーブルについて説明する。距離は「２ｍ未満」、「２ｍ以上３ｍ未満」、「３ｍ以上」の３つに分け、それぞれに対応するようにレーザー部４の出力を「オフ」、「５０％オフ」、「通常出力のまま使用する」としている。これは使用するレーザーの能力により距離を変えたりレーザー部４の出力を変えたりしても良く、レーザースキャナ付き携帯端末の使用者と前方にいる人との距離、およびレーザー部４の制御の関係は、この限りではない。
In the portable terminal with a laser scanner configured as described above, a distance-laser output level conversion table stored in the
＜第３実施形態＞
図７は、本発明の第３実施形態に係るレーザースキャナ付き携帯端末のブロック図である。なお、本実施形態の多くは第１実施形態と同様の構成であるため、異なる点についてのみ説明する。
<Third Embodiment>
FIG. 7 is a block diagram of a portable terminal with a laser scanner according to the third embodiment of the present invention. Since many of the embodiments have the same configuration as that of the first embodiment, only different points will be described.
図７において、温度測定部７は、赤外線サーモグラフィ等で構成されていて、レーザースキャナ付き携帯端末の使用者の前方の温度を測定出来る位置に配置され、制御部１の指示により使用者の前方の温度分布を得ることができる。得られた温度分布は顔認識部８に送られる。
In FIG. 7, the
顔認識部８は、撮影部６から送られてきた被写体画像と温度測定部７より送られてきた温度分布の情報により使用者の前方に人がいるか否かを判断する。距離推定部９は、顔認識部８で、被写体画像中に人の顔が含まれると判断をした場合、顔の領域を算出し、そのサイズと記憶部２に保存されている情報を元に使用者と前方にいる人（顔が認識された人）との距離を推定する。距離の推定結果を元に、レーザー部４や警告部５の制御を制御部１が行う。
The
次に本発明の第３実施形態に係るレーザースキャナ付き携帯端末の動作を図８に示すフローチャートを用いて説明する。初めにレーザースキャナ付き携帯端末の使用者がレーザースキャナ付き携帯端末を起動し、レーザースキャナでバーコードをスキャンする。ただし、この時点でレーザーはまだ出力されず、バーコードはスキャンされない（ステップＳ３０１）。 Next, the operation of the portable terminal with a laser scanner according to the third embodiment of the present invention will be described with reference to the flowchart shown in FIG. First, a user of a portable terminal with a laser scanner activates the portable terminal with a laser scanner, and scans the barcode with the laser scanner. However, at this time, the laser is not output yet, and the barcode is not scanned (step S301).
次に撮影部６で使用者の前方を撮像し被写体画像を得る（ステップＳ３０２）。次に温度測定部７で撮影部６が撮像した箇所と同じ箇所の温度を測定し、温度分布を得る（ステップＳ３０３）。但し、被写体画像と温度分布を得る順序はこの限りではない。
Next, the
顔認識部８で、撮影部６から送られてきた被写体画像と温度測定部７から送られてきた温度分布を比較し、被写体画像における顔の位置に相当する温度が人の顔の温度（３６度前後）であるか否かを判断する（ステップＳ３０４）。
The
被写体画像中に人の顔がないと判断した場合（ステップＳ３０４ Ｎｏ）、レーザー部４のレーザーは通常出力レベルのまま出力され、バーコード等がスキャンされる（ステップＳ３０８）。顔認識部８によって被写体画像中に人の顔があると判断した場合、距離推定部９で顔の領域を算出し（ステップＳ３０５）、使用者と使用者の前方にいる人（顔が認識された人）との距離を推定する（ステップＳ３０６）。
When it is determined that there is no human face in the subject image (No in step S304), the laser of the
距離推定部９で推定された距離を元に、制御部１によって記憶部２に保存されている制御テーブルを参照、比較しレーザー部４の制御を決める。使用者と使用者の前方にいる人との距離が３ｍ以上の場合（ステップＳ３０７）、レーザー部４のレーザーは通常出力レベルのまま出力され、バーコード等がスキャンされる（ステップＳ３０８）。
Based on the distance estimated by the
一方、距離が２ｍ以上３ｍ未満であった場合（ステップＳ３０９）、レーザー部４のレーザーは出力を弱めてレーザー出力され、バーコード等がスキャンされる（ステップＳ３１０）。距離が２ｍ未満であった場合、レーザー部４のレーザーの出力はオフされ（ステップＳ３１１）、レーザースキャナ付き携帯端末の表示部３に人が前方にいるためレーザー部４のレーザー出力をオフしたことを示す画面表示や音声、振動等の手段を擁する警告部５で前記使用者に警告を出す（ステップＳ３１２）。但し、使用者と前方にいる人との距離による制御方法は、上記の限りではない。図９及び図１０は、前記使用者の前方に人がいるか否かを顔認識部８で判断する際のイメージ図である。
On the other hand, when the distance is 2 m or more and less than 3 m (step S309), the laser of the
図９において、上段左の図に示すのが、使用者が撮像部６で撮影した被写体画像であり、画像内の右上に人物が写っている。顔認識部８は、この被写体画像内において、顔認識処理を実行することによって被写体画像中における矢印で示している部分に人物の顔が含まれていることを検知している。また、上段右の図には、温度測定部７によって取得した温度分布を示しており、取得領域内の右上に、周囲に比べて温度の高い部分が表示されている。本実施形態としては、一例として３５〜４０℃であれば人体に相当すると判断しているが、周囲の環境や携帯端末の利用環境を考慮して上下させても良い。
In FIG. 9, an upper left diagram shows a subject image taken by the user with the
これらの結果から、下段に示す図において、顔認識部８によって検出した人物の顔の位置と、温度測定部７が取得した温度分布における人物の顔に相当する温度範囲が一致していることから、スキャン対象領域に人物が含まれていると判定し、図８に示したフローチャートに従って制御を行う。
From these results, the position of the person's face detected by the
また、図１０においては、上段左の図においては被写体画像中の右上に人物が写っていると判断しているが、上段右の図においては、人体であると判断するための温度分布（一例として３５〜４０℃）が検出されていない状態を示している。実際には、他の温度分布が検出されているはずであるが、説明の簡略化のために省略している。なお、被写体画像において人物の顔と判断される箇所以外に対して、人体であると判断するための温度分布が検出されていたとしても、被写体画像中で人物の顔であると判断している部分以外のものについては無視しても良い。 Further, in FIG. 10, it is determined that a person is shown in the upper right in the subject image in the upper left figure, but in the upper right figure, a temperature distribution (one example) for determining that it is a human body. As 35-40 ° C.) is not detected. Actually, other temperature distributions should have been detected, but are omitted for the sake of simplicity. It should be noted that even if a temperature distribution for determining a human body is detected in a portion other than a portion determined to be a human face in the subject image, it is determined to be a human face in the subject image. Anything other than the part may be ignored.
この状態においては、撮像部６で撮影した被写体画像における人物（顔）と、温度測定部７で取得した人物（顔）に相当する温度分布が一致していないことから、スキャン対象領域内に人物が存在しないと判断される。これは、実際に人物がいても温度測定部７によって検知不可能な程度に離れている場合や、被写体画像中では人物と判断される程度に移り込んだ写真やポスターなどに記載された人物である場合に起こり得る。
In this state, the person (face) in the subject image photographed by the
＜第４実施形態＞
図１１は、本発明の第４実施形態に係るレーザースキャナ付き携帯端末のブロック図である。なお、本実施形態の多くは第３実施形態と同様の構成であるため、異なる点についてのみ説明する。
<Fourth embodiment>
FIG. 11 is a block diagram of a portable terminal with a laser scanner according to the fourth embodiment of the present invention. Since many of the embodiments have the same configuration as that of the third embodiment, only different points will be described.
図１１において、角度推定部１０は顔認識部８で被写体画像中に人の顔が含まれると判断した場合、顔の領域が表示部３の右側に多く含まれるのか左側に多く含まれるのかを判断する。この推定結果を元に、レーザー部４や警告部５の制御を制御部１が行う。図１２は顔の領域が表示部３の右側に多く含まれていて、その場合レーザースキャナ付き携帯端末の使用者の前方右寄りに人がいることを示している。
In FIG. 11, when the
次に本発明の第４実施形態に係るレーザースキャナ付き携帯端末の動作を図１３に示すフローチャートを用いて説明する。初めにレーザースキャナ付き携帯端末の使用者がレーザースキャナ付き携帯端末を起動し、レーザースキャナでバーコードをスキャンする。ただし、この時点でレーザーはまだ出力されず、バーコードはスキャンされない（ステップＳ４０１）。 Next, the operation of the portable terminal with a laser scanner according to the fourth embodiment of the present invention will be described with reference to the flowchart shown in FIG. First, a user of a portable terminal with a laser scanner activates the portable terminal with a laser scanner, and scans the barcode with the laser scanner. However, at this time, the laser is not output yet, and the barcode is not scanned (step S401).
次に撮影部６で前記使用者の前方を撮像し被写体画像を得る（ステップＳ４０２）。次に温度測定部７で撮影部６が撮像した箇所と同じ箇所の温度を測定し、温度分布を得る（ステップＳ４０３）。但し、被写体画像と温度分布を得る順序はこの限りでない。
Next, the
顔認識部８で、撮影部６から送られてきた被写体画像と温度測定部７から送られてきた温度分布を比較し、被写体画像における顔の位置に相当する温度が人の顔の温度（３６度前後）であるか否かを判断する（ステップＳ４０４）。
The
被写体画像中に人の顔がないと判断した場合（ステップＳ４０４ Ｎｏ）、レーザー部４のレーザーは通常出力レベルのまま出力され、バーコード等がスキャンされる（ステップＳ４０８）。
When it is determined that there is no human face in the subject image (No in step S404), the laser of the
顔認識部８によって被写体画像に人の顔が含まれていると判断した場合、角度推定部１０で顔の領域が表示部３の右側に多く含まれるのか、左側に多く含まれるのか算出する（ステップＳ４０５）。顔の領域が表示部３の右側に多く含まれていると判断した場合（ステップＳ４０６ Ｙｅｓ）、使用者から見て前方右側に人がいると判断し、レーザー部４のレーザーの照射範囲を左寄りに制限をした上で（ステップＳ４０７）、レーザー部４のレーザーを出力してバーコード等をスキャンする（ステップＳ４１０）。
When the
あるいは、顔の領域が表示部３の左側に多く含まれていると判断した場合、使用者から見て前方左側に人がいると判断し、レーザー部４のレーザーの照射範囲を右寄りに制限をした上で（ステップＳ４０９）、レーザー部４のレーザーを出力して、バーコード等をスキャンする（ステップＳ４１０）。使用者と前方にいる人との左右方向の角度によるレーザー部４の制御は、上記の限りではない。
Alternatively, when it is determined that the face area is included in the left side of the
以上説明した通り、第３実施形態および第４実施形態に係るレーザースキャナ付き携帯端末は、カメラにより撮像された被写体画像及び赤外線サーモグラフィにより測定された温度分布を元に人の顔を認識し、様々な人の顔のサイズによりレーザースキャナのレーザー出力レベルを調整する、あるいはレーザー出力をオフする、あるいはレーザーの照射範囲を調整する、あるいは警告を出すといった制御を行い、レーザースキャナ付き携帯端末使用者の前方にいる人に危害が及ぶのを防いでいる。また、レーザースキャナ付き携帯端末の使用者にとって利便性を損なうことが無いようにも考慮されている。 As described above, the portable terminal with a laser scanner according to the third embodiment and the fourth embodiment recognizes a human face based on the subject image captured by the camera and the temperature distribution measured by the infrared thermography. Depending on the size of the person's face, the laser output level of the laser scanner is adjusted, the laser output is turned off, the laser irradiation range is adjusted, or a warning is issued. It prevents harm to those who are ahead. In addition, consideration is given to not impairing convenience for the user of the portable terminal with a laser scanner.
＜第５実施形態＞
図１５は、本発明の第５実施形態に係るレーザースキャナ付き携帯端末のブロック図である。なお、本実施形態の多くは第３実施形態と同様の構成であるため、異なる点についてのみ説明する。
<Fifth Embodiment>
FIG. 15 is a block diagram of a portable terminal with a laser scanner according to the fifth embodiment of the present invention. Since many of the embodiments have the same configuration as that of the third embodiment, only different points will be described.
図１５において、制御部１は、第１実施形態で説明したものに加えて、距離測定部１１への入出力を行う点で異なる。
In FIG. 15, the
距離測定部１１は、ミリ波等を用いた測距センサで構成され、顔認識部８で被写体画像中に人の顔が含まれると判断をした場合、使用者と前方にいる人（顔が認識された人）との距離を測定する。距離の推定結果及び測定結果を元に、レーザー部４や警告部５の制御を制御部１が行う。
The distance measuring unit 11 is composed of a distance measuring sensor using millimeter waves or the like, and when the
次に本発明の第５実施形態に係るレーザースキャナ付き携帯端末の動作を図１６に示すフローチャートを用いて説明する。初めにレーザースキャナ付き携帯端末の使用者がレーザースキャナ付き携帯端末を起動し、レーザースキャナでバーコードをスキャンする。ただし、この時点でレーザーはまだ出力されず、バーコードはスキャンされない（ステップＳ５０１）。 Next, the operation of the portable terminal with a laser scanner according to the fifth embodiment of the present invention will be described with reference to the flowchart shown in FIG. First, a user of a portable terminal with a laser scanner activates the portable terminal with a laser scanner, and scans the barcode with the laser scanner. However, at this time, the laser is not output yet, and the barcode is not scanned (step S501).
次に撮影部６で使用者の前方を撮像して被写体画像を得る（ステップＳ５０２）。次に温度測定部７で撮影部６が撮像した箇所と同じ個所の温度を測定し、温度分布を得る（ステップＳ５０３）。但し、被写体画像と温度分布を得る順序はこの限りでない。
Next, the photographing
顔認識部８で、撮影部６から送られてきた被写体画像と温度測定部７から送られてきた温度分布を比較し、被写体画像における顔に相当する位置の温度が人の顔の温度であるか否かを判断する（ステップＳ５０４）。被写体画像に人の顔が含まれていないと判断した場合、レーザー部４のレーザーは通常出力レベルのまま出力され、バーコード等がスキャンされる（ステップＳ５１３）。
The
顔認識部８で被写体画像に人の顔が含まれていると判しれた場合、距離推定部９で顔の領域を算出し（ステップＳ５０５）、使用者と使用者の前方にいる人（顔が認識された人）との距離を推定する（ステップＳ５０６）。
When the
距離推定部９で推定された距離は、制御部１によって記憶部２に保存されている制御テーブルを参照、比較しレーザー部４の制御を決める。使用者と使用者の前方にいる人との距離が１ｍ未満の場合（ステップＳ５０７ Ｙｅｓ）、レーザー部４のレーザーはオフされ（ステップＳ５０８）、レーザースキャナ付き携帯端末の表示部３に対して、人が前方にいるためレーザー部４のレーザー出力をオフしたことを示す画面表示や音声、振動等の手段を擁する警告部５で前記使用者に警告を出す（ステップＳ５０９）。
The distance estimated by the
使用者と使用者の前方にいる人との距離が１ｍ以上の場合（ステップＳ５０７ Ｎｏ）、ミリ波等を用いて構成された距離測定部１１で使用者と使用者の前方にいる人との距離を測定する（ステップＳ５１０）。 When the distance between the user and the person in front of the user is 1 m or more (No in step S507), the distance measuring unit 11 configured using millimeter waves or the like is used to connect the user and the person in front of the user. The distance is measured (step S510).
使用者と使用者の前方にいる人との距離が２ｍ未満の場合（ステップＳ５１１ Ｙｅｓ）、レーザー部４のレーザーは、出力を弱めてレーザー出力されてバーコード等がスキャンされる（ステップＳ５１２）。距離が２ｍ以上の場合（ステップＳ５１１ Ｎｏ）、レーザー部４のレーザーは、通常出力レベルのまま出力されてバーコード等がスキャンされる（ステップＳ５１３）。使用者と前方にいる人との距離による制御方法は、上記の限りではない。図１７及び図１８は、使用者の前方に人がいるか否かを顔認識部８で判断する際のイメージ図である。
If the distance between the user and the person in front of the user is less than 2 m (Yes in step S511), the laser of the
図１７において、上段左の図に示すのが、使用者が撮像部６で撮影した被写体画像であり、画像内の右上に人物が写っている。顔認識部８は、この被写体画像内において、顔認識処理を実行することによって被写体画像中における矢印で示している部分に人物の顔が含まれていることを検知している。また、上段右の図には、温度測定部７によって取得した温度分布を示しており、取得領域内の右上に、周囲に比べて温度の高い部分が表示されている。本実施形態としては、一例として３５〜４０℃であれば人物に相当すると判断しているが、周囲の環境や携帯端末の利用環境を考慮して上下させても良い。
In FIG. 17, an upper left diagram shows a subject image taken by the user with the
これらの結果から、下段に示す図において、顔認識部８によって検出した人物の顔の位置と、温度測定部７が取得した温度分布における人物の顔に相当する温度範囲が一致していることから、スキャン対象領域に人物が含まれていると判定し、図１６に示したフローチャートに従って制御を行う。
From these results, the position of the person's face detected by the
また、図１８においては、上段左の図においては被写体画像中の右上に人物が写っていると判定しているが、上段右の図においては、人物に相当すると判断するための温度分布（一例として３５〜４０℃）が確認できていない状態を示している。なお、被写体画像において人物の顔と判断される箇所以外に対して、人体であると判断するための温度分布が検出されていたとしても、被写体画像中で人物の顔であると判断している部分以外のものについては無視しても良い。 In FIG. 18, it is determined that a person is shown in the upper right in the subject image in the upper left figure, but in the upper right figure, a temperature distribution for determining that it corresponds to a person (an example) As for 35-40 degreeC), the state which has not been confirmed is shown. It should be noted that even if a temperature distribution for determining a human body is detected in a portion other than a portion determined to be a human face in the subject image, it is determined to be a human face in the subject image. Anything other than the part may be ignored.
この状態においては、撮像部６で撮影した被写体画像における人物（顔）と、温度測定部７で取得した人物（顔）に相当する温度分布が一致していないことから、スキャン対象領域内に人物が存在しないと判断される。これは、実際に人物がいても温度測定部７によって検知不可能な程度に離れている場合や、被写体画像中では人物と判断される程度に移り込んだ写真やポスターなどに記載された人物である場合に起こり得る。
In this state, the person (face) in the subject image photographed by the
＜第６実施形態＞
図１９は、本発明の第６実施形態に係るレーザースキャナ付き携帯端末のブロック図である。なお、本実施形態の多くは第５実施形態と同様の構成であるため、異なる点についてのみ説明する。
<Sixth Embodiment>
FIG. 19 is a block diagram of a portable terminal with a laser scanner according to the sixth embodiment of the present invention. Since many of the embodiments have the same configuration as that of the fifth embodiment, only different points will be described.
図１９において、制御部１は、第５実施形態で説明したものに加えて、角度推定部１０への入出力を行う点で異なる。角度推定部１０は顔認識部８で被写体画像中に人の顔が含まれると判断した場合、顔の領域が表示部３の上下方向の中央線に近いか離れているかを判断する。この推定結果を元に、レーザー部４や警告部５の制御を制御部１が行う。ここでは、レーザー部４のレーザーは表示部３の中心線に表示される方向に出力される。
In FIG. 19, in addition to what was demonstrated in 5th Embodiment, the
図２０の左図では、顔の領域が表示部３の中央線から離れており、この場合、レーザー部４から出力されるレーザーとレーザースキャナ付き携帯端末の使用者の前方にいる人の顔が離れている状態を示している。図２０の右図にはレーザースキャナ付き携帯端末と被写体人物を横から見た状態を示しており、本実施形態においては、表示部３の中央線はレーザー部４のレーザー出力の位置を示しているが、レーザー部４のレーザー出力位置はこの限りではない。また、顔の領域が表示部３の中央線に近いか離れているかの閾値は、この限りではなく任意に決められる。
In the left diagram of FIG. 20, the face area is separated from the center line of the
次に本発明の第６実施形態に係るレーザースキャナ付き携帯端末の第６の実施例における動作を、図２１のフローチャートを用いて説明する。初めにレーザースキャナ付き携帯端末の使用者がレーザースキャナ付き携帯端末を起動し、レーザースキャナでバーコードをスキャンする。ただし、この時点でレーザーはまだ出力されず、バーコードはスキャンされない（ステップＳ６０１）。 Next, the operation in the sixth example of the portable terminal with a laser scanner according to the sixth embodiment of the present invention will be described with reference to the flowchart of FIG. First, a user of a portable terminal with a laser scanner activates the portable terminal with a laser scanner, and scans the barcode with the laser scanner. However, at this time, the laser is not output yet, and the barcode is not scanned (step S601).
次に撮影部６で前記使用者の前方を撮像し被写体画像を得る（ステップＳ６０２）。次に温度測定部７で撮影部６が撮像した箇所と同じ箇所の温度を測定し、温度分布を得る（ステップＳ６０３）。但し、被写体画像と温度分布を得る順序はこの限りでない。
Next, the
顔認識部８で、撮影部６から送られてきた被写体画像と温度測定部７から送られてきた温度分布を比較し、被写体画像の顔の位置の温度が人の顔の温度であるか否か判断をする（ステップＳ６０４）。被写体画像に人の顔が含まれていないと判断した場合（ステップＳ６０４ Ｎｏ）、レーザー部４のレーザーは通常出力レベルのまま出力され、バーコード等がスキャンされる（ステップＳ６０７）。
The
顔認識部８で被写体画像に人の顔が含まれていると判断した場合（ステップＳ６０４ Ｙｅｓ）、角度推定部１０で顔の領域が表示部３の中央線に近いか離れているかを調べる（ステップＳ６０５）。顔の領域が表示部３の中央線から離れている場合（ステップＳ６０６ Ｙｅｓ）、レーザー部４のレーザーは通常出力レベルのまま出力され、バーコード等がスキャンされる（ステップＳ６０７）。
If the
顔の領域が表示部３の中央線に近い場合、距離推定部９で顔の領域を算出し（ステップＳ６０８）、使用者と使用者の前方にいる人との距離を推定する（ステップＳ６０９）。距離推定部９で推定された距離を元に、制御部１によって記憶部２に保存されている制御テーブルを参照、比較しレーザー部４の制御を決める。
When the face area is close to the center line of the
使用者と使用者の前方にいる人との距離が１ｍ未満の場合（ステップＳ６１０ Ｙｅｓ）、レーザー部４のレーザーはオフされ（ステップＳ６１１）、レーザースキャナ付き携帯端末の表示部３に人が前方にいるためレーザー部４のレーザー出力をオフしたことを示す画面表示や音声、振動等の手段を擁する警告部５で前記使用者に警告を出す（ステップＳ６１２）。
When the distance between the user and the person in front of the user is less than 1 m (Yes at Step S610), the laser of the
使用者と使用者の前方にいる人との距離が１ｍ以上の場合（ステップＳ６１０ Ｎｏ）、ミリ波等を用いて構成された距離測定部１１で使用者と使用者の前方にいる人との距離を測定する（ステップＳ６１３）。続けて、使用者と使用者の前方にいる人との距離が２ｍ未満の場合（ステップＳ６１４ Ｙｅｓ）、レーザー部４のレーザーは出力を弱めてレーザー出力され、バーコード等がスキャンされる（ステップＳ６１５）。
When the distance between the user and the person in front of the user is 1 m or more (No in step S610), the distance between the user and the person in front of the user in the distance measuring unit 11 configured using millimeter waves or the like. The distance is measured (step S613). Subsequently, when the distance between the user and the person in front of the user is less than 2 m (Yes in step S614), the laser of the
距離が２ｍ以上の場合、レーザー部４のレーザーは通常出力レベルのまま出力され、バーコード等がスキャンされる（ステップＳ６０７）。なお、前方にいる人とレーザー部４のレーザー光の位置関係によるレーザー部４の制御は、上記の限りではない。
When the distance is 2 m or more, the laser of the
以上のように構成されたレーザースキャナ付き携帯端末において、図２２を用いて記憶部２に保存されている距離−レーザー出力レベル変換テーブルについて説明する。距離は「１ｍ未満」、「１ｍ以上２ｍ未満」、「２ｍ以上」の３つに分け、それぞれに対応するようにレーザー部４の出力を「オフ」、「５０％低下する」、「通常出力のまま使用する」としている。これらは一例であり、使用するレーザーの能力により距離を変えたりレーザー部４の出力を変えたりしても良い。レーザースキャナ付き携帯端末の使用者と前方にいる人との距離、およびレーザー部４の制御の関係は、この限りではない。
In the portable terminal with a laser scanner configured as described above, a distance-laser output level conversion table stored in the
１ 制御部
２ 記憶部
３ 表示部
４ レーザー部
５ 警告部
６ 撮影部
７ 温度測定部
８ 顔認識部
９ 距離推定部
１０ 角度推定部
１１ 距離測定部
DESCRIPTION OF
Claims (6)
前記レーザースキャナのスキャン領域を撮影可能な撮影部と、
前記撮影部で撮影した被写体画像中に人物の顔が含まれていることを検知する顔認識部と、
前記撮影部と前記被写体との距離を推定する距離推定部と、
前記距離推定部の距離推定結果に応じてレーザー部の出力を制御する制御部と
を備え、
前記レーザースキャナによってスキャンする際に、前記撮影部で撮像した被写体画像に人の顔が含まれていると前記顔認識部が判断した場合は、前記距離推定部により前記被写体との距離を推定し、
前記制御部は、前記距離推定部が推定した距離に応じて前記レーザースキャナの出力を制御することを特徴とするレーザースキャナ付き携帯端末。 A laser scanner,
An imaging unit capable of imaging the scan area of the laser scanner;
A face recognition unit for detecting that a human face is included in the subject image photographed by the photographing unit;
A distance estimation unit that estimates a distance between the photographing unit and the subject;
A control unit for controlling the output of the laser unit according to the distance estimation result of the distance estimation unit,
When the face recognition unit determines that the subject image captured by the imaging unit includes a human face when scanning by the laser scanner, the distance estimation unit estimates the distance to the subject. ,
The portable terminal with a laser scanner, wherein the control unit controls the output of the laser scanner according to the distance estimated by the distance estimation unit.
前記レーザースキャナのスキャン領域を撮影可能な撮影部と、
前記撮影部で撮影した被写体画像中に人物の顔が含まれていることを検知する顔認識部と、
前記被写体画像における前記人物の顔の位置から、前記撮影部に対して前記人物がなす角を推定する角度推定部と、
前記角度推定部の角度推定結果に応じてレーザー部の出力を制御する制御部と
を備え、
前記レーザースキャナによってスキャンする際に、前記撮影部で撮像した被写体画像に人の顔が含まれていると前記顔認識部が判断した場合は、前記角度推定部により前記人物がなす角を推定し、
前記制御部は、前記角度推定部が推定した角度に応じて前記レーザースキャナの出力を制御することを特徴とするレーザースキャナ付き携帯端末。 A laser scanner,
An imaging unit capable of imaging the scan area of the laser scanner;
A face recognition unit for detecting that a human face is included in the subject image photographed by the photographing unit;
An angle estimation unit that estimates an angle formed by the person with respect to the photographing unit from the position of the face of the person in the subject image;
A control unit for controlling the output of the laser unit according to the angle estimation result of the angle estimation unit,
When the face recognition unit determines that the subject image captured by the imaging unit includes a human face when scanning by the laser scanner, the angle estimation unit estimates the angle formed by the person. ,
The portable terminal with a laser scanner, wherein the control unit controls the output of the laser scanner according to the angle estimated by the angle estimation unit.
前記距離推定部の推定結果と、前記温度計測部の計測結果との両方の結果を照合することで前記スキャン領域に人物が存在することを検知することを特徴とする請求項１または３に記載のレーザースキャナ付き携帯端末。 A temperature measurement unit for measuring the temperature of a space including a scan area of the laser scanner;
4. The presence of a person in the scan area is detected by comparing both the estimation result of the distance estimation unit and the measurement result of the temperature measurement unit. Mobile terminal with laser scanner.
前記距離推定部が推定した距離が第１閾値よりも短いときに、前記レーザースキャナの出力を低下させ、
前記距離推定部が推定した距離が前記第１閾値よりも小さい第２閾値よりも小さいときに、前記レーザースキャナが出力を行わないように制御することを特徴とする請求項１または３に記載のレーザースキャナ付き携帯端末。 The controller is
When the distance estimated by the distance estimation unit is shorter than the first threshold, the output of the laser scanner is reduced,
4. The control according to claim 1, wherein the laser scanner is controlled not to output when the distance estimated by the distance estimation unit is smaller than a second threshold smaller than the first threshold. 5. Mobile terminal with laser scanner.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2017109757A JP2018206003A (en) | 2017-06-02 | 2017-06-02 | Portable terminal with laser scanner |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2017109757A JP2018206003A (en) | 2017-06-02 | 2017-06-02 | Portable terminal with laser scanner |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JP2018206003A true JP2018206003A (en) | 2018-12-27 |
Family
ID=64957884
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2017109757A Pending JP2018206003A (en) | 2017-06-02 | 2017-06-02 | Portable terminal with laser scanner |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP2018206003A (en) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2022027295A (en) * | 2020-07-31 | 2022-02-10 | 株式会社Zmp | Map data creation system |
-
2017
- 2017-06-02 JP JP2017109757A patent/JP2018206003A/en active Pending
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2022027295A (en) * | 2020-07-31 | 2022-02-10 | 株式会社Zmp | Map data creation system |
| JP7079451B2 (en) | 2020-07-31 | 2022-06-02 | 株式会社Zmp | Map data creation system |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP6992000B2 (en) | Methods and equipment for scanning barcodes and determining dimensions | |
| US20190025544A1 (en) | Imaging apparatus and focus control method | |
| JP5725793B2 (en) | Imaging apparatus and control method thereof | |
| KR102143456B1 (en) | Depth information acquisition method and apparatus, and image collection device | |
| KR101740231B1 (en) | Method and apparatus for estimating 3d face position | |
| US9729775B2 (en) | Auto-focusing method and auto-focusing device | |
| CN108700408B (en) | Three-dimensional shape data and texture information generation system, method and shooting control method | |
| US8379138B2 (en) | Imaging apparatus, imaging apparatus control method, and computer program | |
| JP6464281B2 (en) | Information processing apparatus, information processing method, and program | |
| JP2012042833A (en) | Imaging apparatus and imaging apparatus control method | |
| CN105611153A (en) | Image processing method and electronic device | |
| JP6456783B2 (en) | Bar arrangement measuring device | |
| KR20110029002A (en) | Apparatus and method for face determination | |
| JP2014011642A (en) | Portable terminal device, and control method and program for the same | |
| JP2018206003A (en) | Portable terminal with laser scanner | |
| JP2015141215A (en) | Head-mounted display device | |
| KR101919138B1 (en) | Method and apparatus for remote multi biometric | |
| JP2014142832A (en) | Image processing apparatus, control method of image processing apparatus, and program | |
| JPWO2017134880A1 (en) | Information processing apparatus, information processing method, and program | |
| JP6789899B2 (en) | Measuring device and operating method of measuring device | |
| CN105303576B (en) | Edge detection method and device | |
| CN113865481B (en) | Object size measuring method, device and storage medium | |
| KR101590004B1 (en) | Device for obtaining size information of object using laser beam | |
| JP2011205321A (en) | Imaging device, and object detection method | |
| KR20080075333A (en) | Apparatus for photographing face image in picture area exactly |